Hasil Pencarian  ::  Simpan CSV :: Kembali

"

Aksara Pegon adalah sistem penulisan berbasis Arab yang digunakan untuk menulis bahasa Jawa, Sunda, Madura, dan Indonesia. Karena berbagai alasan, aksara ini telah diturunkan ke ranah kolektor naskah sejarah dan pesantren, sehingga perlu dilestarikan. Salah satu metode pelestarian ini adalah melalui digitalisasi; lebih tepatnya dengan mentranskripsikan isi dari naskah-naskah yang ada ke dalam bentuk teks machine encoded, dimana proses tersebut jika dilakukan secara otomatis disebut juga sebagai OCR, atau Pengenalan Karakter Optik. Sampai saat ini belum ada literatur yang dipublikasikan mengenai sistem OCR untuk aksara ini. Oleh karena itu, penelitian ini bertujuan untuk menjembatani kesenjangan tersebut dengan menyediakan OCR untuk subset tertentu dari naskah Pegon, yaitu naskah Pegon yang dicetak. Penelitian ini memperkenalkan dataset yang disintesis dan yang dianotasi untuk pengenalan teks Pegon cetak. Dataset-dataset ini kemudian digunakan untuk mengevaluasi sistem OCR Arab konvensional yang sudah ada pada domain Pegon, baik versi asli maupun yang dimodifikasi, serta sistem berbasis teknik deep learning yang lebih baru dalam literatur. Hasilnya menunjukkan bahwa teknik deep learning mengungguli teknik konvensional, di mana teknik konvensional gagal mendeteksi teks Pegon sama sekali, sementara sistem yang diusulkan, khususnya menggunakan YOLOv5 untuk segmentasi baris dan arsitektur CTC-CRNN untuk pengenalan teks baris, mencapai nilai F1 sebesar 0,94 untuk segmentasi dan CER 0,03 untuk pengenalan teks.

---

The Pegon script is an Arabic-based writing system intended for writing the Javanese,

Sundanese, and Indonesian languages. Due to various reasons, this script has been

relegated to the domain of historical manuscript collectors and private Islamic boarding

schools or pesantren, presenting a need for preservation. One of these methods of

preservation is through digitization; more specifically, by transcribing the content of

these existing manuscripts into machine-encoded text, the automated process of which is

referred to as OCR. There has been heretofore no published literature on OCR systems

for this specific script. Hence, this research aims to bridge that gap by providing a

foray into the OCR of a specific subset of Pegon manuscripts, namely of printed Pegon

manuscripts. This research evaluates existing and modified versions of conventional

Arabic OCR systems on the domain of Pegon, as well as the more recent deep learning

techniques in the literature, along with introducing new datasets for use in developing

with said deep learning techniques. The results show the outperformance of these deep

learning techniques over the conventional techniques and with which components of a

Pegon OCR system is proposed.

"

"Salah satu analisis yang dapat dilakukan untuk mendeteksi adanya gangguan perkembangan anak adalah dengan membandingkan umur skeletal dengan umur nyata dari anak. Umur skeletal dapat dicari dengan melihat umur tulang tangan. Metode penilaian umur tulang dapat dilakukan dengan pendekatan artificial intellgence. Dengan adanya AI diharapkan dapat mengotomatisasi perhitungan umur tulang berdasarkan citra X-Ray tulang tangan anak. Salah satu metode yang dapat digunakan untuk melakukan prediksi umur tulang adalah deep learning menggunakan arsitektur Convolutional Neural Network (CNN). Model CNN dapat melakukan berbagai hal, seperti segmentasi semantik, key point detection dan regresi. Hasil pengujian menunjukkan bahwa dengan menggunakan preprocessing berupa segmentasi semantik, key point detection dan transformasi z-score terhadap umur tulang berhasil mendapatkan nilai RMSE 10.076 bulan dan MAE 7.735 bulan, lebih kecil jika dibandingkan dengan human-level performance yang memiliki MAE 8.76 bulan

---

One method of analysis that can be done to detect growth hormone deficiency is to compare the skeletal age to the real age of the child. The skeletal age of a subject can be found by estimating the hand bone age. The estimation of hand bone age can be done using artificial intelligence approach. With the presence of AI, we can automate the estimation of bone age using X-Ray images of a child’s hand. One method that we can use to estimate bone age is deep learning using Convolutional Neural Network (CNN) architecture. CNN can do many things, such as semantic segmentation, key point detection, and regression. We found that using preprocessing such as semantic segmentation, key point detection and z-score transformation of the bone age can achieve 10.076 months RMSE and 7.735 months MAE, that is lower than the human-level performance which has 8.76 months MAE."

"Peta telah menjadi salah satu alat yang digunakan masyarakat unutk menunjukkan lokasi dari sebuah tempat. Informasi pada sebuah peta tentunya membantu pengguna untuk mendapatkan pemahaman lebih mengenai tempat tersebut. Penggabungan kedua elemen tersebut akan menciptakan sebuah sistem yang dapat membantu pengguna untuk mendapatkan informasi sederhana yang ada pada sebuah lokasi tertentu. Penyajian peta informasi dalam bentuk digital dapat menjadi solusi unutk menyediakan fasilitas peta informasi bagi pengguna. Tempat yang membutuhkan peta informasi biasanya memiliki wilayah yang cukup luas. Salah satu tempat atau organisasi yang membutuhkan peta informasi diantaranya adalah universitas. Melalui penelitian ini, dikembangkan aplikasi peta informasi digital untuk wilayah Universitas Indonesia berbasis web yang diharapkan dapat membantu pengunjung Universitas Indonesia untuk menemukan lokasi yang ingin dituju serta mendapatkan informasi sederhana mengenai lokasi tersebut. Fitur-fitur yang disediakan pada aplikasi seperti fitur geolocation yang dapat memperlihatkan posisi pengguna, fitur untuk menampilkan lokasi beserta informasinya pada sebuah kategori, serta fitur unutk menampilkan semua tempat dan informasi pada sebuah kategori. Pengembangan aplikasi dilengkapi dengan tahapan evaluasi secara kualitatif dan kuantitatif. Evaluasi secara kualitatif dilakukan dengan menggunakan task scenario-usability testing, sementara evaluasi kuantitatif dilakukan dengan menggunakan metode System Usability Scale (SUS). Berdasarkan hasil evaluasi, didapatkan skor SUS 80,88 dengan grade A (Excellent). Adapun secara kualitatif, diperlukan perbaikan pada desain interaksi dan tambahan fitur untuk memenuhi kebutuhan pengguna.

---

Maps have become one of the tools used by the community to indicate the location of a place. Information on a map certainly helps users to get a better understanding of the place. Combining these two elements will create a system that can help users to get simple information that is in a particular location. Presentation of information map in digital form can be a solution to provide map information facilities for users. Places that require information map usually have a fairly large area. One of the places that need information map facilities is the university. Through this research, a web-based digital information map application was developed for the Universitas Indonesia region which is expected to help Universitas Indonesia visitors to find the location they want to go to and get simple information about that location. The features provided in the application such as geolocation feature that can show the user's position, features to display location and information in a category, as well as features to display all places and information in a category. Application development is complemented by qualitative and quantitative evaluation stages. Qualitative evaluation uses task scenario-usability testing, while quantitative evaluation uses the System Usability Scale (SUS) method. Based on the evaluation results, SUS score of 80.88 was obtained with grade A (Excellent). Qualitatively, improvements are needed to the interaction design and additional features to meet user needs."

"Speech Emotion Recognition adalah teknologi yang mampu bisa mendeteksi emosi lewat data suara yang diproses oleh sebuah mesin. Media yang sering digunakan untuk menjadi media interaksi antara 2 orang atau lebih yang saat ini sedang digunakan oleh banyak orang adalah Podcast, dan Talkshow. Seiring berkembangya SER, penelitian terakhir menunjukkan bahwa penggunaan metode Deep Learning dapat memberikan hasil yang memuaskan terhadap sistem SER. Pada penelitian ini akan diimplementasikan model Deep Learning yaitu dengan Recurrent Neural Network (RNN) variasi Long Short Term Memory (LSTM) untuk mengenali 4 kelas emosi (marah, netral, sedih, senang). Penelitian ini menguji model yang digunakan untuk mengenali emosi dari fitur akustik pada data secara sekuensial. Skenario training dan testing dilakukan dengan metode one-against-all dan mendapatkan hasil (1) Dataset talkshow mengungguli dataset podcast untuk tipe 1 dan 2 dan untuk semua emosi yang dibandingkan; (2) Untuk dataset podcast pada emosi marah, senang, dan sedih didapatkan akurasi optimal pada dataset tipe 1 yaitu 67.67%, 71.43%, dan 68,29%, sedangkan untuk emosi netral didapatkan akurasi terbaik pada dataset tipe 2 dengan 77.91%; (3) Untuk dataset talkshow pada emosi marah, netral, dan sedih didapatkan akurasi terbaik pada dataset tipe 2 yaitu 78.13%, 92.0%, dan 100%. Dapat disimpulkan bahwa dataset talkshow secara garis besar memberikan hasil yang lebih optimal namun memiliki variasi data yang lebih sedikit dari dataset podcast. Dari sisi panjang data, pada penelitian ini didapatkan akurasi yang lebih optimum pada dataset dengan tipe 2.

---

Speech Emotion Recognition is a technology that is able to detect emotions through voice data that is processed by a machine. Media that is often used to be a medium of interaction between two or more people who are currently being used by many people are Podcasts, and Talkshows. As SER develops, recent research shows that the use of the Deep Learning method can provide satisfactory results on the SER system. In this study a Deep Learning model will be implemented, this study uses Long Short Term Memory (LSTM) as one of the variation of Recurrent Neural Network (RNN) to recognize 4 classes of emotions (angry, neutral, sad, happy). This study examines the model used to recognize emotions from acoustic features in sequential data. Training and testing scenarios are conducted using the one-against-all method and get results (1) The talkshow dataset outperforms the podcast dataset for types 1 and 2 and for all emotions compared; (2) For the podcast dataset on angry, happy, and sad emotions, the optimal accuracy in type 1 dataset is 67.67%, 71.43%, and 68.29%, while for neutral emotions the best accuracy is obtained in type 2 dataset with 77.91%; (3) For the talkshow dataset on angry, neutral, and sad emotions the best accuracy is obtained for type 2 datasets, namely 78.13%, 92.0%, and 100%. It can be concluded that the talkshow dataset in general gives more optimal results but has fewer data variations than the podcast dataset. In terms of data length, this study found more optimum accuracy in dataset with type 2."

"Ketidakseimbangan pengetahuan merupakan fenomena yang semakin menonjol seiring berjalannya waktu, teurtama dengan perkembangan Articial Intelligence dan Data Science. Salah satu open knowledge base yang mengalami fenomena ini adalah Wikidata. Ketidakseimbangan pengetahuan dapat menyebabkan banyak hal negatif, contohnya adalah data yang tidak akurat dan kesimpulan yang bias. Untuk membantu mengatasi ketidakseimbangan pengetahuan kami mengusulkan sebuah solusi menggunakan association analysis. Kami menyediakan framework yang dapat mengidentifikasi gap properties, yang dapat digunakan untuk mengidentifikasi akar dari ketidakseimbangan pengetahuan di dalam Wikidata class (e.g. computer scientists, sovereign states). Melalui gap property ratio, kami dapat menghitung level ketidakseimbangan pengetahuan dalam Wikidata class. Semakin tinggi gap property ratio maka semakin tinggi tingkat ketidakseimbangan pengetahuan dalam suatu kelas. Untuk memvalidasi framework yang kami buat, kami melakukan analisis ketidakseimbangan pengetahuan di 20 kelas Wikidata. Kami harap hasil dari riset ini dapat membantu kontributor Wikimedia dalam menyelesaikan fenomena ketidakseimbangan pengetahuan lebih cepat dan akurat.

---

Knowledge imbalances are a phenomenon that has become more and more prominent over the years, especially with the growth of AI and data science. Wikidata is one of the open knowledge bases having this phenomenon. The growing number of items in Wikidata is not followed by an even distribution to every group and community. This phenomenon may have multiple negative implications, such as data inaccuracy and biased conclusions. In order to help in addressing knowledge imbalances in Wikidata we propose an approach using association analysis. We provide a framework that can identify gap properties, useful to pinpoint the root causes of knowledge imbalances in Wikidata classes (e.g., computer scientists, sovereign states). Furthermore, through the gap property ratio, we can quantify the knowledge imbalance level within Wikidata classes. The higher the gap property ratio, the larger the knowledge imbalance is for that class. To further validate our framework we conduct a knowledge imbalance analysis on 20 Wikidata classes. We hope that the result of this research can help Wikimedia contributors in addressing the knowledge imbalance phenomenon in Wikidata more swiftly and accurately."

"Walaupun machine learning semakin umum digunakan pada berbagai bidang, mempercayakan sebuah kotak hitam untuk mengambil keputusan yang krusial, seperti keputusan terkait bidang kesehatan dan hukum, merupakan hal yang beresiko. Karena hal ini, merupakan ide yang baik jika terdapat suatu model machine learning yang mekanisme pengambilan keputusannya dapat diinterpretasikan oleh penggunanya untuk menjelaskan keputusan yang diambil. Dengan motivasi ini, tugas akhir ini akan berfokus pada studi lanjut mengenai model interpretable machine learning berbasis MaxSAT, yaitu MLIC dan IMLI. MLIC merupakan sebuah model interpretable machine learning berbasis MaxSAT yang mekanisme di dalamnya dapat terlihat secara transparan melalui rule berbentuk CNF dan DNF yang dihasilkan. Akan tetapi, performa waktu training model ini sangat buruk. Untuk mengatasi hal ini, IMLI dikembangkan dengan cara memodifikasi MLIC menggunakan sifat incremental. Hal ini berhasil meningkatkan waktu training MLIC dengan pengorbanan akurasi yang cukup kecil. Melalui studi lanjut ini, tugas akhir ini kemudian akan memaparkan perbandingan akurasi IMLI dengan cara mengganti metode diskretisasi fitur kontinu di dalamnya, dari diskretisasi berbasis quantile 10 bin menjadi diskretisasi berbasis entropi. Dari eksperimen yang dilakukan, diperoleh hasil bahwa IMLI memiliki performa waktu training hingga 1000 kali lebih baik daripada MLIC dengan pengorbanan akurasi tes secara rata-rata sebesar 1.47%. Kemudian, penggunaan diskretisasi berbasis entropi menghasilkan akurasi tes 2.67% lebih baik secara rata-rata dibandingkan diskretisasi berbasis quantile 10 bin pada IMLI. Uji statistik menunjukkan bahwa pengorbanan akurasi yang terjadi pada IMLI secara umum tidak signifikan. Terkait ukuran rule yang dihasilkan, diperoleh perubahan yang bervariasi tergantung dataset yang digunakan, baik antara MLIC dan IMLI maupun antara diskretisasi berbasis quantile dan entropi. Terakhir, tugas akhir ini juga akan memaparkan koreksi pengaruh banyak partisi terhadap waktu training yang sebelumnya dipaparkan pada paper IMLI.

---

Despite the wide adoption of machine learning in various domains, trusting a black-box machine learning model to make critical decisions, e.g. in medical and law, might be too risky. Thus, having a transparent machine learning model whose decision-making mechanism is easy to understand by humans is increasingly becoming a requirement. Motivated by this, this bachelor’s thesis conducts a thorough study about the MaxSAT- based interpretable machine learning model, namely MLIC and IMLI. MLIC is a MaxSAT-based interpretable machine learning model whose mechanism is transparent by its generated CNF and DNF rules. However, it suffers from poor training time performance. To overcome this, an incremental version of MLIC, namely IMLI, was developed. IMLI has a far better training time performance with a slight sacrifice on its accuracy. This bachelor’s thesis then compares IMLI accuracy by changing its discretization method from the 10-bin quantile-based discretization to the entropy-based discretization. The conducted empirical studies show that IMLI has better training time performance, up to 1000 times better than MLIC with 1.47% sacrifice of test accuracy on average. It also shows that the entropy-based discretization results in 2.67% higher test accuracy on average compared to the 10-bin quantile-based discretization in IMLI. Test statistic shows that the sacrifice of accuracy in IMLI is insignificant. For the rule size, it shows that the choice of model and its discretization has various effects across the datasets. Lastly, this bachelor’s thesis explains a correction on the effect of partitions to training accuracy that is reported in the IMLI paper."

"Sektor pariwisata menjadi salah satu sektor yang memiliki banyak potensipemasukan anggaran negara. Salah satu cara untuk meningkatkan pemasukanmelalui sektor pariwisata adalah dengan memanfaatkan teknologi informasi agardapat menarik lebih banyak wisatawan yang datang. Pemanfaatan teknologitersebut adalah dengan menggunakan smart tourism. Implementasi smart tourismyang digunakan pada pariwisata di Indonesia, khususnya untuk objek wisataMonumen Nasional (Monas) adalah dengan memanfaatkan aplikasi telepon pintarberbasis Visual Question Answering (VQA) untuk memberikan informasi detailmengenai objek pariwisata yang sedang diamati dari kamera ponsel. Fokus dariskripsi ini adalah untuk menghasilkan model latihan dengan akurasi deteksi objekyang baik. Hasil dari proses latihan model akan dijadikan sebagai model untukdeteksi objek yang ada di sekitar Monas yang akan digunakan untuk melakukan VQA. Dataset yang digunakan dalam penelitian ini adalah gambar Monas besertaobjek-objek sekitarnya sebanyak 600 gambar dengan label kelas sebanyak 25 kelasobjek. Jaringan yang digunakan untuk melakukan deteksi objek adalah denganmenggunakan YOLO dan RetinaNet, dimana nantinya kedua jaringan ini akandilakukan komparasi dengan mencari skor akhir dari hasil evaluasi kedua modelyang telah dihasilkan. Dengan menggunakan dataset orisinil, pada jaringan YOLO mean average precision (mAP) yang didapatkan dengan rentang nilai confidencelevel threshold 0,1 sampai 0,9 berkisar antara 60,77% sampai 71,99%, sedangkanuntuk jaringan RetinaNet mAP yang didapatkan berkisar antara 72,18% sampai92,98%. Dengan menggunakan dataset augmentasi, pada jaringan YOLO mAPyang didapatkan berkisar antara 52,51% sampai 93,72%, sedangkan untuk jaringanRetinaNet mAP yang didapatkan berkisar antara 23,8% sampai 56,19%. Untuk skorArea Under Curve (AUC) pada dataset orisinil sebesar 0,99 dan 0,96 pada datasetaugmentasi. Berdasarkan hasil eksperimen ini dapat disimpulkan model YOLOdapat mendeteksi lebih baik dibandingkan dengan RetinaNet dan datasetaugmentasi dapat menghasilkan deteksi gambar lebih baik dibandingkan dengandataset orisinil.

---

Tourism sector has become one of the most potential income for some countires.One of the way to increase income from tourism sector is to implement informationtechnology so it can attract more tourists to come. The technology that can beimplemented is smart tourism. One of the smart tourism implementations forIndonesia tourism, especially for Monumen Nasional (Monas) tourism destinationis mobile based Visual Question Answering (VQA) application that can providedetailed information about tourism object from mobile phone camera. Focus of thisthesis is to produce training model with good detection accuracy. The result of themodel training process will be used as model for object detection model that willbe used for doing VQA. Dataset that will be used for this research are 600 picturescontaining Monas and 25 surrounding objects called class. The networks that willbe used for object detection is using YOLO and RetinaNet, where both of thesenetworks will be compared each other by searching the accuracy from evaluationmetric from both networks. By using original dataset, in YOLO network the meanaverage precision (mAP) score is between 60.77% to 71.99% with 0.1 to 0.9confidence level threshold range and in RetinaNet network the mAP score isbetween 72.18% to 92.98%. By using augmented dataset, in YOLO network themAP score is between 52.51% to 93.72% and in RetinaNet network the mAP scoreis between 23,8% to 56,19%. The Area Under Curve (AUC) score for originaldataset is 0.99 and 0.96 for augmented dataset using YOLO network. Based on theevaluation result, YOLO can detect objects better than RetinaNet and augmenteddataset can produce better detection than original dataset."

"Beras merupakan makanan pokok mayoritas masyarakat Indonesia. Jika dibandingkan dengan konsumsi tahun 2019, konsumsi beras nasional meningkat sekitar 4,67 persen pada tahun 2021. Hal ini menunjukan bahwa setiap tahun konsumsi beras nasional akan meningkat karena seiring dengan pertumbuhan jumlah penduduk Indonesia. Sehingga dibutuhkan data produksi beras yang akurat dan tepat waktu untuk dapat menjaga ketersediaan stok beras nasional. Data citra satelit bisa menjadi alternatif untuk memprediksi produksi padi dikarenakan kekurangan yang dimiliki oleh metode survei yang dilakukan oleh BPS yaitu biaya yang cukup tinggi dan terdapat tenggang waktu diseminasi data. Gabungan citra SAR dan Optik dapat meningkatkan akurasi dari model yang dibangun. Selain itu penggunaan model deep learning memiliki akurasi yang lebih baik jika dibandingkan metode machine learning konvensional salah satunya kombinasi CNN dan Bi-LSTM yang mampu mengekstraksi fitur serta memiliki kemampuan untuk memodelkan data temporal dengan baik. Output yang diperoleh dengan menggunakan metode CNNBiLSTM untuk mengklasifikasikan fase pertumbuhan padi, menghasilkan akurasi yang terbaik dengan nilai akurasi 79,57 pada data testing dan 98,20 pada data training serta F1-score 79,78. Dengan menggunakan kombinasi data citra sentinel 1 dan 2 akurasi dari model LSTM dapat ditingkatkan. Selanjutnya akurasi yang didapatkan untuk model regresi produktivitas padi masih kurang baik. Akurasi terbaik dihasilkan oleh model random forest dengan nilai MAPE 0.1336, dan RSME 0,6871.

---

Rice is the staple food of the majority of Indonesian people. When compared to consumption in 2019, national rice consumption will increase by around 4.67 percent in 2021. This shows that every year rice consumption will increase in line with the growth of Indonesia's population. So that accurate and timely rice production data is needed to be able to maintain the availability of national rice stocks. Satellite imagery data can be an alternative for predicting rice production due to the drawbacks of the survey method conducted by BPS, which relatively high cost and the time span for data dissemination. The combination of SAR and Optical images can increase the accuracy of the model built. In addition, the use of deep learning models has better accuracy when compared to classical machine learning methods, one of them is the combination of CNN and Bi-LSTM which are able to extract features and have the ability to model temporal data properly. The output obtained using the CNNBiLSTM method to classify rice growth phases, produces the best accuracy with an accuracy value of 79.57 on testing data and 98.20 on training data and an F1-score of 79.78. By using a combination of sentinel 1 and 2 image data, the accuracy of the LSTM model can be improved. Furthermore, the accuracy obtained for the rice production regression model is still not good. The best accuracy was produced by the random forest model with a MAPE value of 0.1336 and RSME of 0.6871."

"Penelitian ini memiliki tujuan untuk mencari model machine learning yang dapat mengenali kegiatan yang dilakukan pengguna ATM, serta mencari algoritma terbaik untuk mengetahui kapan suatu kegiatan pengguna ATM dimulai dan selesai pada suatu video. Terdapat sembilan jenis aktivitas berbeda yang ingin dideteksi. Penelitian ini dapat dibagi dalam dua fase, yaitu fase mencari rentang waktu aktivitas pada video yang disebut fase deteksi aktivitas, dan fase mengenali aktivitas tersebut yang disebut fase pengenalan aktivitas. Pada fase pengenalan aktivitas, penulis mengajukan suatu rancangan arsitektur 3D CNN, serta melakukan eksperimen terhadap parameter pada arsitektur tersebut. Setelah melakukan beberapa eksperimen, didapatkan model terbaik dengan kernel berukuran 3 x 3 x 3, menggunakan input video dengan piksel berukuran 20 x 20 per frame, dan menggunakan dua lapis layer ekstraksi fitur. Pada fase deteksi aktivitas, penulis mengajukan suatu rancangan fungsi deteksi aktivitas, yang mengikuti framework ‘classification lalu post-processing’ yang merupakan salah satu framework untuk deteksi aktivitas (Yao et al., 2018), serta melakukan eksperimen terhadap parameter pada fungsi tersebut. Setelah melakukan beberapa eksperimen, didapatkan performa terbaik dengan parameter teta sebesar 20, dan konstanta C sebesar 365. Pada kedua eksperimen tersebut, terdapat beberapa kesalahan yang dilakukan, sehingga diperlukan eksperimen lanjutan dimana kesalahan tersebut tidak dilakukan. Kesalahan tersebut adalah model kemungkinan besar masih underfit, dan terdapat permasalahan pada pemotongan video manual pada dataset. Setelah menyelesaikan kesalahan tersebut, model untuk fase pengenalan aktivitas mendapatkan akurasi sebesar 93.94%, presisi sebesar 96.36%, recall sebesar 93.94%, dan f-score sebesar 93.69%. Pada sisi lain, dalam fase deteksi aktivitas didapatkan akurasi sebesar 94.44%, presisi sebesar 96.30%, recall sebesar 96.30%, dan f-score sebesar 94.07%.

---

This research aims to find a machine learning model that can recognize the activities of ATM users, and find the best algorithm to find when each ATM user activity starts and finishes on a video. There are nine different types of activities that this study want to detect. This research can be divided into two phases, namely the phase of detecting for a time span of activity on a video that is called the activity detection phase, and the phase of recognizing that activity that is called the activity recognition phase. In the activity recognition phase, I propose a 3D CNN architecture design, and conduct experiments on the parameters of the architecture. After carrying out several experiments, the best model is obtained with a kernel with dimensions of 3 x 3 x 3, using video input with pixels measuring 20 x 20 per frame, and using two layers of feature extraction layer. In the activity detection phase, I propose an activity detection function, which follows the ‘classification then post-processing’ framework, which is one of the frameworks for activity detection (Yao et al., 2018), and conducts experiments on the parameters of the function. After carrying out several experiments, the best performance was obtained with a theta parameter of 20, and a constant C of 365. In both experiments, there were some errors made, so that further experiments were needed to be done, where the errors were not carried out. The error is that the model is most likely still in underfit phase, and there are problems with manual video clipping on the dataset. After resolving these errors, the model for the activity recognition phase gained an accuracy of 93.94%, a precision of 96.36%, a recall of 93.94%, and an f-score of 93.69%. On the other hand, in the activity detection phase an accuracy of 94.44% is obtained, a precision of 96.30%, a recall of 94.44%, and an f-score of 94.07%."

"Kecanggihan dalam bidang pengenalan wajah berbasis deep learning semakin berkembang dan telah menjadikannya salah satu teknik biometrik yang paling dapat diandalkan. Namun, penggunaan masker penutup mulut dan hidung akibat pandemi COVID-19 membuat model pengenalan wajah kehilangan sekitar setengah dari informasi biometrik yang berguna dan mengakibatkan penurunan tingkat akurasi. Penelitian ini bertujuan untuk mengajukan model pengenalan wajah bermasker alternatif berakurasi tinggi. Untuk mengembangkan Convolutional Neural Networks (CNNs) sebagai ekstraktor fitur dari pengenalan wajah bermasker, tiga hal yang paling berkontribusi ialah data latih yang besar, arsitektur jaringan dan fungsi kerugian (loss function). Model yang diajukan berasal dari hasil modifikasi arsitektur ResNet dengan menyisipkan blok RepMLP. Kemudian, membandingkan hasil pelatihan tersebut menggunakan fungsi kerugian terbaik saat ini, ArcFace loss dan CurricularFace loss. Model dilatih menggunakan data latih MS1M-V3. Model terbaik yang dapat diajukan dari penelitian ini berhasil memperoleh nilai akurasi 77,8% saat diuji menggunakan data MFR2. Nilai akurasi tersebut 2,3% lebih tinggi dibandingkan dengan model baseline (ResNet-50) yang digunakan dalam penelitian ini. Selain berhasil memperoleh nilai akurasi yang lebih baik, model yang dijukan memiliki jumlah parameter yang lebih sedikit dibandingkan model baseline.

---

Sophistication in deep facial recognition is still growing and has made it one of the most reliable biometric techniques. However, using masks covering the mouth and nose due to the COVID-19 pandemic has caused facial recognition models lose about half of the useful biometric information and decreased the accuracy. This study aims to propose a high-accuracy alternative masked facial recognition model. The success of Convolutional Neural Networks (CNNs) on face recognition mainly contributed by enormous training data, network architectures, and loss functions. The proposed model comes from a modification of the ResNet architecture by inserting RepMLP blocks. Then, compares the training results using the current best loss function, ArcFace loss and CurricularFace loss. The model was trained using the MS1M-V3 training data. The best model that can be proposed from this study managed to obtain an accuracy value of 77.8% when tested using the MFR2 dataset. This accuracy value is 2.3% higher than the baseline model (ResNet-50) which used in this study. Besides being successful in obtaining better accuracy values, the proposed model has fewer parameters than the baseline model."