Salah satu permasalahan utama yang sedang dihadapi oleh Kementrian Kelautan dan Perikanan Republik Indonesia (KKP) adalah maraknya kejadian Illegal, Unreported, and Unregulated (IUU) fishing yang terjadi pada perairan Indonesia. Kejadian ini menimbulkan banyak kerugian bagi Indonesia, terutama dalam aspek sosial, ekologi, dan ekonomi. Untuk mengatasi masalah ini, terutama unreported fishing, dirancanglah sebuah sistem yang dapat digunakan untuk memonitor penangkapan ikan, sekaligus melakukan deteksi dan klasifikasi terhadap jenis ikan hasil tangkapan di atas kapal. Sistem dirancang menggunakan konsep object detection dan instance segmentation, dua bidang dari machine learning, menggunakan model YOLOv5 dan varian-variannya yang merupakan salah satu model dari keluarga YOLO (You Only Look Once) yang paling baik dari segi kecepatan dan akurasi. Dengan adanya sistem tersebut, diharapkan bahwa hasil tangkapan kapal di perairan Indonesia dapat bersifat lebih legal, teratur, dan sesuai dengan yang dilaporkan kepada KKP. Sistem terbaik dari penelitian ini dihasilkan menggunakan model instance segmentation yang mendapatkan nilai mAP50 0,834, mAP50-95 0,544, F1-score 0,848, dan kecepatan inferensi 232,6 fps untuk partisi validation, dan mAP50 0,797, mAP50-95 0,531, F1-score 0,802, dan kecepatan inferensi 250,0 fps untuk partisi testing pada hasil bounding box, serta nilai mAP50 0,739, mAP50-95 0,36, F1-score 0,789, dan kecepatan inferensi 232,6 fps untuk partisi validation, dan mAP50 0,711, mAP50-95 0,335, F1-score 0,746, dan kecepatan inferensi 250,0 fps untuk partisi testing pada hasil segmentation mask. Selain itu, model tersebut juga mendapatkan akurasi 60% pada tahapan perbandingan dengan model object detection.
Dalam kehidupan kita sehari-hari umumnya banyak barang yang kita butuhkan dan gunakan dalam rumah tangga kita. Mulai dari bahan pangan, minuman, barang untuk membersihkan rumah, barang untuk mencuci pakaian, kudapan, dan lain sebagainya, Pada masyarakat kini banyak barang keperluan sehari-hari tersebut kita beli dan jumpai di berbagai tempat mulai dari warung di dekat rumah, supermarket, toko sembako, dan lain sebagainya. Akhir-akhir ini jumlah supermarket dan minimarket mulai menjamur. Pada tahun 2021 jumlah minimarket di Indonesia mencapai 38.323 gerai yang merupakan peningkatan sebanyak 21,7% dibandingkan pada tahun 2017 yakni hanya sebanyak 31.488 gerai saja. Dengan jumlah gerai yang semakin banyak, banyak masyarakat yang semakin banyak menggunakan jasanya untuk mendapatkan barang-barang kebutuhan sehari-hari mereka. Apalagi bila barang yang dibeli juga cukup banyak sehingga akan sulit untuk mendata barang-barang apa saja yang telah dibeli. Untuk memudahkan hal tersebut, penulis mengajukan sebuah solusi untuk membuat sebuah rancangan sistem yang akan memanfaatkan teknologi Deep Learning untuk mendeteksi tulisan pada struk belanja dari hasil pembelian barang pada minimarket. Hasilnya dari pengujian yang sudah dilakukan pada penelitian ini, masing-masing model Deep Learning memiliki tingkat akurasi mAP50 99,4% dan mAP50:95 72,9% untuk YOLOv5, tingkat akurasi mAP50 99,61% dan mAP50:95 65,19% untuk Faster R-CNN, dan tingkat akurasi mAP50 61,77% dan mAP50:95 98,09% untuk RetinaNet. Dimana YOLOv5 memiliki tingkat akurasi mAP50:95 tertinggi yakni 72,9% dan Faster R-CNN memiliki tingkat akurasi mAP50 tertinggi yakni 99,61%. Dimana pada proses implementasi sistem YOLOv5 dan Faster R-CNN berhasil melakukan proses pengenalan sedangkan RetinaNet gagal untuk melakukannya.
Supermarket merupakan tempat pilihan terbaik untuk berbelanja kebutuhan rumah saat ini karena pelanggan dapat memilih produk yang ingin dibelinya tanpa perlu mengantre. Namun untuk melakukan pembayaran saat ini pelanggan masih perlu mengantre di kasir. Oleh karena itu, penelitian ini akan mengimplementasikan sistem cashierless yang dapat melakukan checkout secara otomatis dan efisien sehingga pelanggan tidak perlu mengantre lagi di kasir. Sistem cashierless yang digunakan pada penelitian ini adalah smart trolley, sistem ini dapat melakukan deteksi produk yang masuk atau keluar dari troli pelanggan lalu melakukan checkout secara otomatis saat pelanggan keluar dari supermarket. Untuk dapat melakukan deteksi produk diperlukan model machine learning yang berjenis object detection. Model juga harus dapat diimplementasikan pada edge device karena deteksi akan dilakukan di troli yang memiliki keterbatasan ruang. Maka model yang digunakan adalah YOLOv5 karena memiliki akurasi serta performa tinggi supaya tetap dapat diimplementasikan pada edge device. Hasil pengujian variasi backbone menunjukkan backbone original lebih baik dari backbone Swin Transformer dengan nilai F1-Score sebesar 98.64%, ukuran model sebesar 7.7 MB, dan dapat berjalan dengan 3.87 FPS di komputer pengujian dan 0.74 FPS di Raspberry Pi 4B. Hasil pengujian variasi dataset menunjukkan kombinasi dataset bergerak dengan statis blur dapat menghasilkan model yang memiliki akurasi yang paling baik dengan nilai 99.53% pada fase pelatihan dan 99.44% pada fase testing. Hasil pengujian intensitas cahaya menunjukkan penggunaan lampu untuk meningkatkan pencahayaan di sekitar wilayah deteksi di dalam troli dapat meningkatkan F1-Score hasil deteksi yang dilakukan hingga 63.55%. Hasil pengujian variasi kecepatan produk menunjukkan kecepatan ideal yang dapat digunakan pada saat proses deteksi di komputer pengujian adalah hingga 36 cm/s dan untuk proses yang dilakukan di Raspberry Pi 4B adalah di bawah 7 cm/s. Hasil pengujian dengan penambahan sampling rate dapat mendeteksi produk di komputer pengujian dengan kecepatan hingga 124 cm/s pada produk-produk dengan ukuran yang cukup lebar.