Pengenalan Objek Alfabet American Sign Language (ASL) Menggunakan Algoritma YOLOv5

Rishma Maudyna; Hanny Hikmayanti Handayani; Santi Arum Puspita Lestari

Rishma Maudyna Universitas Buana Perjuangan Karawang
Hanny Hikmayanti Handayani Universitas Buana Perjuangan Karawang
Santi Arum Puspita Lestari Universitas Buana Perjuangan Karawang

Keywords: Bahasa Isyarat, Confusion Matrix, Deteksi Objek, YOLOv5

Abstract

Kurangnya penggunaan bahasa isyarat dalam berkomunikasi mengakibatkan minimnya pengetahuan masyarakat terkait metode komunikasi menggunakan bahasa isyarat. Model algoritma YOLOv5 banyak digunakan untuk deteksi objek dan mampu menghasilkan tingkat akurasi yang tinggi. Oleh karena itu, penelitian ini dilakukan untuk mendeteksi dan mengenali objek alfabet dari American Sign Language (ASL) menggunakan YOLOv5. Tujuan penelitian ini adalah untuk mengetahui hasil deteksi dan menganalisis performa model YOLOv5, serta mengevaluasi hasilnya menggunakan Confusion Matrix. Tahapan penelitian yang dilakukan meliputi pengumpulan dataset dan anotasi objek menggunakan Roboflow. Untuk mengetahui performa model YOLOv5, dilakukan perbandingan antara pelatihan dengan 200 epoch dan 300 epoch. Hasil pengujian model YOLOv5 pada kedua epoch tersebut menunjukkan bahwa dari 26 kelas huruf alfabet, nilai Mean Average Precision (mAP) dengan confidence threshold rata-rata mencapai 0,950 pada [email protected]. Nilai precision pada 200 dan 300 epoch masing-masing sebesar 1 dan 0,7428. Nilai recall pada 200 dan 300 epoch masing-masing sebesar 0,7878 dan 0,7027. Pada epoch 200 dan 300 diperoleh nilai akurasi tertinggi sebesar 0,96, sedangkan nilai akurasi terendah terdapat pada epoch 200 dengan nilai 0,85.

References

[1] M. E. Al Rivan, H. Irsyad, K. Kevin, and A. T. Narta, “Pengenalan Alfabet American Sign Language Menggunakan K-Nearest Neighbors Dengan Ekstraksi Fitur Histogram Of Oriented Gradients,” J. Tek. Inform. dan Sist. Inf., vol. 5, no. 3, pp. 328–339, 2020, doi: 10.28932/jutisi.v5i3.1936.
[2] R. Ridwang, “Pengenalan bahasa isyarat indonesia (SIBI) menggunakan leap motion controller dan algoritma data mining naïve bayes,” J. INSYPRO (Information Syst. Process., vol. 2, no. 2, 2017.
[3] A. Levina, “Implementasi Model Deep Learning Untuk Deteksi Objek Candi Prambanan, Candi Borobudur, Dan Candi Ratu Boko Menggunakan YOLO V5.” Institut Teknologi Telkom Purwokerto, 2021.
[4] T. F. Dima and M. E. Ahmed, “Using YOLOv5 Algorithm to Detect and Recognize American Sign Language,” in 2021 International Conference on Information Technology (ICIT), 2021, pp. 603–607.
[5] P. Studi and T. Informatika, “Klasifikasi American Sign Language Menggunakan Fitur Scale Invariant Feature Transform dan Jaringan Saraf Tiruan,” vol. 1, no. 1, 2020.
[6] M. F. Naufal et al., “Analisis Perbandingan Algoritma Klasifikasi MLP dan CNN pada Dataset American Sign Language,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 5, no. 3, pp. 489–495, 2021, doi: 10.29207/resti.v5i3.3009.
[7] R. Padilla, S. L. Netto, and E. A. B. Da Silva, “A survey on performance metrics for object-detection algorithms,” in 2020 international conference on systems, signals and image processing (IWSSIP), 2020, pp. 237–242.
[8] A. Amwin, “Deteksi Dan Klasifikasi Kendaraan Berbasis Algoritma You Only Look Once (YOLO),” 2021.
[9] A. Rohim, Y. A. Sari, and T. Tibyani, “Convolution neural network (cnn) untuk pengklasifikasian citra makanan tradisional,” JPTIIK (Jurnal Pengemb. Teknol. Inf. dan Ilmu Komputer), vol. 3, no. 7, pp. 7037–7042, 2019.
[10] J. Yao, J. Qi, J. Zhang, H. Shao, J. Yang, and X. Li, “A real-time detection algorithm for Kiwifruit defects based on YOLOv5,” Electronics, vol. 10, no. 14, p. 1711, 2021.
[11] D. Thuan, “Evolution of Yolo algorithm and Yolov5: The State-of-the-Art object detention algorithm,” 2021.
[12] J. Ieamsaard, S. N. Charoensook, and S. Yammen, “Deep learning-based face mask detection using yolov5,” in 2021 9th International Electrical Engineering Congress (iEECON), 2021, pp. 428–431.