Deteksi Gerakan Bahasa Isyarat dan Terjemahan dalam Bentuk Teks Secara Real-Time Menggunakan YOLOv11

Aira Meylie, Kelsha (2025) Deteksi Gerakan Bahasa Isyarat dan Terjemahan dalam Bentuk Teks Secara Real-Time Menggunakan YOLOv11. Bachelor Thesis, Universitas Multimedia Nusantara.

	PDF HALAMAN_AWAL.pdf Download (1MB)
	PDF ARTIKEL.pdf Download (709kB)
	PDF TURNITIN.pdf Download (502kB)
	PDF LAMPIRAN.pdf Restricted to Registered users only Download (3MB)
	PDF LETTER_OF_ACCEPTANCE.pdf Download (277kB)

Abstract

Hambatan komunikasi antara komunitas Tuli dan masyarakat umum masih menjadi tantangan signifikan di Indonesia, yang sebagian besar disebabkan oleh keterbatasan kesadaran dan pemahaman terhadap Bahasa Isyarat Indonesia (BISINDO). Penelitian ini mengusulkan sebuah sistem pengenalan dan penerjemahan BISINDO secara real-time menggunakan algoritma deteksi objek YOLOv11 untuk meningkatkan akurasi dan ketahanan dalam mendeteksi isyarat tangan. Model dilatih menggunakan sepuluh dataset publik yang tersedia, yang selanjutnya ditingkatkan dengan teknik augmentasi data secara ekstensif untuk meningkatkan generalisasi di berbagai pengguna dan lingkungan. Transfer learning diterapkan dengan melakukan fine-tuning pada YOLOv11 menggunakan bobot pra-latih dari model dengan sensitivitas tinggi, sehingga mengoptimalkan kinerja deteksi tanpa perlu melatih ulang secara keseluruhan. Hasil eksperimen menunjukkan bahwa sistem ini mencapai kinerja tinggi, dengan precision sebesar 97,5%, recall sebesar 97,1%, dan nilai mean Average Precision ([email protected]) sebesar 98,2%. Sistem ini juga mencapai skor [email protected]­0.95 sebesar 92,5%, melampaui metode berbasis YOLOv8 sebelumnya yang memperoleh skor sebesar 88,4%. Model yang ditingkatkan ini secara efektif mengatasi kesulitan klasifikasi yang dicatat pada studi sebelumnya dan dapat beroperasi secara andal secara real- time menggunakan perangkat kamera standar. Penelitian ini memberikan solusi yang praktis dan efisien untuk membantu menjembatani kesenjangan komunikasi bagi penyandang disabilitas di Indonesia, sekaligus mendukung peningkatan inklusi sosial dan aksesibilitas.

Item Type:	Thesis (Bachelor Thesis)
Creators:	Aira Meylie, Kelsha (00000064613)
Contributors:	Waworuntu, Alexander
Keywords:	Bahasa Isyarat Indonesia (BISINDO), Computer Vision, Deteksi Objek Real-Time, Sign Language Recognition, Transfer Learning, YOLOv11.
Subjects:	000 Computer Science, Information and General Works
Divisions:	Faculty of Engineering & Informatics > Informatics
Date Deposited:	10 Sep 2025 09:16
URI:	https://kc.umn.ac.id/id/eprint/40572

Actions (login required)

View Item