Pengenalan Bahasa Isyarat Indonesia (BISINDO) Secara Real-Time Menggunakan YOLOv8 dan MediaPipe

Azizah, Nurul (2026) Pengenalan Bahasa Isyarat Indonesia (BISINDO) Secara Real-Time Menggunakan YOLOv8 dan MediaPipe. Bachelor Thesis, Universitas Multimedia Nusantara.

	PDF HALAMAN_AWAL.pdf Restricted to Registered users only Download (569kB)
	PDF BAB_I.pdf Download (239kB)
	PDF BAB_II.pdf Download (2MB)
	PDF BAB_III.pdf Restricted to Registered users only Download (1MB)
	PDF BAB_IV.pdf Restricted to Registered users only Download (3MB)
	PDF BAB_V.pdf Restricted to Registered users only Download (207kB)
	PDF DAFTAR_PUSTAKA.pdf Restricted to Registered users only Download (216kB)
	PDF LAMPIRAN.pdf Restricted to Registered users only Download (1MB)
	Archive (ZIP) 00000076022_2521_LembarPengesahan.pdf Restricted to Registered users only Download (65kB)

Abstract

Komunikasi antara penyandang tunarungu dan masyarakat umum kerap terhambat oleh keterbatasan pemahaman terhadap Bahasa Isyarat Indonesia (BISINDO). Kesenjangan ini mendorong kebutuhan akan sistem yang mampu mengenali dan menerjemahkan gesture BISINDO secara otomatis dan real-time tanpa memerlukan pengetahuan bahasa isyarat dari pengguna. Penelitian ini bertujuan mengembangkan sistem pengenalan gesture BISINDO berbasis deep learning yang mampu mendeteksi dan mengklasifikasikan 33 kelas gesture secara real- time dengan keluaran suara berbahasa Indonesia, serta mengevaluasi efektivitas pendekatan keypoint annotation preprocessing dalam meningkatkan akurasi pengenalan. Sistem dibangun menggunakan YOLOv8s sebagai detektor objek dan MediaPipe Hands sebagai ekstraktor landmark, dengan kontribusi metodologis berupa keypoint annotation preprocessing: visualisasi 21 titik landmark tangan langsung di atas citra dataset sebelum pelatihan untuk memperkaya representasi visual yang dipelajari model. Dataset BISINDO Computer Vision Model dari Roboflow Universe digunakan setelah kurasi sistematis, menghasilkan 12.871 gambar dalam 33 kelas gesture BISINDO mencakup huruf A­Z dan delapan kata dasar. Model dilatih menggunakan transfer learning berbasis bobot pretrained COCO di Google Colaboratory dengan GPU NVIDIA T4, selama maksimum 100 epoch dengan mekanisme early stopping. Pada tahap inferensi, MediaPipe berfungsi sebagai gating mechanism sehingga YOLOv8s hanya dijalankan ketika tangan terdeteksi dalam frame, dan prediksi yang stabil selama 10 frame berturut- turut memicu keluaran suara melalui modul Text-to-Speech berbahasa Indonesia. Hasil evaluasi pada test set menunjukkan Precision 99,57%, Recall 99,81%, [email protected] 99,49%, dan [email protected]:0.95 80,37%.

Item Type:	Thesis (Bachelor Thesis)
Creators:	Azizah, Nurul (00000076022)
Contributors:	Afriliana, Nunik
Keywords:	Bahasa Isyarat Indonesia (BISINDO), Gesture Recognition, MediaPipe, Real-Time Detection, YOLOv8
Subjects:	000 Computer Science, Information and General Works
Divisions:	Faculty of Engineering & Informatics > Informatics
Date Deposited:	24 Jul 2026 08:05
URI:	https://kc.umn.ac.id/id/eprint/48040

Actions (login required)

View Item