Prediksi Kata Bahasa Isyarat Indonesia (BISINDO) Berbasis Video Menggunakan Multi-Isyarat I3D dan ST-GCN

Chrealvin, Chrealvin (2025) Prediksi Kata Bahasa Isyarat Indonesia (BISINDO) Berbasis Video Menggunakan Multi-Isyarat I3D dan ST-GCN. Bachelor Thesis thesis, Universitas Multimedia Nusantara.

	PDF HALAMAN_AWAL.pdf Download (4MB)
	PDF BAB_I.pdf Download (282kB)
	PDF BAB_II.pdf Download (1MB)
	PDF BAB_III.pdf Download (714kB)
	PDF BAB_IV.pdf Restricted to Registered users only Download (587kB)
	PDF BAB_V.pdf Download (201kB)
	PDF DAFTAR_PUSTAKA.pdf Download (227kB)
	PDF LAMPIRAN.pdf Restricted to Registered users only Download (319kB)

Abstract

Penelitian ini bertujuan untuk mengembangkan sistem prediksi bahasa isyarat indonesia (BISINDO) berbasis video pada level kata dengan mengintegrasikan fitur multi-cue yang terinspirasi pada penelitian sebelumnya. Metode yang dipakai menggabungkan model Inflated 3D (I3D) dan Spatio-Temporal Graph Convolutional Network (ST-GCN) untuk memprediksi berdasarkan fitur global pada sebuah video yang berupa video instruktor yang didapat meenggunakan YOLOv11, pergerkan optik instruktor yang didapat melalui kalkulasi algoritma farneback dan TV-L1, dan pose tubuh yang diprediksi menggunakan MediaPipe. Tahap praproses meliputi deteksi instruktor menggunakan YOLOv11, estimasi pergerakan optik menggunakan metode farneback dan TV-L1, dan prediksi pose menggunakan MediaPipe. Prediksi dari setiap kombinasi model kemudian dirata-ratakan untuk menghasilkan hasil prediksi akhir. Sistem ini dievaluasi menggunakan dataset BISINDO yang terdiri dari 50 kata bahasa Indonesia. Sistem ini mencapai akurasi top-1 dengan kombinasi rgb+farneback dan rgb+farneback+skeleton, top-3 dengan kombinasi farneback dan rgb+farneback, dan top-5 dengan kombinasi farneback masing-masing sebesar 40,82%, 63,27%, dan 77,55%.

Item Type:	Thesis (Bachelor Thesis)
Keywords:	bahasa isyarat, bisindo, i3d, st-gcn
Divisions:	Faculty of Engineering & Informatics > Informatics
SWORD Depositor:	Administrator UMN Library
Depositing User:	Administrator UMN Library
Date Deposited:	20 Aug 2025 11:02
Last Modified:	20 Aug 2025 11:02
URI:	https://kc.umn.ac.id/id/eprint/39990

Actions (login required)

View Item