Implementasi MediaPipe Hand Tracking untuk Gesture Classification Menggunakan Dense Neural Network pada Aplikasi 3D

Richard Halim, Christian (2023) Implementasi MediaPipe Hand Tracking untuk Gesture Classification Menggunakan Dense Neural Network pada Aplikasi 3D. Bachelor Thesis thesis, Universitas Multimedia Nusantara.

Preview	PDF HALAMAN_AWAL.pdf Download (3MB) | Preview
Preview	PDF DAFTAR_PUSTAKA.pdf Download (222kB) | Preview
Preview	PDF BAB_I.pdf Download (215kB) | Preview
Preview	PDF BAB_II.pdf Download (353kB) | Preview
Preview	PDF BAB_III.pdf Download (904kB) | Preview
	PDF BAB_IV.pdf Restricted to Registered users only Download (2MB)
Preview	PDF BAB_V.pdf Download (209kB) | Preview
	PDF LAMPIRAN.pdf Restricted to Registered users only Download (2MB)

Abstract

Hand tracking merupakan salah satu cara yang dapat digunakan agar seseorang dapat berinteraksi dengan lingkungan yang ada di dunia virtual baik itu dalam konteks Virtual Reality ataupun Augmented Reality. Banyak penelitian yang telah meneliti tentang device dan metode apa yang dapat menjadi solusi paling baik untuk digunakan dalam melacak suatu tangan, tetapi kebanyakan masih memerlukan hardware khusus dan biaya yang mahal. Penelitian ini akan menggunakan satu kamera biasa yang mudah diakses untuk melakukan Hand Tracking dan Hand Gesture Classification. Hasil dari Hand Tracking akan direpresentasikan menjadi sebuah tangan dalam sebuah environment 3D yang bernama Unity, Hand Gesture Classification akan digunakan untuk memperbanyak interaksi yang dapat dilakukan oleh pengguna terhadap environment 3D tersebut. Penelitian ini akan memanfaatkan data koordinat landmark yang didapatkan dari MediaPipe Hand sebagai ground truth yang kemudian dikumpulkan menjadi dataset. Dataset tersebut kemudian akan digunakan untuk membuat model Hand Gesture Classification dengan menggunakan metode Dense Neural Network dari Tensorflow Keras. Berdasarkan hasil implementasi dan pengujian dengan menggunakan dataset yang telah dikumpulkan, Hand Tracking dan Hand Gesture Classification berhasil diimplementasikan ke dalam Unity untuk melakukan interaksi layaknya sebuah VR Controller pada umumnya. Selain itu, hasil inferensi model terhadap 10 gesture tangan juga berhasil memperoleh performa akurasi 99%, presisi 99%, recall 99% dan f1-score 99%.

Item Type:	Thesis (Bachelor Thesis)
Keywords:	Gesture Classification, Hand Tracking, MediaPipe, Tensorflow Keras, Unity
Subjects:	000 Computer Science, Information and General Works > 000 Computer Science, Knowledge and Systems > 005 Computer Programming > 005.5 Application / Software
Divisions:	Faculty of Engineering & Informatics > Informatics
SWORD Depositor:	Administrator UMN Library
Depositing User:	Administrator UMN Library
Date Deposited:	28 Jun 2023 09:47
Last Modified:	09 Aug 2023 05:37
URI:	https://kc.umn.ac.id/id/eprint/25507

Actions (login required)

View Item