Penerapan Transfer Learning Wav2Vec 2.0 untuk Deteksi AI-Generated Speech sebagai Upaya Pencegahan Voice Phishing

Yanti Daneuis, Erva (2026) Penerapan Transfer Learning Wav2Vec 2.0 untuk Deteksi AI-Generated Speech sebagai Upaya Pencegahan Voice Phishing. Bachelor Thesis, Universitas Multimedia Nusantara.

	PDF HALAMAN_AWAL.pdf Restricted to Registered users only Download (1MB)
	PDF BAB_I.pdf Download (230kB)
	PDF BAB_II.pdf Download (326kB)
	PDF BAB_III.pdf Restricted to Registered users only Download (398kB)
	PDF BAB_IV.pdf Restricted to Registered users only Download (641kB)
	PDF BAB_V.pdf Restricted to Registered users only Download (226kB)
	PDF DAFTAR_PUSTAKA.pdf Restricted to Registered users only Download (218kB)
	PDF LAMPIRAN.pdf Restricted to Registered users only Download (512kB)
	Archive (ZIP) 00000077318_2521_LembarPengesahan.pdf Restricted to Registered users only Download (66kB)

Abstract

Pesatnya perkembangan teknologi sintesis suara dan voice cloning berbasis kecerdasan buatan (Artificial Intelligence/AI) telah meningkatkan risiko serangan voice phishing melalui kemampuan menghasilkan suara sintetis yang semakin realistis. Kondisi ini menuntut adanya metode yang andal untuk membedakan suara asli dan suara hasil generasi AI. Penelitian ini bertujuan untuk mengembangkan dan mengevaluasi model deteksi AI-generated speech menggunakan pendekatan transfer learning berbasis arsitektur self-supervised Wav2Vec 2.0 (facebook/wav2vec2-base). Eksperimen dilakukan menggunakan Fake-or-Real (FoR) Dataset yang terdiri atas 17.870 sampel audio kelas REAL dan FAKE. Untuk mengurangi overfitting dan meningkatkan efisiensi pelatihan, lapisan CNN Feature Extractor dan enam lapisan awal Transformer dibekukan (frozen), serta diterapkan weight decay sebesar 0,05 dan strategi early stopping selama proses fine-tuning. Model yang diusulkan berhasil mencapai konvergensi pada epoch ketiga dengan akurasi validasi sebesar 96,67%. Evaluasi pada data uji independen yang seimbang sebanyak 1.088 sampel audio menghasilkan akurasi sebesar 96,14%, presisi sebesar 95,80%, dan recall sebesar 96,51% untuk kelas FAKE. Hasil penelitian menunjukkan bahwa Wav2Vec 2.0 efektif dalam mendeteksi AI-generated speech dan memiliki potensi yang kuat untuk mendukung upaya mitigasi ancaman voice phishing dalam konteks keamanan siber.

Item Type:	Thesis (Bachelor Thesis)
Creators:	Yanti Daneuis, Erva (00000077318)
Contributors:	Afriliana, Nunik
Keywords:	AI-generated speech, deteksi deepfake speech, Fake-or-Real dataset, transfer learning, Wav2Vec 2.0 xii Penerapan transfer learning..., Erva Yanti Daneuis, Universitas Multimedia Nusantara
Subjects:	000 Computer Science, Information and General Works
Divisions:	Faculty of Engineering & Informatics > Informatics
Date Deposited:	23 Jul 2026 08:04
URI:	https://kc.umn.ac.id/id/eprint/47946

Actions (login required)

View Item