Model Hybrid Multimodal IndoBERT-ResNet-50 untuk Deteksi Berita Hoax Bahasa Indonesia

Fakhrana Athira, Reva (2026) Model Hybrid Multimodal IndoBERT-ResNet-50 untuk Deteksi Berita Hoax Bahasa Indonesia. Bachelor Thesis, Universitas Multimedia Nusantara.

	PDF HALAMAN_AWAL.pdf Restricted to Registered users only Download (736kB)
	PDF BAB_I.pdf Download (272kB)
	PDF BAB_II.pdf Download (555kB)
	PDF BAB_III.pdf Restricted to Registered users only Download (443kB)
	PDF BAB_IV.pdf Restricted to Registered users only Download (1MB)
	PDF BAB_V.pdf Restricted to Registered users only Download (214kB)
	PDF DAFTAR_PUSTAKA.pdf Restricted to Registered users only Download (253kB)
	PDF LAMPIRAN.pdf Restricted to Registered users only Download (677kB)
	Archive (ZIP) 00000068621_2521_LembarPengesahan.pdf Restricted to Registered users only Download (65kB)

Abstract

Penyebaran berita hoax di media digital terus meningkat seiring berkembangnya media sosial dan platform berita daring. Konten hoax modern umumnya disajikan dalam bentuk multimodal berupa gambar yang mengandung teks. Permasalahan utama adalah model berbasis gambar seperti CNN dan ResNet-50 hanya mampu membaca pola visual dan tidak dapat memahami teks yang terdapat di dalam gambar secara langsung. Akibatnya, informasi penting pada gambar berita, poster, maupun tangkapan layar sering tidak dapat dianalisis secara optimal. Oleh karena itu, diperlukan Optical Character Recognition (OCR) untuk mengekstraksi teks pada gambar, dimana IndoBERT digunakan untuk memahami konteks teks hasil ekstraksi OCR berbahasa Indonesia. Penelitian ini bertujuan membangun sistem deteksi berita hoax berbahasa Indonesia menggunakan pendekatan hybrid multimodal IndoBERT-ResNet-50 berbasis OCR. Penelitian dilakukan menggunakan metode Cross Industry Standard Process for Data Mining (CRISP- DM) yang meliputi business understanding, data understanding, data preparation, modeling, evaluation, dan deployment. Dataset diperoleh melalui proses web scraping dari Instagram dan website berita yang terdiri dari gambar berita, caption, dan teks berita. Selanjutnya dilakukan preprocessing, tokenisasi, image transformation, dan feature fusion. Model dilatih menggunakan AdamW optimizer yang berfungsi untuk mengoptimalkan proses pembelajaran melalui mekanisme weight decay sehingga mampu meningkatkan kemampuan generalisasi model dan mengurangi risiko overfitting. Hasil penelitian menunjukkan bahwa model multimodal IndoBERT-ResNet-50 dengan AdamW optimizer dan teknik OCR memperoleh accuracy 99,56%, precision 100,00%, recall 98,74%, dan F1-score 99,37%. Hasil tersebut menunjukkan peningkatan performa sekitar 0,7%-7,6% dibandingkan model unimodal dan tanpa optimizer. Penelitian ini menunjukkan bahwa model hybrid multimodal IndoBERT-ResNet- 50 menggunakan AdamW Optimizer dan teknik OCR berhasil meningkatkan performa accuracy untuk mendeteksi berita hoax berbahasa Indonesia berbasis multimodal dengan berita berbentuk gambar yang mengandung teks.

Item Type:	Thesis (Bachelor Thesis)
Creators:	Fakhrana Athira, Reva (00000068621)
Contributors:	Kristiyanti, Dinar Ajeng
Keywords:	Deteksi Hoax, Feature fusion, IndoBERT, ResNet-50
Subjects:	000 Computer Science, Information and General Works > 000 Computer Science, Knowledge and Systems > 004 Computer Science, Data Processing, Hardware > 004.2 Systems Analysis and Design, Information Architecture, Performance Evaluation
Divisions:	Faculty of Engineering & Informatics > Information System
Date Deposited:	25 Jun 2026 07:58
URI:	https://kc.umn.ac.id/id/eprint/46648

Actions (login required)

View Item