Model Hybrid Berbasis Transformer dan Visual Encoder untuk Code-Mixed Multimodal Sentiment Analysis pada Ulasan Produk E-Commerce

Eldora, Karin (2026) Model Hybrid Berbasis Transformer dan Visual Encoder untuk Code-Mixed Multimodal Sentiment Analysis pada Ulasan Produk E-Commerce. Bachelor Thesis, Universitas Multimedia Nusantara.

	PDF HALAMAN_AWAL.pdf Restricted to Registered users only Download (786kB)
	PDF BAB_I.pdf Download (436kB)
	PDF BAB_II.pdf Download (1MB)
	PDF BAB_III.pdf Restricted to Registered users only Download (4MB)
	PDF BAB_IV.pdf Restricted to Registered users only Download (12MB)
	PDF BAB_V.pdf Restricted to Registered users only Download (330kB)
	PDF DAFTAR_PUSTAKA.pdf Restricted to Registered users only Download (316kB)
	PDF LAMPIRAN.pdf Restricted to Registered users only Download (2MB)
	Archive (ZIP) 00000068097_2521_LembarPengesahan.pdf Restricted to Registered users only Download (65kB)

Abstract

Ulasan produk e-commerce dapat memuat rating, teks, dan gambar yang tidak selalu selaras, sehingga interpretasi sentimen lebih kompleks, terutama pada ulasan code-mixed dengan campuran bahasa, slang, dan struktur tidak formal. Model text- only terbatas pada konteks bahasa, sementara image-only hanya terpaku pada bukti visual, sehingga model hybrid multimodal dibangun untuk menggabungkan representasi teks dan gambar. Kontribusi penelitian mencakup penerapan XLM-R untuk mengatasi keterbatasan model English-based pada teks code-mixed, penerapan ResNet-18 sebagai visual encoder untuk mengatasi keterbatasan ekstraksi fitur image review, serta pembentukan model hybrid melalui feature concatenation untuk mengatasi keterbatasan text-only dan image-only. Kerangka Cross-Industry Standard Process for Data Mining (CRISP-DM) digunakan melalui business understanding, data understanding, data preparation, modeling, evaluation, dan deployment. Data preparation mencakup text-image pre- processing, balancing, translasi, pelabelan, serta splitting. Modeling membangun model unimodal teks dan gambar serta enam model hybrid multimodal, sedangkan evaluation menggunakan accuracy, precision, recall, F1-score, execution time, dan Chi-Square Test. Pada 758 data uji, XLM-R menjadi model teks terbaik dengan F1- score 92,22%, ResNet-18 menjadi model gambar terbaik dengan F1-score 78,40%, dan XLM-R+ResNet-18 menjadi model hybrid multimodal terbaik dengan F1- score 93,14%. Uji statistik menghasilkan chi-square 246,3078, df 10, p-value <0,000001, dan Cramer's V 0,1719, sehingga H0 ditolak yang artinya terdapat perbedaan distribusi prediksi benar-salah antar model. Hasil tersebut memperkuat XLM-R+ResNet-18 sebagai model terbaik dengan peningkatan F1-score 0,92 poin dari XLM-R-only dan 14,74 poin dari ResNet-18-only. Model diimplementasikan dalam aplikasi web berbasis Streamlit dengan hasil User Acceptance Testing sebesar 88%. Penelitian menunjukkan bahwa model XLM-R+ResNet-18 berhasil meningkatkan performa analisis sentimen code-mixed multimodal pada ulasan produk e-commerce.

Item Type:	Thesis (Bachelor Thesis)
Creators:	Eldora, Karin (00000068097)
Contributors:	Kristiyanti, Dinar Ajeng
Keywords:	Code-mixed, E-commerce, Model hybrid multimodal, ResNet-18, XLM-R
Subjects:	000 Computer Science, Information and General Works > 000 Computer Science, Knowledge and Systems > 004 Computer Science, Data Processing, Hardware > 004.2 Systems Analysis and Design, Information Architecture, Performance Evaluation
Divisions:	Faculty of Engineering & Informatics > Information System
Date Deposited:	06 Jul 2026 07:55
URI:	https://kc.umn.ac.id/id/eprint/47029

Actions (login required)

View Item