Optimasi Hybrid Model XLM-R dan ConvNeXt Menggunakan Optuna untuk Analisis Sentimen Multimodal Code-Mixed pada Ulasan Produk E-Commerce

Axel Mahardika, Fabianus (2026) Optimasi Hybrid Model XLM-R dan ConvNeXt Menggunakan Optuna untuk Analisis Sentimen Multimodal Code-Mixed pada Ulasan Produk E-Commerce. Pro-Step Report, Universitas Multimedia Nusantara.

	PDF HALAMAN_AWAL.pdf Restricted to Registered users only Download (477kB)
	PDF BAB_I.pdf Download (204kB)
	PDF BAB_II.pdf Download (558kB)
	PDF BAB_III.pdf Restricted to Registered users only Download (460kB)
	PDF BAB_IV.pdf Restricted to Registered users only Download (1MB)
	PDF BAB_V.pdf Restricted to Registered users only Download (137kB)
	PDF DAFTAR_PUSTAKA.pdf Restricted to Registered users only Download (178kB)
	PDF LAMPIRAN.pdf Restricted to Registered users only Download (1MB)
	PDF LEMBAR_PENGESAHAN.pdf Restricted to Registered users only Download (53kB)

Abstract

Pesatnya perkembangan e-commerce menghasilkan jutaan ulasan pelanggan yang menjadi sumber utama dalam mengevaluasi kualitas produk dan kepuasan konsumen. Namun, volume ulasan yang sangat besar membuat proses analisis secara manual tidak lagi memungkinkan. Dari sisi ilmu komputer, permasalahan menjadi semakin kompleks karena ulasan pada platform e-commerce bersifat multimodal, terdiri atas teks code-mixed dan gambar autentik yang saling melengkapi. Pendekatan analisis sentimen berbasis satu modalitas belum mampu memanfaatkan kedua jenis informasi tersebut secara bersamaan sehingga berpotensi menurunkan akurasi klasifikasi. Penelitian ini bertujuan mengembangkan dan mengevaluasi model analisis sentimen multimodal yang mampu mengintegrasikan informasi tekstual dan visual untuk meningkatkan performa klasifikasi sentimen ulasan produk. Penelitian menerapkan kerangka Knowledge Discovery in Databases (KDD) yang meliputi tahapan Selection, Preprocessing, Transformation, Modeling, dan Evaluation. Representasi teks dibangun menggunakan XLM-RoBERTa, sedangkan representasi visual diekstraksi menggunakan ConvNeXt-Tiny. Kedua representasi kemudian digabungkan melalui pendekatan feature-level fusion berbasis konkatenasi. Optimasi hyperparameter dilakukan menggunakan Optuna untuk memperoleh konfigurasi model terbaik secara otomatis, sementara ketidakseimbangan distribusi kelas ditangani menggunakan quality-based undersampling pada kelas mayoritas. Hasil penelitian menunjukkan bahwa model XLM-RoBERTa memperoleh F1- score sebesar 87,35% pada eksperimen berbasis teks, sedangkan ConvNeXt-Tiny mencapai F1-score sebesar 79,20% pada eksperimen berbasis gambar. Model multimodal yang menggabungkan kedua arsitektur tersebut menghasilkan performa terbaik dengan akurasi 92,40% dan F1-score 91,15%, serta menunjukkan performa yang stabil melalui Stratified 10-Fold Cross Validation dengan rata-rata F1-score sebesar 0,9047 � 0,0011. Analisis Explainable Artificial Intelligence (XAI) menggunakan Integrated Gradients menunjukkan bahwa model memanfaatkan token penting pada teks serta area visual yang relevan terhadap kondisi produk dalam menghasilkan prediksi sentimen.

Item Type:	Technical Report (Pro-Step Report)
Creators:	Axel Mahardika, Fabianus (00000082868)
Contributors:	Kristiyanti, Dinar Ajeng (0330128801)
Keywords:	Analisis Sentimen Multimodal, Code-mixed, Hyperparameter optimization, Optuna
Subjects:	000 Computer Science, Information and General Works > 000 Computer Science, Knowledge and Systems > 004 Computer Science, Data Processing, Hardware > 004.2 Systems Analysis and Design, Information Architecture, Performance Evaluation
Divisions:	Faculty of Engineering & Informatics > Information System
Date Deposited:	14 Sep 2026 14:56
URI:	https://kc.umn.ac.id/id/eprint/49427

Actions (login required)

View Item