Klasifikasi Ekspresi Wajah Menggunakan MobileNetV2-CBAM dengan Focal Loss

Javera Maheswara, Reinhard (2026) Klasifikasi Ekspresi Wajah Menggunakan MobileNetV2-CBAM dengan Focal Loss. Bachelor Thesis, Universitas Multimedia Nusantara.

	PDF HALAMAN_AWAL.pdf Restricted to Registered users only Download (4MB)
	PDF BAB_I.pdf Download (235kB)
	PDF BAB_II.pdf Download (867kB)
	PDF BAB_III.pdf Restricted to Registered users only Download (2MB)
	PDF BAB_IV.pdf Restricted to Registered users only Download (6MB)
	PDF BAB_V.pdf Restricted to Registered users only Download (246kB)
	PDF DAFTAR_PUSTAKA.pdf Restricted to Registered users only Download (213kB)
	PDF LAMPIRAN.pdf Restricted to Registered users only Download (845kB)
	Archive (ZIP) 00000077732_2521_LembarPengesahan.pdf Restricted to Registered users only Download (66kB)

Abstract

Pengenalan ekspresi wajah (Facial Expression Recognition/FER) merupakan komponen penting dalam interaksi manusia-komputer dengan aplikasi pemantauan emosional di pendidikan daring dan layanan kesehatan mental. Tantangan utama adalah ketidakseimbangan kelas (class imbalance) yang menyebabkan model bias terhadap kelas mayoritas. Penelitian ini menggunakan dataset FERPlus, versi re-anotasi FER2013 (Kaggle dan Microsoft), terdiri dari 33.500 gambar grayscale berukuran 48×48 piksel, terbagi menjadi 26.778 gambar training, 3.372 gambar validation, dan 3.350 gambar test, mencakup tujuh kelas emosi dengan rasio ketidakseimbangan 53,5:1 antara kelas neutral dan disgust. MobileNetV2 pretrained ImageNet digunakan sebagai backbone melalui transfer learning untuk ekstraksi fitur wajah. Convolutional Block Attention Module (CBAM) diintegrasikan setelah feature extractor untuk memfokuskan perhatian model pada region wajah relevan. Focal Loss dengan =1,0 dikombinasikan dengan class weights berbasis akar kuadrat inverse frequency untuk menangani class imbalance tanpa modifikasi komposisi data. Preprocessing mencakup konversi grayscale ke tiga kanal, resize ke 224×224 piksel, augmentasi training (horizontal flip, rotasi, color jitter, random erasing), dan normalisasi ImageNet. Pengujian dilakukan melalui empat skenario eksperimen, dan Grad-CAM digunakan menghasilkan visualisasi heatmap yang menjelaskan keputusan prediksi model. Pada evaluasi per kelas, model menunjukkan performa tertinggi pada kelas happy (F1-Score 0,9265) dan surprise (F1-Score 0,8848). Model final (MobileNetV2+CBAM+Focal Loss) mencapai akurasi 85,07% dan F1-Score macro 0,7521 pada test set FERPlus, dengan F1-Score fear 0,6228 melampaui target >0,60, meskipun F1-Score disgust (0,4286) belum mencapai target 0,50 akibat sampel test yang sangat terbatas (22 gambar). Hasil pengujian skenario menunjukkan CBAM dan Focal Loss meningkatkan tiga dari empat metrik dibandingkan baseline.

Item Type:	Thesis (Bachelor Thesis)
Creators:	Javera Maheswara, Reinhard (00000077732)
Contributors:	Endariahna Surbakti, Eunike
Keywords:	Class Imbalance, Facial Expression Recognition, Focal Loss, MobileNetV2, Pengujian Skenario
Subjects:	000 Computer Science, Information and General Works
Divisions:	Faculty of Engineering & Informatics > Informatics
Date Deposited:	28 Jul 2026 12:16
URI:	https://kc.umn.ac.id/id/eprint/48434

Actions (login required)

View Item