Fine-Tuning Model Bahasa LLAMA-2 untuk Text-to-SQL Menggunakan Metode QLoRA

Toar Mahesaputra Kumaunang, Alexander (2024) Fine-Tuning Model Bahasa LLAMA-2 untuk Text-to-SQL Menggunakan Metode QLoRA. Bachelor Thesis thesis, Universitas Multimedia Nusantara.

	PDF HALAMAN_AWAL.pdf Download (975kB)
	PDF BAB_I.pdf Download (242kB)
	PDF BAB_II.pdf Download (406kB)
	PDF BAB_III.pdf Download (367kB)
	PDF BAB_IV.pdf Restricted to Registered users only Download (1MB)
	PDF BAB_V.pdf Download (225kB)
	PDF DAFTAR_PUSTAKA.pdf Download (228kB)
	PDF LAMPIRAN.pdf Restricted to Registered users only Download (514kB)

Abstract

Data Managemen menjadi salah satu aspek penting di era digital ini. Memanfaatkan penggunaan LLM yang mampu men-generate kata-kata manusia menjadi query sql dapat membantu penyampaian informasi yang lebih mudah dipahami. Membuat model LLM yang mampu menjawab pertanyaan tersebut dilakukan dengan melakukan metode fine-tuning untuk memberikan model pemahaman terhadap konteks text-to-sql.Metode fine- tuning dilakukan dengan menggunakan metode QLoRA, sebuah metode kuantisasi weight parameter sehingga mengurangi penggunaan resources atau perangkat yang dibutuhkan. Proses ini menggunakan dataset sql-create- context yang berisi 10 ribu baris data yang di-format kedalam bentuk prompt template yang kemudian hasil format tersebut dijadikan sebagai dataset untuk melatih model. Latihan model dilakukan selama 3 jam dan menghasilkan sebuah model baru yang sudah dilatih menggunakan dataset tersebut Penelitian ini melakukan fine-tuning model bahasa Llama-2 menggunakan 10 ribu data dengan satu epoch pelatihan. Evaluasi menunjukkan model berhasil menjawab 4 dari 5 pertanyaan, dengan akurasi kualitatif 80% dan kuantitatif 0.90. Metrik lain seperti precision 0.99, recall 0.89, F1-score 0.94, ROUGE- 1 0.97, dan ROUGE-L 0.96 juga menunjukkan performa baik. Hasil ini membuktikan efektivitas fine-tuning dalam meningkatkan kemampuan model Llama-2 awal, khususnya dalam memahami dan menjawab pertanyaan.

Item Type:	Thesis (Bachelor Thesis)
Keywords:	Fine-Tuning, Llama-2, LLM, sql query
Subjects:	?? T70 ??
Divisions:	Faculty of Engineering & Informatics > Information System
SWORD Depositor:	Administrator UMN Library
Depositing User:	Administrator UMN Library
Date Deposited:	12 Nov 2024 12:17
Last Modified:	12 Nov 2024 12:17
URI:	https://kc.umn.ac.id/id/eprint/34867

Actions (login required)

View Item