Layanan penulisan ilmiah yang disediakan oleh Perpustakaan Universitas Gunadarma
PERBANDINGAN LARGE LANGUAGE MODEL (LLM) BERBASIS RETRIEVAL-AUGMENTED GENERATION (RAG) UNTUK OTOMATISASI LAYANAN SAPA ANGGARAN
ABSTRAKSI :
SAPA Anggaran menghadapi tantangan kecepatan respons dan efisiensi pencarian informasi akibat proses semi-manual. Rata-rata waktu respons (ART) email mencapai ±75 menit. Kondisi ini berdampak pada kepuasan pengguna dan keterbatasan knowledge sharing. Penelitian ini bertujuan membandingkan kinerja tiga Large Language Model (LLM)—Gemini-2, Qwen3, dan Llama4—dalam arsitektur Retrieval-Augmented Generation (RAG) untuk otomasi layanan SAPA Anggaran. Metode penelitian menggunakan kerangka CRISP-DM melalui tahapan pemahaman bisnis, persiapan data, pemodelan, dan evaluasi. Sumber pengetahuan meliputi dokumen regulasi, data pengetahuan pusat layanan, dan data layanan SAPA Anggaran. Pengujian dilakukan terhadap 150 pasangan pertanyaan-jawaban (QA pairs) dengan variasi top-k (5, 10, 15). Hasil evaluasi menunjukkan Gemini-2 dengan top-k = 5 memberikan performa terbaik (F1-score 0,7406, Overall Score 0,7343) dengan waktu respons rata-rata 2,05 detik. Variasi top-k tidak berpengaruh signifikan terhadap akurasi, namun meningkatkan latensi; sehingga konfigurasi moderat (top-k=5) direkomendasikan. Sistem mampu menurunkan ART hingga 97% dibandingkan kondisi eksisting, menjaga akurasi jawaban, dan mendukung pembaruan pengetahuan. Penelitian ini memberikan kontribusi praktis dalam pengembangan sistem tanya jawab berbasis RAG untuk layanan publik, mendukung layanan SAPA Anggaran yang responsif, dan tersedia 24/7. Penelitian lanjutan disarankan melakukan fine-tuning LLM dengan data anggaran untuk meningkatkan akurasi, mengintegrasikan agent-based- retrieval, dan evaluasi kualitas oleh pakar dan pengguna.