IMPLEMENTASI HYBRID RETRIEVAL DENGAN METODE RECIPROCAL RANK FUSION (RRF) PADA CHATBOT LAYANAN AKADEMIK PROGRAM STUDI SISTEM INFORMASI UNIVERSITAS MUHAMMADIYAH JEMBER

Abstrak

Layanan informasi akademik pada Program Studi Sistem Informasi Universitas Muhammadiyah Jember masih banyak bergantung pada layanan tatap muka dan komunikasi manual. Akibatnya, mahasiswa sering mengalami keterlambatan dalam memperoleh informasi terkait ketentuan pelaksanaan Kuliah Kerja Nyata (KKN), Kerja Praktik, Tugas Akhir, maupun perubahan kurikulum yang berlaku. Penelitian ini bertujuan menerapkan dan mengevaluasi chatbot layanan akademik berbasis Retrieval-Augmented Generation (RAG) yang menggabungkan semantic retrieval dan BM25 reranking melalui metode reciprocal rank fusion (RRF). Dalam implementasinya, metode RRF diterapkan  tanpa skema pembobotan tambahan, dengan konstanta k = 60, sehingga semantic retrieval dan BM25 memberikan kontribusi yang setara dalam penggabungan peringkat dokumen. Sistem dibangun menggunakan Google Gemini Embeddings, Supabase pgvector, orkestrasi n8n, model bahasa Cohere Aya Expanse 32B, serta Redis Cache untuk efisiensi waktu respons. Pengujian dilakukan terhadap 40 query menggunakan metrik Recall dan Mean Reciprocal Rank (MRR), serta pengujian waktu respons pada kondisi cache miss dan cache hit. Hasil pengujian menunjukkan bahwa RRF standar memperoleh Recall rata-rata 86,88% dan MRR 93,75%, sedangkan perbandingan skenario Semantic Retrieval + BM25 Reranking dengan skenario Hybrid Retrieval + RRF menunjukkan peningkatan Recall dari 66,67% menjadi 100,00% dan MRR dari 0,49 menjadi 0,92. Redis Cache mampu mempercepat waktu respons dari 18,326 detik pada kondisi cache miss menjadi 694 milidetik pada kondisi cache hit, atau sekitar 26,4 kali lebih cepat. Hasil ini membuktikan bahwa penerapan RRF pada hybrid retrieval mampu meningkatkan relevansi dan kualitas pemeringkatan dokumen, sementara Redis Cache secara signifikan meningkatkan efisiensi waktu respons chatbot layanan akademik.

Academic information services in the Information Systems Study Program of Universitas Muhammadiyah Jember still largely rely on face-to-face services and manual communication. As a result, students often experience delays in obtaining information regarding the regulations governing the implementation of the Community Service Program (KKN), Internship Program, Final Project, and the applicable curriculum. This study aims to implement and evaluate an academic service chatbot based on Retrieval-Augmented Generation (RAG) that combines semantic retrieval and BM25 reranking using the reciprocal rank fusion (RRF) method. In its implementation, RRF was applied in its standard, unweighted form (RRF) with a constant of k = 60, giving semantic retrieval and BM25 an equal contribution when fusing document rankings. The system was built using Google Gemini Embeddings, Supabase pgvector, n8n orchestration, the Cohere Aya Expanse 32B language model, and Redis Cache for response-time efficiency. Testing was conducted on 40 queries using Recall and Mean Reciprocal Rank (MRR) metrics, along with response-time testing under cache-miss and cache-hit conditions. The results show that standard RRF achieved an average Recall of 86.88% and MRR of 93.75%, while comparison between the Semantic Retrieval + BM25 Reranking scenario and the Hybrid Retrieval + RRF scenario showed an increase in Recall from 66.67% to 100.00% and MRR from 0.49 to 0.92. Redis Cache accelerated response time from 18.326 seconds under cache-miss conditions to 694 milliseconds under cache-hit conditions, approximately 26.4 times faster. These results demonstrate that applying RRF in hybrid retrieval improves document relevance and ranking quality, while Redis Cache significantly improves the response-time efficiency of the academic service chatbot.