"Dalam beberapa tahun terakhir, teknologi chatbot telah berkembang secara signifikan, dengan munculnya Large Language Model (LLM) seperti GPT dari OpenAI, Llama dari Meta, dan Gemini dari Google. Penelitian ini mengeksplorasi penerapan chatbot berbasis LLM dalam dunia medis, khususnya untuk membantu dan memantau pasien hemodialisis. Menggunakan kerangka kerja seperti LangChain untuk melakukan prompt engineering, Retrieval Augmented Generation (RAG) untuk meningkatkan pengetahuan domain, dan Chroma sebagai vector database, platform chatbot berbasis web dikembangkan. Pendekatan ReAct dan chain-of-thought (CoT) diterapkan untuk membuat sistem berbasis agen. Evaluasi kuantitatif dari penelitian ini akan menggunakan ROUGE, BLEU, dan SAS untuk sistem chatbot, dan MAP@3, dan MRR@3 digunakan untuk sistem RAG, bersama dengan penilaian kualitatif oleh ahli di bidang hemodialisis. Secara keseluruhan, evaluasi kualitatif dan kuantitatif untuk setiap sistem menerima umpan balik positif berdasarkan penilaian ahli dan hasil dari setiap metrik, yang menunjukkan bahwa kedua sistem berkinerja baik dalam menghasilkan tanggapan yang selaras dengan tujuan penelitian ini, yaitu memberikan tanggapan yang akurat dan membantu dalam memantau pasien. Dari sisi sistem, kemampuan chatbot dan sistem RAG dalam memahami konteks percakapan dan memberikan tanggapan yang lebih relevan dan informatif, menggunakan pendekatan berbasis agen yang ditingkatkan oleh RAG, memberikan keuntungan yang signifikan. Prompt yang kami gunakan, ReAct dan CoT, memungkinkan agen berbasis LLM untuk berpikir lebih efektif, membuat keputusan yang tepat, dan mensimulasikan proses berpikir yang lebih terstruktur dan logis. Dengan memanfaatkan peningkatan ini, chatbot juga dapat menghasilkan pesan urgensi medis untuk memperingatkan tim medis yang terhubung ke platform. Hal ini memungkinkan mereka untuk merespons keadaan darurat ketika pasien melaporkan gejala yang membutuhkan perawatan lebih lanjut di rumah sakit. Penelitian ini telah menunjukkan bahwa LLM dapat digunakan secara efektif sebagai chatbot di bidang kesehatan, khususnya untuk memantau pasien hemodialisis.
In recent years, chatbot technology has advanced significantly, with the rise of Large Language Models (LLMs) such as OpenAI’s GPT, Meta’s Llama, and Google’s Gemini. This research explores the application of LLM-based chatbots in healthcare, specifically for assisting and monitoring hemodialysis patients. Using frameworks like LangChain for prompt engineering, Retrieval Augmented Generation (RAG) for enhanced domain knowledge, and Chroma as a vector database, a web-based chatbot platform was developed. The ReAct and chain-of-thought (CoT) approaches were applied to create an agent-based system. The quantitative evaluation of this research will use ROUGE, BLEU, and SAS for the chatbot system, and MAP@3, and MRR@3 were used for the RAG systems, along with qualitative expert assessments. Overall, the qualitative and quantitative evaluations for each system received positive feedback based on expert judgment and the results of each metrics, indicating that both systems performed well in generating responses aligned with the goals of this research, which are to provide accurate responses and assist in monitoring patients. On the system side, the chatbot and RAG system’s ability to understand conversational context and provide more relevant and informative responses, using agent-based approaches enhanced by RAG, offers a clear advantage. The prompts we are using, ReAct and CoT, enable the agent-based LLM to think more effectively, make appropriate decisions, and simulate a more structured and logical thought process. By utilizing these enhancements, the chatbot can also generate medical urgency message to alert medical teams connected to the platform. This allows them to respond to emergencies when patients report symptoms that require further care at a hospital. This research has demonstrated that LLMs can be effectively utilized as chatbots in the healthcare field, specifically for monitoring hemodialysis patients."
Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2024
