Hasil Pencarian  ::  Simpan CSV :: Kembali

"Sistem tanya jawab merupakan salah satu tugas dalam domain natural language processing (NLP) yang sederhananya bertugas untuk menjawab pertanyaan sesuai konteks yang pengguna berikan ke sistem tanya jawab tersebut. Sistem tanya jawab berbahasa Indonesia sebenarnya sudah ada, namun masih memiliki performa yang terbilang kurang baik. Penelitian ini bereksperimen untuk mencoba meningkatkan performa dari sistem tanya jawab berbahasa Indonesia dengan memanfaatkan natural language inference (NLI). Eksperimen untuk meningkatkan sistem tanya jawab berbahasa Indonesia, penulis menggunakan dua metode, yaitu: intermediate-task transfer learning dan task recasting sebagai verifikator. Dengan metode intermediate-task transfer learning, performa sistem tanya jawab berbahasa Indonesia meningkat, hingga skor F1-nya naik sekitar 5.69 dibandingkan tanpa menggunakan pemanfaatan NLI sama sekali, dan berhasil mendapatkan skor F1 tertinggi sebesar 85.14, namun, peningkatan performa dengan metode intermediate-task transfer learning cenderung tidak signifikan, kecuali pada beberapa kasus khusus model tertentu. Sedangkan dengan metode task recasting sebagai verifikator dengan parameter tipe filtering dan tipe perubahan format kalimat, performa sistem tanya jawab berbahasa Indonesia cenderung menurun, penurunan performa ini bervariasi signifikansinya. Pada penelitian ini juga dilakukan analisis karakteristik pasangan konteks-pertanyaan-jawaban seperti apa yang bisa dijawab dengan lebih baik oleh sistem tanya jawab dengan memanfaatkan NLI, dan didapatkan kesimpulan bahwa: performa sistem tanya jawab meningkat dibandingkan hasil baseline-nya pada berbagai karakteristik, antara lain: pada tipe pertanyaan apa, dimana, kapan, siapa, bagaimana, dan lainnya; kemudian pada panjang konteks ≤ 100 dan 101 ≤ 150; lalu pada panjang pertanyaan ≤ 5 dan 6 ≤ 10; kemudian pada panjang jawaban golden truth ≤ 5 dan 6 ≤ 10; lalu pada keseluruhan answer type selain law dan time; terakhir pada reasoning type WM, SSR, dan MSR.

---

The question-answering system is one of the tasks within the domain of natural language processing (NLP) that, in simple terms, aims to answer questions based on the context provided by the user to the question-answering system. While there is an existing Indonesian question-answering system, its performance is considered somewhat inadequate. This research conducts experiments to improve the performance of the Indonesian question answering system by utilizing natural language inference (NLI). In order to enhance the Indonesian question-answering system, the author employs two methods: intermediate task transfer learning and task recasting as verifiers. Using the intermediate-task transfer learning method, the performance of the Indonesian question-answering system improves significantly, with an increase of approximately 5.69 in F1 score compared to not utilizing NLI at all, achieving the highest F1 score of 85.14. However, the performance improvement with the intermediate-task transfer learning method tends to be non-significant, except in certain specific cases and particular models. On the other hand, employing the task recasting method as a verifier with filtering parameter type and sentence format change type leads to a decline in the performance of the Indonesian question-answering system, with the significance of this performance decrease varying. Additionally, this research conducts an analysis on the characteristics of context-question-answer pairs that can be better answered by the question-answering system utilizing NLI. The findings conclude that the question-answering system’s performance improves compared to its baseline across various characteristics, including different question types such as what, where, when, who, how, and others. Furthermore, it improves with context lengths ≤ 100 and 101 ≤ 150, question lengths ≤ 5 and 6 ≤ 10, as well as answer lengths (golden truth) ≤ 5 and 6 ≤ 10. Additionally, it performs better in overall answer types excluding law and time, and lastly, in reasoning types WM, SSR, and MSR."

"Tujuan penelitian tugas akhir ini adalah membangun sistem yang menghasilkan bahasa alami dari representasi semantik leksikal dengan menggunakan pendekatan chart generation. Penelitian tugas akhir ini dibatasi pada bahasa alami yang dihasilkan berupa kalimat deklaratif dalam bahasa Indonesia. Pendekatan chart generation secara mudahnya merupakan kebalikan dari chart parsing, metode yang digunakan untuk membentuk representasi semantik dari sebuah bahasa alami. Aturan tata bahasa dan semantik leksikal yang digunakan dalam penelitian ini adalah penyesuaian dari aturan tata bahasa dan semantik leksikal yang dirancang oleh Mahendra dalam penelitian sebelumnya (Mahendra, 2008). Perancangan konsep chart generation dan implementasinya merupakan penyesuaian dari rancangan konsep poetry generator yang dirancang oleh Manurung dalam penelitiannya (Manurung, 1999).Implementasi penelitian tugas akhir ini menggunakan bahasa pemrograman Prolog dikarenakan banyaknya penelitian terkait yang menggunakan bahasa pemrograman tersebut. Evaluasi penelitian tugas akhir ini dilakukan dengan pengujian terhadap performa sistem NLG, baik sebagai sebuah sistem tunggal, maupun sebagai bagian dari sistem tanya jawab yang dikembangkan sebelumnya (Larasati, 2007) (Mahendra, 2008). Pengujian dilakukan dengan cara memberikan beragam masukan semantik leksikal kepada sistem. Hasil penelitian tugas akhir ini baru bisa menghasilkan bahasa alami yang sah berdasar semantik leksikal yang bersesuaian. Diharapkan pada penelitian-penelitian berikutnya, dapat dikembangkan banyak hal dari hasil penelitian ini."

"

Walaupun belum semaju dan sekomprehensif bahasa-bahasa lainnya, penelitian NLP bahasa Indonesia telah mengalami perkembangan yang cukup signifikan. Penelitian NLP tersebut mencakup POS-Tagging, Named Entity Recognition, dependency parsing, coreference resolution, dan lain sebagainya. Dari penelitian-penelitian NLP bahasa Indonesia yang telah ada, perlu dilakukan validasi dan verifikasi apakah modul NLP pada penelitian tersebut masih relevan atau tidak. Hal tersebut perlu dilakukan karena mungkin saja terjadi kesalahan pada penelitian sebelumnya atau terdapat model yang lebih baik dari penelitian tersebut. Proses tersebut dapat dilakukan melalui evaluasi intrinsik maupun ekstrinsik. Evaluasi intrinsik dapat dilakukan dari reproduksi atau replikasi penelitian yang telah ada, sementara itu evaluasi ekstrinsik dilakukan dengan membangun sistem tanya jawab dari modul-modul NLP tersebut. Hasilnya, didapatkan beberapa modul seperti POS-Tagging dan NER masih cukup relevan dan memiliki dataset yang berkualitas. Namun, beberapa modul lain seperti coreference resolution, constituency parsing, dan dependency parsing masih perlu perkembangan lebih lanjut. Berdasarkan hasil evaluasi, sistem yang dibangun memiliki performa terbaik untuk metrik exact match dan F1 berturut-turut di angka 0,108 dan 0,151 untuk dataset SQuAD, 0,063 dan 0,191 untuk dataset TyDiQA, serta 0,127 dan 0,173 untuk dataset IDK-MRC. Dari evaluasi tersebut diketahui juga bahwa sistem tanya jawab yang dibangun menggunakan pipeline modul-modul NLP tidak sebaik model tanya jawab end-to-end menggunakan BERT yang telah di-finetuning. Meskipun begitu, dari hasil penelitian ini ditunjukkan bahwa kita dapat membangun suatu sistem tanya jawab berdasarkan modul-modul NLP bahasa Indonesia yang tersedia.

---

Although not as advanced and comprehensive as in other languages, research in Indonesian NLP has experienced significant development. This NLP research encompasses POS-Tagging, Named Entity Recognition, dependency parsing, coreference resolution, and other related areas. From the existing NLP studies conducted in the Indonesian language, it is essential to validate and verify whether the NLP modules used in the research are still relevant. This is important because there might have been errors in previous research or there might be better models available. This process can be accomplished through both intrinsic and extrinsic evaluations. Intrinsic evaluation can be conducted by reproducing or replicating existing research, while extrinsic evaluation involves building a question answering system using these NLP modules. The results show that some modules, such as POS-Tagging and NER, are still quite relevant and have high-quality datasets. However, other modules like coreference resolution, constituency parsing, and dependency parsing still require further development. Based on the evaluation results, the constructed system performs best in terms of exact match and F1 metrics, with scores of 0.108 and 0.151 for the SQuAD dataset, 0.063 and 0.191 for the TyDiQA dataset, and 0.127 and 0.173 for the IDK-MRC dataset, respectively. The evaluation also reveals that the question-answering system built using a pipeline of NLP modules does not perform as well as the end-to-end question-answering model using fine-tuned BERT. Nevertheless, this research demonstrates the feasibility of building a question-answering system based on the available Indonesian NLP modules.

"

"Tidak dapat dipungkiri bahwa teknologi semakin berkembang dan inovasi baru terus bermunculan. ChatGPT merupakan salah satunya; dan menjadi buah bibir di awal tahun 2023. Teknologi ini dapat melayani aktivitas tanya-jawab yang membuat pengguna dapat merasa telah melakukan percakapan dengan manusia lainnya, alih-alih dengan mesin. Kemampuan ChatGPT bersumber dari model GPT yang digunakannya. Selaku large language model, GPT dapat memproses banyak teks untuk memproduksi teks lainnya. Walaupun secara umum dapat memberikan jawaban yang memadai, saat berurusan dengan domain yang spesifik, misalnya legal, ChatGPT memberikan jawaban yang kurang memuaskan. Penelitian ini dilakukan untuk mengatasi hal tersebut dengan menyisipkan konteks atau kepingan informasi yang spesifik kepada model melalui suatu prompt (in-context learning). Karena domain legal menjadi fokus penelitian ini, maka teks yang akan diproses berasal dari dokumen peraturan perundang-undangan. Penelitian ini diawali dengan preliminary research, sehingga diidentifikasi permasalahan yang telah dijabarkan. Kemudian, dilanjutkan dengan perancangan serta pengembangan dua sistem tanya-jawab yang menggunakan dua framework LlamaIndex dan LangChain. Sebelum mengembangkan sistem, peneliti mempersiapkan terlebih dahulu data/teks yang perlu diekstrak dari dokumen peraturan perundang-undangan. Pengembangan sistem dilakukan secara iteratif dan evaluasi diadakan pada setiap iterasi. Evaluasi dilakukan secara kualitatif dengan menggunakan human judgement serta secara kualitatif dengan menggunakan metrik ROUGE dan SAS. Hasil akhir evaluasi menunjukkan bahwa kedua sistem tersebut baik dalam menjawab pertanyaan terkait definisi dan substansi pada domain legal. Selain itu, dilakukan juga perbandingan hasil evaluasi terhadap ChatGPT dan ditemukan bahwa kedua sistem unggul. Penelitian ini telah menunjukkan bahwa teknologi GPT dapat dimanfaatkan pada domain spesifik, yaitu legal, melalui kedua sistem yang dibuat.

---

It cannot be denied that technology is constantly advancing and new innovations continue to emerge. ChatGPT is one of them and has become the talk of the town in early 2023. This technology can facilitate question-and-answer interactions that make users feel like they are having a conversation with another human rather than a machine. This capability of ChatGPT is derived from the GPT model it uses. As a large language model, GPT can process a large amount of text to generate new text. Although it generally provides adequate answers, when dealing with specific domains such as legal matters, ChatGPT may give unsatisfactory responses. This research was conducted to overcome this issue by incorporating specific context or pieces of information into the model through a prompt (in-context learning). As the legal domain is the focus of this research, the text to be processed are Indonesian legal regulatory documents. The research begins with preliminary research. It is then followed by the design and development of two question-and-answer systems using two frameworks: LlamaIndex and LangChain. Before developing the systems, the researcher first prepares the data/text that needs to be extracted from the legal documents. The system development is carried out iteratively and evaluations are conducted at each iteration. The evaluations are performed qualitatively using human judgment and quantitatively using ROUGE and SAS metrics. The final evaluation results indicate that both systems perform well in answering questions related to definitions and substance in the legal domain. Additionally, a comparison of the evaluation results with ChatGPT shows that both systems outperform it. This research has demonstrated that GPT technology can be utilized in specific domains, namely legal, through the two developed systems."

"Tidak dapat dipungkiri bahwa teknologi semakin berkembang dan inovasi baru terus bermunculan. ChatGPT merupakan salah satunya; dan menjadi buah bibir di awal tahun 2023. Teknologi ini dapat melayani aktivitas tanya-jawab yang membuat pengguna dapat merasa telah melakukan percakapan dengan manusia lainnya, alih-alih dengan mesin. Kemampuan ChatGPT bersumber dari model GPT yang digunakannya. Selaku large language model, GPT dapat memproses banyak teks untuk memproduksi teks lainnya. Walaupun secara umum dapat memberikan jawaban yang memadai, saat berurusan dengan domain yang spesifik, misalnya legal, ChatGPT memberikan jawaban yang kurang memuaskan. Penelitian ini dilakukan untuk mengatasi hal tersebut dengan menyisipkan konteks atau kepingan informasi yang spesifik kepada model melalui suatu prompt (in-context learning). Karena domain legal menjadi fokus penelitian ini, maka teks yang akan diproses berasal dari dokumen peraturan perundang-undangan. Penelitian ini diawali dengan preliminary research, sehingga diidentifikasi permasalahan yang telah dijabarkan. Kemudian, dilanjutkan dengan perancangan serta pengembangan dua sistem tanya-jawab yang menggunakan dua framework LlamaIndex dan LangChain. Sebelum mengembangkan sistem, peneliti mempersiapkan terlebih dahulu data/teks yang perlu diekstrak dari dokumen peraturan perundang-undangan. Pengembangan sistem dilakukan secara iteratif dan evaluasi diadakan pada setiap iterasi. Evaluasi dilakukan secara kualitatif dengan menggunakan human judgement serta secara kuantitatif dengan menggunakan metrik ROUGE dan SAS. Hasil akhir evaluasi menunjukkan bahwa kedua sistem tersebut baik dalam menjawab pertanyaan terkait definisi dan substansi pada domain legal. Selain itu, dilakukan juga perbandingan hasil evaluasi terhadap ChatGPT dan ditemukan bahwa kedua sistem unggul. Penelitian ini telah menunjukkan bahwa teknologi GPT dapat dimanfaatkan pada domain spesifik, yaitu legal, melalui kedua sistem yang dibuat.

---

It cannot be denied that technology is constantly advancing and new innovations continue to emerge. ChatGPT is one of them and has become the talk of the town in early 2023. This technology can facilitate question-and-answer interactions that make users feel like they are having a conversation with another human rather than a machine. This capability of ChatGPT is derived from the GPT model it uses. As a large language model, GPT can process a large amount of text to generate new text. Although it generally provides adequate answers, when dealing with specific domains such as legal matters, ChatGPT may give unsatisfactory responses. This research was conducted to overcome this issue by incorporating specific context or pieces of information into the model through a prompt (in-context learning). As the legal domain is the focus of this research, the text to be processed are Indonesian legal regulatory documents. The research begins with preliminary research. It is then followed by the design and development of two question-and-answer systems using two frameworks: LlamaIndex and LangChain. Before developing the systems, the researcher first prepares the data/text that needs to be extracted from the legal documents. The system development is carried out iteratively and evaluations are conducted at each iteration. The evaluations are performed qualitatively using human judgment and quantitatively using ROUGE and SAS metrics. The final evaluation results indicate that both systems perform well in answering questions related to definitions and substance in the legal domain. Additionally, a comparison of the evaluation results with ChatGPT shows that both systems outperform it. This research has demonstrated that GPT technology can be utilized in specific domains, namely legal, through the two developed systems."

"Berdasarkan UU Nomor 12 Tahun 2011, peraturan perundang-undangan harus ditempatkan dalam beberapa media agar dapat diakses seluruh warga. Akan tetapi, beberapa layanan resmi memiliki isu efisiensi bagi pengguna untuk mencari informasi antar peraturan hukum. Solusi alternatif sistem tanya jawab hukum berbasis knowledge graph, yaitu LexID QA memiliki keterbatasan pada pertanyaan yang lebih ekspresif. Penelitian ini mengusulkan sistem tanya jawab hukum berbasis LLM dengan knowledge graph LexID melalui few-shot prompting. Sistem yang dibangun menerjemahkan pertanyaan menjadi kueri SPARQL. Sistem terdiri dari dua komponen, yaitu tanya jawab dan entity linking. Entity linking dilakukan dengan model berbahasa Indonesia untuk memetakan pertanyaan yang diberikan pengguna menjadi pemetaan entitas dan IRI. Kemudian, tanya jawab dilakukan dengan model code generation untuk menerjemahkan pertanyaan beserta informasi entity linking menjadi kueri SPARQL, bahasa kueri knowledge graph.

---

Based on Act 12/2011, legal document must be placed in several medias for citizen to access it. However, government services have shortcoming in efficiently retrieving information involving two or more legal documents. Existing solution to this issue is LexID QA yet unable to process more expressive question. This research proposes knowledge graph legal question answering based on LLM utilizing few-shot prompting. Proposed system is expected to transform question into SPARQL query. Proposed system is composed of two components, that is question answering and entity linking. Entity linking utilize Indonesian LLM to map user's question into entity-IRI mapping. Question answering model then translate question to SPARQL query with entity linking as an additional context."

"Penelitian ini bertujuan untuk mengembangkan sistem chatbot yang mampu menjawab pertanyaan seputar akademik Teknik Komputer UI. Sistem ini memanfaatkan teknologi Large Language Model (LLM) Komodo-7B yang telah di-fine-tuning dengan teknik Low-Rank Adaptation (LoRA) dan diintegrasikan dengan Retrieval Augmented Generation (RAG). Dataset Ultrachat yang diterjemahkan ke Bahasa Indonesia digunakan untuk fine-tuning model Komodo-7B, sementara dokumen PDF Kurikulum Teknik Komputer UI 2020 v4 digunakan sebagai sumber informasi untuk model RAG.Pengujian performa model Komodo-7B menunjukkan bahwa LoRA efektif dalam meningkatkan kemampuan model dalam memahami dan menghasilkan teks percakapan Bahasa Indonesia. Namun, pengujian performa chatbot menggunakan dua dataset pertanyaan, yaitu dataset custom yang dihasilkan menggunakan Giskard dan API ChatGPT, dan dataset Fathurrahman Irwansa yang telah diadaptasi, menunjukkan bahwa sistem chatbot masih memiliki ruang untuk peningkatan. Tingkat akurasi yang rendah pada kedua dataset (32% pada dataset custom dan 24,1% pada dataset Fathur) mengindikasikan bahwa sistem retrieval yang digunakan kurang akurat dalam menemukan konteks yang relevan. Meskipun demikian, ketika model RAG dapat mengambil konteks yang relevan, model Komodo-7B menunjukkan akurasi yang cukup tinggi (80% pada dataset custom dan 91,29% pada dataset Fathur, dihitung dari jumlah ketika kedua Komodo-7B dan konteks benar, kemudian dibagi dengan jumlah ketika konteks benar).Hasil penelitian menunjukkan bahwa model Komodo-7B memiliki potensi yang baik untuk digunakan pada sistem chatbot jika dikombinasikan dengan sistem retrieval yang lebih akurat. Penelitian ini memberikan kontribusi dalam pengembangan sistem chatbot berbasis LLM untuk menjawab pertanyaan seputar akademik, dan membuka peluang untuk penggunaan yang lebih luas di lingkungan Universitas Indonesia.

---

This research aims to develop a chatbot system capable of answering questions regarding the academic curriculum of Computer Engineering at Universitas Indonesia. The system utilizes the Komodo-7B Large Language Model (LLM), fine-tuned with Low-Rank Adaptation (LoRA) and integrated with Retrieval Augmented Generation (RAG). The Ultrachat dataset, translated into Indonesian, is used for fine-tuning the Komodo-7B model, while the 2020 v4 Computer Engineering Curriculum PDF document serves as the information source for the RAG model. Performance evaluation of the Komodo-7B model demonstrates that LoRA effectively enhances the model's ability to understand and generate Indonesian text. However, chatbot performance testing using two question datasets, a custom dataset generated using Giskard and the ChatGPT API, and the Fathur dataset adapted from prior research, reveals that the chatbot system still has room for improvement. The low accuracy on both datasets (32% on the custom dataset and 24.1% on the Fathur dataset) indicates that the retrieval system employed is not sufficiently accurate in finding relevant context. Nevertheless, when the RAG model successfully identifies relevant context, the Komodo-7B model exhibits relatively high accuracy (80% on the custom dataset and 91.29% on the Fathur dataset, calculated from the total of when Komodo-7B and the context are both correct, then divided by the total of when the context is correct). The research findings suggest that the Komodo-7B model holds significant potential for chatbot systems when combined with a more accurate retrieval system. This study contributes to the development of LLM-based chatbot systems for answering academic-related questions and opens up opportunities for broader applications within Universitas Indonesia."

"Penelitian ini mengusulkan pengembangan model monolingual untuk Natural Language Inference (NLI) dalam bahasa Swahili untuk mengatasi keterbatasan model multibahasa saat ini. Studi ini melakukan fine-tuning pada model SwahBERT yang sudah dilatih sebelumnya untuk menangkap hubungan semantik dan nuansa kontekstual unik dalam bahasa Swahili. Komponen penting dari penelitian ini adalah pembuatan dataset SwahiliNLI, yang dirancang untuk mencerminkan kompleksitas bahasa Swahili, sehingga menghindari ketergantungan pada teks bahasa Inggris yang diterjemahkan. Selain itu, kinerja model SwahBERT yang telah di-fine-tune dievaluasi menggunakan dataset SwahiliNLI dan XNLI, dan dibandingkan dengan model multibahasa mBERT. Hasilnya menunjukkan bahwa model SwahBERT mengungguli model multibahasa, mencapai tingkat akurasi sebesar 78,78% pada dataset SwahiliNLI dan 73,51% pada dataset XNLI. Model monolingual juga menunjukkan presisi, recall, dan skor F1 yang lebih baik, terutama dalam mengenali pola linguistik dan memprediksi pasangan kalimat. Penelitian ini menekankan pentingnya menggunakan dataset yang dihasilkan secara manual dan model monolingual dalam bahasa dengan sumber daya rendah, memberikan wawasan berharga untuk pengembangan sistem NLI yang lebih efisien dan relevan secara kontekstual, sehingga memajukan pemrosesan bahasa alami untuk bahasa Swahili dan berpotensi menguntungkan bahasa lain yang menghadapi keterbatasan sumber daya serupa.

---

This research proposes the development of a monolingual model for Natural Language Inference (NLI) in Swahili to overcome the limitations of current multilingual models. The study fine-tunes the pre-trained SwahBERT model to capture Swahili's unique semantic relationships and contextual nuances. A critical component of this research is the creation of a SwahiliNLI dataset, crafted to reflect the intricacies of the language, thereby avoiding reliance on translated English text. Furthermore, the performance of the fine-tuned SwahBERT model is evaluated using both SwahiliNLI and the XNLI dataset, and compared with the multilingual mBERT model. The results reveal that the SwahBERT model outperforms the multilingual model, achieving an accuracy rate of 78.78% on the SwahiliNLI dataset and 73.51% on the XNLI dataset. The monolingual model also exhibits superior precision, recall, and F1 scores, particularly in recognizing linguistic patterns and predicting sentence pairings. This research underscores the importance of using manually generated datasets and monolingual models in low-resource languages, providing valuable insights for the development of more efficient and contextually relevant NLI systems, thereby advancing natural language processing for Swahili and potentially benefiting other languages facing similar resource constraints."

"Penelitian ini mengeksplorasi efektivitas penggunaan neural rerankers yang telah dilatih sebelumnya dalam meningkatkan kinerja model berbasis text matching seperti BM25 untuk digunakan dalam deteksi pertanyaan duplikat pada consumer health forum. Studi ini juga meneliti metode agregasi hasil reranking dari berbagai neural rerankers untuk menghasilkan performa yang lebih baik dibandingkan penggunaan reranker individual. Metode reranking pertama menggunakan BM25, diikuti oleh reranking kedua menggunakan model neural seperti cross-encoder/ms-marco-MiniLM-L-12-v2, paraphrase-MiniLM-L6-v2, dan lainnya. Tahap ketiga melibatkan teknik rank fusion seperti Borda Fuse, Condorcet, dan Weighted Combsum. Hasil menunjukkan bahwa kombinasi reranking dengan neural reranker secara signi kan meningkatkan efektivitas model BM25, terutama saat menggunakan teknik rank fusion yang lebih canggih seperti Weighted Combsum. Studi ini menyarankan bahwa agregasi hasil reranking dapat mengatasi kelemahan individual reranker dan memberikan hasil yang lebih konsisten dan efektif. Penelitian ini membuka jalan untuk eksplorasi lebih lanjut dalam optimisasi kombinasi model untuk pencarian informasi yang lebih akurat dan e sien.

---

This study explores the effectiveness of using pre-trained neural rerankers in improving the performance of text matching based models such as BM25 for use in duplicate question detection in textitconsumer health forum. This study also examines the method of aggregating reranking results from various neural rerankers to produce better performance than using individual rerankers. The rst reranking method used BM25, followed by the second reranking using neural models such as cross-encoder/ms-marco-MiniLM-L-12-v2, paraphrase-MiniLM-L6-v2, and others. The third stage involves rank fusion techniques such as BordaFUSE, Condorcet, and Weighted COMBSUM. Results show that the combination of reranking with neural rerankers signi cantly improves the effectiveness of the BM25 model, especially when using more advanced rank fusion techniques such as Weighted COMBSUM. This study suggests that aggregation of reranking results can overcome the weaknesses of individual rerankers and provide more consistent and effective results. This research paves the way for further exploration in model combination optimization for more accurate and ef cient information retrieval."