Hasil Pencarian  ::  Simpan CSV :: Kembali

"Sistem perolehan pertanyaan serupa diimplementasikan pada banyak situs tanya jawab, khususnya pada forum tanya jawab kesehatan. Implementasi dari sistem pencarian pertanyaan serupa dapat beragam seperti text based retriever dan neural ranker. Permasalahan utama dari neural ranker adalah kurangnya penelitian dalam bahasa indonesia untuk modelnya, khususnya untuk yang menggunakan BERT sebagai model untuk deteksi pertanyaan serupa. Pada penelitian ini akan dicari tahu sejauh apa neural re-ranker BERT dapat memperbaiki kualitas ranking dari text-based retriever jika diterapkan fine-tuning pada model. Model yang digunakan oleh penelitian berupa BERT dan test collection yang digunakan merupakan dataset forum kesehatan yang disusun oleh Nurhayati (2019). Untuk mengetahui sejauh mana model berbasis BERT dapat berguna untuk re-ranking, eksperimen dilakukan pada model pre-trained multilingualBERT, indoBERT, stevenWH, dan distilBERT untuk melihat model yang terbaik untuk di-fine-tune. Penelitian juga mengusulkan dua metode fine-tuning yakni attention mask filter dengan IDF dan freezed layer dengan melakukan freezing pada beberapa layer di dalam BERT. Model dan metode ini kemudian diuji pada beberapa skenario yang telah ditentukan. Hasil dari eksperimen menunjukkan bahwa re-ranker dapat meningkatkan kualitas text based retriever bila di-fine-tune dengan metode dan skenario tertentu.

"Perkembangan teknologi pada bidang kesehatan di Indonesia telah menghadirkan layanan konsultasi dengan dokter melalui forum tanya jawab kesehatan. Seiring dengan berjalannya waktu, muncul permasalahan pertanyaan duplikat pada forum. Permasalahan ini perlu ditangani agar dapat mempercepat proses pengembalian jawaban untuk keluhan yang serupa dan menjaga jumlah pertanyaan agar tetap scalable dengan kapasitas dokter penjawab. Namun, pertanyaan duplikat merupakan suatu tantangan tersendiri karena kompleksitas bahasa natural. Penelitian ini memanfaatkan pendekatan Information Retrieval untuk mengidentifikasi pasangan pertanyaan duplikat pada domain ini sebagai suatu pasangan query dan dokumen yang relevan. Setelah melakukan ranking awal menggunakan BM25 sebagai model baseline, performa hasil ranking ditingkatkan melalui proses re-ranking menggunakan model learning-to-rank LambdaMART yang berbasis fitur. Penelitian ini memanfaatkan fitur perhitungan jarak dan similaritas antara pasangan vektor representasi query dan dokumen, yang diperoleh dari model word embeddings dan transformer. Selain itu, diusulkan fitur scoring yang diperoleh dari model Cross Encoder, serta model BM25 yang menjadi model baseline. Penelitian ini juga mengusulkan fitur-fitur yang mempertimbangkan jumlah keywords gagasan utama query yang dikandung dokumen. Evaluasi eksperimen dilakukan menggunakan cross validation dan error analysis, dengan MRR sebagai metrik utama. Performa tertinggi yang dicapai eksperimen adalah MRR senilai 0,951 dengan p value senilai 0,016 yang signifikan terhadap baseline. Dengan demikian, penelitian ini menunjukkan dukungan empiris terhadap peningkatan efektivitas model re-ranking yang diusulkan untuk melakukan identifikasi otomatis terhadap karakteristik query dan dokumen yang relevan, yakni pasangan pertanyaan duplikat dalam konteks ini.

---

The development of technology in the healthcare sector in Indonesia has introduced consultation services with doctors through consumer health forums. Over time, the issue of duplicate questions on these forums emerged. This problem needs to be addressed to accelerate the response process for similar questions and to keep the number of questions scalable with the capacity of the responding doctors. However, duplicate questions present their own challenge due to the complexity of natural language. This study utilizes Information Retrieval approach to identify pairs of duplicate questions in this domain as query and relevant document pairs. After initial ranking using BM25 as the baseline model, the ranking performance is improved through a re-ranking process using the feature-based LambdaMART model. This study leverages features that calculate the distance and similarity between vector representations of the query and document, obtained from word embedding and transformer models. Additionally, scoring features derived from the Cross Encoder model and the BM25 baseline model are proposed. The study also suggests features that consider the number of main idea keywords from the query that is also contained within the document. Experiment evaluation is conducted using cross validation and error analysis, with Mean Reciprocal Rank (MRR) as the primary metric. The highest performance achieved in the experiments is an MRR of 0.951 with a p-value of 0.016, which is significant to the baseline. Thus, this study provides empirical support for the effectiveness of the proposed re-ranking model for automatic identification of the query and relevant document, specifically duplicate question pairs in this context."

"Seiring dengan majunya teknologi di Indonesia, banyak layanan kesehatan online yang bermunculan. Pengguna bisa bertanya langsung pada tenaga medis profesional tiap mereka memiliki masalah kesehatan ringan yang tidak membutuhkan janji temu langsung dengan dokter. Sebagai pengguna, tentunya mereka mengharapkan respon yang cepat dari situs yang mereka gunakan, hal ini kedengarannya mustahil dilakukan karena tidak semua tenaga medis profesional yang bekerja pada layanan medis tersebut ada setiap saat memantau semua pertanyaan yang masuk. Namun, hal ini bisa dilakukan dengan cara mencocokan pertanyaan yang baru dimasukkan dan mencari pertanyaan yang sudah pernah ditanyakan di masa lalu yang memiliki persamaan dengan pertanyaan yang baru dimasukkan. Secara singkat, kita bisa mencari duplikat dari pertanyaan yang ditanyakan oleh pengguna dan mengembalikan jawaban dari pertanyaan duplikat tersebut daripada menunggu jawaban langsung dari dokter. Penelitian ini akan menggunakan pendekatan temu balik informasi dalam mendeteksi pertanyaan duplikat yang pernah ditanyakan di masa lalu. Selain itu, penelitian ini juga akan mengkombinasikan ekspansi kata yang dilakukan kepada kueri, dokumen, serta filter kata-kata stopword untuk meningkatkan skor reciprocal-rank dan recall dari model yang digunakan. Hasil penelitian ini menyimpulkan bahwa ekspansi kata yang dilakukan pada kueri serta dokumen tidak menghasilkan skor reciprocal rank dan recall yang lebih baik. Penggunaan word embedding untuk memperbanyak kata stopword yang dihapus dari data mampu menghasilkan skor reciprocal rank yang lebih tinggi meskipun nilainya belum signifikan.

---

With the advancement of technology and internet in Indonesia, many online healthcare services have emerged where users can directly consult with medical professionals if they have minor health issues that do not require an in-person appointment with a doctor. As users, they naturally expect quick responses from the sites they use. This seems impossible to do as not all medical professionals working who are working on these services are always available to monitor every incoming question. However, this can be achieved by matching newly submitted questions with previously asked questions that have similarities. In short, we can search for duplicates of the questions asked by users and return answers from those duplicate questions instead of waiting for a direct response from a doctor. This research will use an information retrieval approach to detect duplicate questions that have been asked in the past. Additionally, this study will combine query expansion, document expansion, and stopwords filtering to improve the reciprocal-rank and recall scores of the model used. This research concludes that query and document expansion do not yield better reciprocal rank and recall scores. On the other hand, using

"Penelitian ini mengeksplorasi efektivitas penggunaan neural rerankers yang telah dilatih sebelumnya dalam meningkatkan kinerja model berbasis text matching seperti BM25 untuk digunakan dalam deteksi pertanyaan duplikat pada consumer health forum. Studi ini juga meneliti metode agregasi hasil reranking dari berbagai neural rerankers untuk menghasilkan performa yang lebih baik dibandingkan penggunaan reranker individual. Metode reranking pertama menggunakan BM25, diikuti oleh reranking kedua menggunakan model neural seperti cross-encoder/ms-marco-MiniLM-L-12-v2, paraphrase-MiniLM-L6-v2, dan lainnya. Tahap ketiga melibatkan teknik rank fusion seperti Borda Fuse, Condorcet, dan Weighted Combsum. Hasil menunjukkan bahwa kombinasi reranking dengan neural reranker secara signi kan meningkatkan efektivitas model BM25, terutama saat menggunakan teknik rank fusion yang lebih canggih seperti Weighted Combsum. Studi ini menyarankan bahwa agregasi hasil reranking dapat mengatasi kelemahan individual reranker dan memberikan hasil yang lebih konsisten dan efektif. Penelitian ini membuka jalan untuk eksplorasi lebih lanjut dalam optimisasi kombinasi model untuk pencarian informasi yang lebih akurat dan e sien.

---

This study explores the effectiveness of using pre-trained neural rerankers in improving the performance of text matching based models such as BM25 for use in duplicate question detection in textitconsumer health forum. This study also examines the method of aggregating reranking results from various neural rerankers to produce better performance than using individual rerankers. The rst reranking method used BM25, followed by the second reranking using neural models such as cross-encoder/ms-marco-MiniLM-L-12-v2, paraphrase-MiniLM-L6-v2, and others. The third stage involves rank fusion techniques such as BordaFUSE, Condorcet, and Weighted COMBSUM. Results show that the combination of reranking with neural rerankers signi cantly improves the effectiveness of the BM25 model, especially when using more advanced rank fusion techniques such as Weighted COMBSUM. This study suggests that aggregation of reranking results can overcome the weaknesses of individual rerankers and provide more consistent and effective results. This research paves the way for further exploration in model combination optimization for more accurate and ef cient information retrieval."

"Penelitian pada data berbahasa Inggris menemukan bahwa Dense Passage Retriever atau DPR mempunyai keterbatasan dalam hal menangani kondisi out-of-distribution data termasuk out-of-domain data. Saat ini, data latih berbahasa Indonesia yang bisa digunakan untuk melatih DPR cukup terbatas. Semua data latih tersebut berasal dari domain umum yang jika digunakan untuk melatih DPR mungkin menghasilkan performa yang rendah pada data uji dengan domain spesifik. Penelitian ini membandingkan antara performa DPR yang dilatih pada data latih dengan domain berbeda dengan domain data uji dan performa sparse retriever model untuk mengetahui apakah fenomena performa DPR yang tidak terlalu baik pada kondisi out-of-domain data juga terjadi pada bahasa Indonesia. Selain itu, penelitian ini mengevaluasi dua pendekatan untuk memperbaiki performa DPR dan mengatasi permasalahan keterbatasan data latih yakni pendekatan untuk memasukkan informasi exact-term matching kepada DPR dan pendekatan untuk mencoba melatih DPR pada beberapa jenis synthetic dataset berbahasa Indonesia. Hasil eksperimen menunjukkan bahwa performa DPR yang tidak terlalu baik pada data uji out-of-domain juga terjadi pada bahasa Indonesia yang ditunjukkan dengan skor evaluasi DPR yang relatif rendah terhadap skor evaluasi sparse retriever model. Selain itu, salah satu metode pemasukan informasi exact-term matching pada DPR yakni hybrid DPR-sparse retriever model menghasilkan skor BPref yang cenderung lebih baik dibandingkan skor BPref DPR pada seluruh eksperimen. Hasil pengujian pendekatan pelatihan DPR dengan synthetic dataset menunjukkan bahwa DPR yang dilatih dengan synthetic dataset pada penelitian ini menghasilkan skor BPref yang mengimbangi skor BPref DPR yang dilatih dengan data latih yang memang bisa digunakan untuk melatih DPR. Investigasi lebih lanjut pada hasil pengujian tersebut menunjukkan bahwa proses fine-tuning dan faktor domain data latih mungkin bisa mempengaruhi performa DPR. Selain itu, panjang token data latih dan faktor ukuran data latih tidak mempunyai korelasi terhadap performa DPR.

---

Researches on English data found that Dense Passage Retriever (DPR), a neural information retrieval model, has limitation on handling out-of-distribution data, including out-of-domain data. Information retrieval datasets in Indonesian that can be used for training DPR are quite scarce. All of those datasets are open-domain which may produce low model performance when the DPR tested on certain domain-specific dataset. This research compared the DPR performance to sparse retriever model performance to check whether DPR’s lack of performance when it’s tested on out-of-domain also can occur on Indonesian dataset. This research also tested two approaches that might improve DPR performance on that condition and also might overcome the training data scarcity problem that consist of methods to embed exact-term matching information into DPR and DPR fine-tuning on several Indonesian synthetic training datasets. The experiment result shows that DPR’s lack of performance on out-of-domain data also occur in Indonesian dataset which can be shown that all evaluation scores produced by DPR which is trained on out-of-domain training data are lower than any sparse retriever model’s evaluations scores. Result shows that hybrid DPR-sparse retriever model produced relatively higher BPref than DPR BPref. Additionally, result shows that DPR which is fine-tuned on synthetic datasets that were used on this research produced relatively in-par BPref score in compare to BPref score that is produced by DPR which is fine-tuned on training datasets that are inherently can be used to fine-tune DPR. Further investigation on the synthetic dataset training approach results found that fine-tuning process and training data’s domain may affect DPR performance. Additionally, training data token length and training data size don’t have correlation with the DPR performance according to this experiment."

"Volume data hukum yang dihasilkan semakin besar setiap harinya. Oleh karena itu, kebutuhan akan sistem otomatis dan semi-otomatis, seperti sistem temu-balik informasi meningkat. Sistem temu-balik informasi dokumen hukum membantu praktisi hukum menemukan dokumen yang relevan dengan cepat dan efisien. Terkait hal tersebut, penelitian ini mengeksplorasi penggunaan model neural re-ranker pada sistem temu-balik informasi dokumen hukum dalam bahasa Inggris dan bahasa Indonesia. Tidak hanya itu, penelitian ini juga membahas beberapa pendekatan untuk meningkatkan efektivitas proses fine-tune dari model neural re-ranker. Model neural re-ranker dikembangkan untuk melakukan pengurutan ulang terhadap hasil pencarian awal yang didapat dari model pencocokan teks BM25. Implementasi ini menggunakan beberapa model neural re-ranker seperti BERT, IndoBERT, mBERT, dan XLM-RoBERTa yang melalui proses fine-tune. Hasil eksperimen menunjukkan bahwa model neural re-ranker BERT, IndoBERT, dan mBERT dapat meningkatkan performa dari sistem temu-balik informasi dokumen hukum yang sebelumnya hanya memanfaatkan model berbasis pencocokan teks seperti TF-IDF dan BM25. Peningkatan ini terlihat dari Skor Mean Average Percision (MAP) yang meningkat dari 0,760 menjadi 0,834 pada salah satu skenario yang dilakukan. Hal ini menunjukkan kinerja keseluruhan sistem temu-balik informasi yang lebih baik pada berbagai kueri. Sementara itu, pendekatan berupa pembekuan lapisan encoder berguna untuk meningkatkan efektifitas dari implementasi dari sistem temu-balik informasi yang memanfaatkan model neural re-ranker.

---

The volume of legal data produced is getting bigger every day. Therefore, the need for automated and semi-automatic systems, such as information retrieval systems, is increasing. Legal document information retrieval systems help legal practitioners find relevant documents quickly and efficiently. In this regard, this research explores the use of the neural re-ranker model in a legal document information retrieval system in English and Indonesian. Not only that, this research also discusses several approaches to increase the effectiveness of the fine-tune process of the neural re-ranker model. A neural re-ranker model was developed to re-rank the initial search results obtained from the BM25 text matching model. This implementation uses several neural re-ranker models such as BERT, IndoBERT, mBERT, and XLM-RoBERTa which go through a fine-tune process. Experimental results show that the neural re-ranker models BERT, IndoBERT, and mBERT can improve the performance of legal document information retrieval systems that previously only utilized text matching-based models such as TF-IDF and BM25. This improvement can be seen from the Mean Average Percision (MAP) score which increased from 0,760 to 0,834 in one of the scenarios carried out. This indicates better overall performance of the information retrieval system on various queries. Meanwhile, the approach of freezing the encoder layer is useful for increasing the effectiveness of the implementation of an information retrieval system that utilizes the neural re-ranker model."

"ABSTRACTA conversational agent is a software that can communicate with humans by using natural language. Earlier approaches to build conversation agents were rule-based. With the rise of deep learning, the neural network models have been used to automatically infer the conversations used by the agents. This method allows skipping the cumbersome feature engineering process in the training and results in the application of conversational agents to the various field. There is one major problem in the neural network called catastrophic forgetting, a condition where the neural network will forget knowledge learned in the previous training phase and a new knowledge will be acquired. This problem can be mitigated by using a continuous learning model to sustain the old knowledge while keep learning new knowledge. In this project, we propose the application of neural conversational model on Dota 2, an online game with the continuous update, bug fixes, and new features. The continuous update feature has led to players struggling to stay informed of changes in the game features and characters. We propose the usage of a conversational agent with a continuous learning model to learn the everchanging patch notes while still maintaining previous patches knowledge. Our project has shown that elastic weight consolidation is not suitable for a dataset with text properties and would be better to be applied in other types of datasets which has been conducted in previous studies.

---

ABSTRACTConversational agent, adalah perangkat lunak yang digunakan untuk berkomunikasi dengan user menggunakan natural language. Pembuatan conversational agent sebelumnya menggunakan rule-based. Dengan munculnya Deep learning, model menggunakan neural network untuk menyimpulkan pembicaraan di dalam percakapan secara otomatis. Metode ini memungkinkan untuk melewati proses feature engineering di masa pelatihan dan menghasilkan conversational agent dalam banyak bidang. Namun ada satu masalah besar menggunakan neural network yaitu model akan melupakan pengetahuan yang sudah dipelajari dalam masa pelatihan sebelumnya dan pengetahuan baru akan didapatkan. Masalah ini bias di mitigasi dengan menggunakan continuous learning model untuk mempertahankan pengetahuan lama sambal mempelajari pengetahuan baru. Di dalam proyek ini, kami mengusulkan penerapan model percakapan neural network pada Dota 2, game online yang memiliki pembaruan berkelanjutan seperti memberbaiki bug dan fitur baru. Fitur pembaruan berkelanjutan telah meyebabkan pemain berupaya untuk tetap mendapatkan informasi tentang perubahan fitur dan karakter. Kami mengusulkan penggunaan conversational agent dengan continuous learning agar model dapat mempelajari perubahan yang terjadi di dalam permainan tersebut dan mempertahankan pengetahuan sebelumnya. Project ini telah menunjukkan bahwa elastic weight consolidation tidak cocok untuk dataset dengan property teks dan akan lebih baik untuk diterapkan pada jenis dataset lain yang telah dilakukan dalam studi sebelumnya"

"ABSTRAK

Analisis sentimen adalah kegiatan untuk mengklasifikasikan opini publik tentang entitas dalam data tekstual menjadi positif atau negatif. Salah satu metode otomatis untuk analisis sentimen adalah convolution neural network CNN. CNN terdiri dari banyak lapisan dengan banyak parameter yang dapat disesuaikan sesuai kebutuhan untuk membentuk arsitektur tertentu. CNN terbukti efektif untuk penggunaan satu domain data. Namun, CNN kurang akurat jika digunakan dalam domain yang berbeda. Oleh karena itu, digunakan transfer learning untuk mentransfer pengetahuan dari source domain ke target domain yang berbeda namun terkait. Dalam penelitian ini, diuji sensitivitas parameter dan akurasi CNN untuk transfer learning pada analisis sentimen tweet berbahasa Indonesia. Simulasi pada penelitian ini menunjukkan bahwa parameter CNN sangat sensitif dan akurasi transfer learning mendapatkan hasil yang berbeda tergantung pada skenario transfer learning yang digunakan.

---

ABSTRACT

Sentiment analysis is an activity to classify public opinion about entities in textual data into positive or negative. One of the automatic methods for sentiment analysis is convolution neural network CNN. CNN consists of many layers with many parameters that can be adjusted as needed to form a specific architecture. CNN works well for the use of a single data domain. However, CNN is less accurate if used in different domains. Therefore, transfer learning is used to transfers knowledge from source domains to different but related target domains. In this reserach, examined parameter sensitivity and accuracy of CNN for transfer learning of sentiment analysis in Indonesian tweets. Simulations in this paper show that CNN parameters are very sensitive and the accuracy of learning transfer gets different results depending on the scenario of transfer learning. "