Skripsi ini membahas tentang implementasi text sequence classification menggu- nakan data pesan pengguna asli dari perusahaan e-commerce Indonesia, untuk meningkatkan performa chatbot perusahaan dalam memprediksi intent. Problem yang menjadi fokus dalam skripsi ini adalah bagaimana cara untuk menggunakan konteks-konteks yang ada pada pesan pengguna di awal sesi untuk memprediksi intent dari pesan pengguna yang ada di akhir sesi. Skripsi ini bekerja sama dengan salah satu perusahaan ecommerce di Indonesia dan menggunakan data dari percaka- pan antara pengguna dan chatbot yang dimiliki perusahaan. Setelah eksplorasi data dilakukan, ditemukan bahwa terdapat ketidakseimbangan pada data sehingga di- gunakan focal loss agar model dapat memprediksi dengan baik intent-intent yang memiliki data sedikit. Selain itu, data juga diaugmentasi, yakni pesan-pesan peng- guna dalam sesi percakapan yang sama digabungkan agar konteks pada pesan per- tama dapat digunakan untuk memprediksi intent pada pesan selanjutnya. Penelitian ini juga bereksperimen dengan model LSTM dan Bi-LSTM, serta menggunakan attention layer untuk memilih data yang lebih penting daripada yang lain. Hasil penelitian menunjukkan bahwa model yang diajukan pada akhir penelitian berhasil menyaingi model perusahaan yang sebelumnya. Selain itu, penulis juga melakukan analisis kesalahan dan menemukan bahwa model memiliki performa yang rendah ketika memprediksi beberapa intent, hal ini disebabkan oleh adanya kesamaan kan- dungan kata pada intent-intent tersebut, sehingga model mengalami kesulitan mem- bedakan intent-intent tersebut.

---

This thesis talks about the implementation of text sequence classification on real user message data of an e-commerce company in Indonesia. It aims in improving the company’s chatbot performance in predicting intents. The problem that is the main focus of this thesis is how to use the contexts in the user’s message at the beginning of the session to predict the intent of the user’s message at the end of the session. This thesis collaborates with an e-commerce company in Indonesia and uses data from conversations between users and the company’s chatbot. After exploring the data, it was found that there is an imbalance in the data so that focal loss is used so that the model can predict well the intents that have little data. In addition, the data is also augmented, where user messages in the same conversation session are combined so that the context of the first message can be used to predict the intent of the next message. This work also includes experiments on the use of LSTM and Bi-LSTM models, and used the attention layer to select data that are more important than others. The experiment result shows that the proposed model is successful in competing with the company’s past model. In addition, the author also conducted an error analysis where it was found that the model has low performance when predicting a number of particular intents, this is due to the similarity of the wording of the intents and because of that, the model has difficulty in distinguishing the intents.