Pertumbuhan industri e-commerce di Indonesia telah meningkat secara signifikan dalam beberapa tahun terakhir. Nilai transaksi di sektor e-commerce di Indonesia diproyeksikan akan tumbuh sekitar 115%. Respons cepat terhadap keluhan pelanggan di platform digital menjadi krusial dalam mempertahankan kepercayaan dan loyalitas pelanggan di tengah persaingan yang ketat. Salah satu strategi yang digunakan oleh perusahaan adalah pendekatan multi-channel, di mana media sosial berperan penting. Namun, penggunaan media sosial sebagai saluran komplain menghadapi tantangan dalam membedakan keluhan yang sebenarnya dari noise yang tidak relevan. Saat ini, PT XYZ mengalami kesulitan dalam mengidentifikasi secara akurat interaksi mana yang memerlukan penanganan khusus dan mana yang tidak. Sistem yang ada saat ini mengharuskan tim khusus melakukan penyaringan secara manual. Metode ini menyebabkan tim tidak dapat mengimbangi saat terjadi peningkatan volume interaksi yang pesat. Akibatnya, waktu respon menjadi lebih lambat hingga 20%. Penelitian ini bertujuan untuk mengevaluasi performa model berbasis klasifikasi yang dapat dimanfaatkan serta menyusun rekomendasi dalam upaya meningkatkan skalabilitas untuk mengatasi tantangan tersebut. Desain penelitian ini menggunakan metode experimental research, di mana data yang diolah berasal dari interaksi pelanggan di media sosial dari rentang waktu tertentu. Dalam pengembangan model klasifikasi, digunakan beberapa metode meliputi Random Forest (RF), Support Vector Machine (SVM), Neural Network (NN), dan XGBoost menggunakan TF-IDF sebagai metode ekstraksi fitur, serta menggunakan BERT untuk ekstraksi fitur hingga klasifikasi. Pemodelan interaksi pelanggan dilakukan sebanyak lima kali dengan pengaturan k-fold cross-validation untuk menghindari bias. Hasil penelitian ini menunjukan bahwa dari persebaran data interaksi yang terdiri terdapat 6.220 keluhan dan 4.572 bukan keluhan. Akun sosial media perusahaan yang dikhususkan sebagai saluran komplain terbukti menjadi saluran yang efektif untuk menangani keluhan pelanggan, sementara akun yang bersifat umum lebih sering digunakan untuk interaksi yang lebih luas yang tidak terkait dengan keluhan. Tipe keluhan juga teridentifikasi bahwa keluhan yang berkaitan dengan logistik mendominasi, mencakup isu-isu seperti keterlambatan pengiriman, serta pelayanan dari kurir atau ekspedisi. Model klasifikasi terbaik yang berhasil dikembangkan menggunakan BERT dengan indobert-p1 mencapai F1-score sebesar 98,3%. Implementasi model ini berpotensi mengurangi beban pekerjaan hingga 97,58% dan menghasilkan ROI sebesar 23,52 kali. Dengan pengurangan beban pekerjaan ini, perusahaan dapat mengurangi jumlah headcount yang dibutuhkan untuk proses klasifikasi manual menjadi hanya 1 orang.

---

The e-commerce industry in Indonesia has experienced significant growth in recent years, with transaction values projected to increase by around 115%. Rapid responsiveness to customer complaints on digital platforms is crucial for maintaining trust and loyalty amidst intense competition. One strategy utilized by companies involves a multi-channel approach, where social media plays a pivotal role. However, using social media as a complaint channel faces challenges in accurately discerning genuine complaints from irrelevant noise. Currently, PT XYZ encounters difficulties in precisely identifying which interactions necessitate specialized handling, relying on manual screening by dedicated teams. This method proves inadequate during periods of increased interaction volumes, resulting in response times slowing by up to 20%. To address these challenges, this research aims to evaluate the performance of machine learning models and provide recommendations for enhancing scalability. The study employs an experimental research design, analyzing customer interactions on social media over a specified timeframe. Various classification methods, including Random Forest (RF), Support Vector Machine (SVM), Neural Network (NN), and XGBoost, utilize TF-IDF for feature extraction and BERT for feature extraction and classification. Customer interaction modeling is conducted five times with k-fold cross-validation to mitigate bias. The findings reveal that the dataset comprises 6,220 complaints and 4,572 non-complaints. Company-designated social media accounts prove effective for handling customer complaints, while general accounts are more commonly used for broader interactions unrelated to complaints. Issues related to logistics, such as delivery delays and courier services, dominate the identified types of complaints. The best-performing classification model, leveraging BERT with indobert-p1, achieves an impressive F1-score of 98.3%. Implementation of this model has the potential to reduce workload by 97.58% and yield an ROI of 23.52 times. By minimizing the need for manual classification, the company could potentially reduce required headcount to only 1 person.