Hasil Pencarian  ::  Simpan CSV :: Kembali

"Jurnal ini membahas tentang pengembangan Sistem Penilaian Esai Otomatis (SIMPLE-O) untuk Bahasa Indonesia menggunakan BERT (Bidirectional Encoder Representations from Transformers) dan Bidirectional LSTM. BERT digunakan untuk melakukan sentence embedding pada jawaban mahasiswa dan dosen, yang kemudian diproses oleh Bidirectional LSTM. Kemiripan antara jawaban diukur dengan menggunakan Manhattan Distance dan Cosine Similarity. Hasil pengujian menunjukkan bahwa rata-rata selisih absolut antara nilai model dengan nilai human rater adalah 22.83 dengan error MAE dan RMSE sebesar 0.2462 dan 0.2850 untuk Manhattan Distance, dan 12.88 dengan error MAE dan RMSE sebesar 0.1614 dan 0.1946 untuk Cosine Similarity.

---

This paper presents the development of an Automatic Essay Scoring System (SIMPLE-O) for the Indonesian using BERT (Bidirectional Encoder Representations from Transformers) and Bidirectional LSTM. BERT is used to perform sentence embedding on both student and lecturer answers, which are then processed by Bidirectional LSTM. The similarity between the answers is measured using Manhattan Distance and Cosine Similarity. The test results show that the average absolute difference between the model score and the human rater score is 22.83 with MAE and RMSE error of 0.2462 and 0.2850 for Manhattan Distance, and 12.88 with MAE and RMSE error of 0.1614 and 0.1946 for Cosine Similarity."

"Sistem Penilaian Esai Otomatis (SIMPLE-O) dikembangkan oleh Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia untuk ujian bahasa Indonesia. Skripsi ini akan membahas mengenai pengembangan SIMPLE-O untuk penilaian ujian bahasa Indonesia menggunakan metode Siamese Manhattan Long Short-Term Memory (LSTM) dan bahasa pemrograman Python. Terdapat dua dokumen yang akan menjadi input, yaitu jawaban esai dari peserta ujian dan jawaban referensi dari penguji. Kedua jawaban diproses dengan layer LSTM yang sama. Selanjutnya, kemiripan antara keduanya dihitung dengan fungsi persamaan. Pengujian dengan dataset jawaban dummy mendapatkan nilai MAE dan RMSE sebesar 0.0254 dan 0.0346. Kemudia, pengujian dengan dataset jawaban asli mendapatkan nilai MAE dan RMSE terbaik sebesar 0.1596 dan 0.2190. Rata-rata nilai akurasi yang didapatkan adalah 92.82 untuk fase training dan 84.03 untuk validasi.

---

The Automatic Essay Assessment System (SIMPLE-O) was developed by the Department of Electrical Engineering, Faculty of Engineering, University of Indonesia for the Indonesian language test. This thesis will discuss the development of SIMPLE-O for the assessment of Indonesian language tests using the Siamese Manhattan Long Short-Term Memory (LSTM) method and the Python programming language. There are two documents that will be input, essay answers from examinees and answer answers from examiners. Both answers are processed with the same LSTM layer. Next, the similarity between the two is calculated by the similarity function. Testing with dummy answer dataset produces MAE and RMSE values of 0.0254 and 0.0346. Then, testing with the real answer dataset produces MAE and RMSE values of 0.1596 and 0.2190. The average accuracy value obtained was 92.82 for the training phase and 84.03 for validation.

"

"Skripsi ini membahas mengenai pengembangan Sistem Penilaian Esai Otomatis (SIMPLE-O) untuk ujian esai berbahasa Indonesia. Sistem ini dirancang dengan menggunakan Stacked Bidirectional LSTM dan menggunakan dua jenis similarity measurement, yaitu Manhattan Distance dan Cosine Similarity, untuk mencari model dengan performa paling optimal dan selisih terbaik dari tiap jenis similarity measurement. Sistem ini menggunakan bahasa pemrograman Python, dan terdiri atas tahap preprocessing, word embedding, training menggunakan deep learning, testing, dan similarity measure untuk menghitung kemiripan antar kata pada input. Input yang digunakan pada sistem ini adalah jawaban dosen sebagai kunci jawaban dan jawaban mahasiswa. Fase training menggunakan data augmentasi dan fase testing menggunakan jawaban mahasiswa asli. Pengujian sistem ini dilakukan dengan menggunakan 7 jenis skenario. Dengan hasil selisih akhir dari model untuk fase training dan testing pada Manhattan Distance sebesar 1.871 dan 7.808, dan Cosine Similarity sebesar 2.31 dan 7.635.

---

This thesis discusses the development of an Automated Essay Scoring System (SIMPLE-O) for Indonesian-language essay exams. This system is designed using Stacked Bidirectional LSTM and uses two types of similarity measurement, which are Manhattan Distance and Cosine Similarity, to find the model with the most optimal performance and the best difference from each type of similarity measurement. The system uses Python programming language, and the system's stages consist of preprocessing, word embedding, training using deep learning, testing, and similarity measuring to calculate the similarity between words on the input. The inputs used in this system are lecturers' answers as answer keys and students' answers. The training phase uses augmented data, and the testing phase uses original student answers. To test this system uses 7 types of scenarios. The final difference results of the model for the training and testing phases are 1.871 and 7.808 on Manhattan Distance and 2.31 and 7.635 on Cosine Similarity."

"Skripsi ini membahas mengenai Pengembangan Sistem Penilaian Esai Otomatis (SIMPLE-O) dengan menggunakan Stacked Bidirectional GRU dengan Manhattan Distance dan Cosine Similarity yang diterapkan untuk menilai jawaban esai bahasa Indonesia. Data yang digunakan pada sistem terdiri dari jawaban esai pelajar dan kunci jawaban dari pengajar. Sistem akan melalui tahapan pre-processing, word embedding, kemudian proses training, dan terakhir proses testing. Data sebelumnya diolah untuk dilakukan training terlebih dahulu dengan memberikan tujuh skenario pengujian agar memberikan selisih dan error yang rendah. Kedua jawaban akan diuji menggunakan dengan variasi hyperparameter sesuai dengan hasil terbaik dari seluruh skenario pengujian, kemudian diukur kemiripan hasil keduanya menggunakan dua jenis metrics yaitu, Manhattan Distance dan Cosine Similarity. Model menggunakan Cosine Similarity menghasilkan rata-rata nilai selisih 1.935 untuk fase training dan 8 untuk fase testing. Sedangkan Manhattan Distance menghasilkan selisih 1.887 untuk fase training dan 9.039 untuk fase testing.

---

This thesis discusses the design of an Automatic Essay Scoring System (SIMPLE-O) using Stacked Bidirectional GRU with Manhattan Distance and Cosine Similarity for Indonesian essay grading. The system utilizes a dataset consisting of student essay answers and corresponding teacher's answer key. The system goes through several stages including pre-processing, word embedding, training, and testing processes. The data is pre-processed and then trained using seven different testing scenarios to achieve low difference and low-error results. The system is evaluated using various hyperparameter settings based on the best results obtained from all testing scenarios. The similarity between the generated scores and the reference scores is measured using two metrics: Manhattan Distance and Cosine Similarity. The Cosine Similarity-based model achieved an average difference of 1.935 during the training phase and 8 during the testing phase. On the other hand, the Manhattan Distance-based model achieved an difference of 1.887 during the training phase and 9.039 during the testing phase."

"Skripsi ini membahas mengenai pengembangan Sistem Penilaian Esai Otomatis (SIMPLE-O) yang dirancang dengan menggunakan hybrid CNN dan Bi-LSTM dan Manhattan Distance untuk penilaian esai Bahasa Jepang. Sistem dirancang dengan menggunakan bahasa pemrograman Python. Sistem melalui tahapan pre-processing, feature extraction dan word embedding yang dilanjutkan dengan proses deep learning serta pengukuran dengan menggunakan manhattan distance. Hasil akhir dari sistem dibandingkan dengan penilaian manual oleh dosen. Model yang paling stabil dan terbaik ditraining dengan menggunakan hyperparameter dengan kernel sizes bernilai 5, jumlah filter atau output CNN sebesar 64, pool size sebesar 4, Bidirectional LSTM units 50, batch size sebesar 64. Model deep learning ditraining dengan menggunakan optimizer Adam dengan learning rate 0,001 , epoch sebanyak 25 dan menggunakan regularizer L1 sebesar 0,01. Rata-rata error yang diperoleh adalah 29%

---

This thesis discusses the development of an Automatic Essay Grading System (SIMPLE-O) designed using hybrid CNN and Bidirectional LSTM and Manhattan Distance for Japanese essay grading. The system is designed using Python programming language. The system goes through the stages of pre-processing, feature extraction and word embedding followed by deep learning process and measurement using Manhattan Distance. The final result of the system is compared with manual assessment by lecturers. The most stable and best model is trained using hyperparameters with kernel sizes of 5, number of filters or CNN outputs of 64, pool size of 4, Bidirectional LSTM units of 50, batch size of 64. The deep learning model is trained using the Adam optimizer with a learning rate of 0.001, epoch of 25 and using an L1 regularizer of 0.01. The average error obtained is 29%.

"

"Sistem Penilaian Esai Otomatis (Simple-O) telah dibuat menggunakan algoritma K-Means dan metode Latent Semantic Analysis (LSA). Jawaban karangan siswa pertama-tama akan diklasifikasikan ke dalam kelas-kelas sesuai dengan topik masing-masing nomor, dan akan memisahkannya dari jawaban siswa yang tidak sesuai konteks kemudian akan dilakukan proses LSA yang merepresentasikan kata ke dalam matriks, yang kemudian matriks direduksi menggunakan Singular Value Decomposition dan dilanjutkan dengan mencari norma frobenius yang merupakan nilai dari setiap soal. Pada penelitian ini dilakukan uji coba dengan menggunakan 4 skenario dan hasil penelitian SIMPLE-O menggunakan algoritma K-Means dan LSA menghasilkan akurasi rata-rata sebesar 74% yaitu hasil skenario pengujian 1

---

An Automatic Essay Assessment System (Simple-O) has been created using the K-Means algorithm and the Latent Semantic Analysis (LSA) method. Students' essay answers will first be classified into classes according to the topic of each number, and will separate them from student answers that do not fit the context then an LSA process will be carried out which represents the word into a matrix, which is then reduced by using Singular Value. Decomposition and continue by looking for the Frobenius norm which is the value of each question. In this study, trials were carried out using 4 scenarios and the results of the SIMPLE-O research using the K-Means and LSA algorithms produced an average accuracy of 74%, namely the results of the test scenario number 1."

"Skripsi ini membahas mengenai pengembangan sistem ujian lisan Bahasa Jepang yang dirancang dengan mengintegrasikan automatic speech recognition dengan sistem penilaian esai otomatis. Sistem yang dikembangkan menggunakan arsitektur client-server. Client merupakan aplikasi yang dikembangkan menggunakan cross-platform framework Flutter dan dapat dijalankan pada platform web maupun Android. Back-end server pada cloud dibangun menggunakan bahasa pemrograman Python dengan database PostgreSQL serta memanfaatkan teknologi kontainerisasi dengan Docker. Sistem speech recognition yang digunakan adalah DeepSpeech dengan model di-training untuk dapat mengubah pengucapan dalam bahasa Jepang menjadi teks dengan huruf hiragana. Model yang dihasilkan memiliki rata-rata WER sebesar 20,6%. Sistem plenilaian esai otomatis yang digunakan adalah SIMPLE-O dengan metode LSA. Uji coba dilaksanakan secara online pada 36 responden dengan tingkat kefamiliaran terhadap bahasa Jepang yang bervariasi. Hasil uji coba mendapatkan nilai rata-rata sebesar 49,62 dari nilai maksimum sebesar 100. Akurasi sistem penilaian ujian lisan bahasa Jepang ini didefinisikan sebagai nilai rata-rata hasil uji coba, dibagi dengan akurasi speech recognition, yaitu sebesar 62,5%.

---

This thesis discusses about the development of a Japanese language verbal exam system designed by integrating automatic speech recognition with an automatic essay scoring system. The system developed uses a client-server architecture. The client is an application developed using the cross-platform framework Flutter and can be run on the web or Android platforms. Back-end servers in the cloud are built using the Python programming language with the PostgreSQL database and utilize containerization technology with Docker. The speech recognition system used is DeepSpeech with a training model to be able to convert Japanese pronunciation into text using hiragana letters. The resulting model has an average WER of 20.6%. The automatic essay scoring system used is SIMPLE-O with the LSA method. The trial was carried out online with 36 respondents with different levels of familiarity with Japanese language. The test results obtained an average score of 49.62 out of a maximum score of 100. The accuracy of the Japanese verbal exam scoring system is defined as the average value of the test results, divided by the accuracy of speech recognition, which is equal to 62.5%."

"ABSTRACTAlgoritma winnowing merupakan algoritma yang berbasiskan fingerprint untuk mendeteksi tingkat kemiripan teks. Penelitian ini akan membahas pengembangan sistem penilai otomatis SIMPLE-O yang dikembangkan Departemen Teknik Elektro berbasis algoritma winnowing dan diterapkan untuk bahasa Jepang. Pada input bahasa Jepang diterapkan proses romanisasi untu mengubah karakter ke bentuk romaji. Penelitian dilakukan untuk mencari parameter terbaik dengan nilai akurasi atau agreement with human rater tertinggi. Dari hasil percobaan diketahui jika parameter untuk tiap-tiap input disesuaikan, secara keseluruhan sistem dapat memiliki rata-rata akurasi nilai total seluruh data hingga 90.92 dengan akurasi nilai total perpeserta ujian dapat mencapai 99.91 dan akurasi perjawaban untuk tiap peserta ujian berkisar dari 60.19 hingga 100.

---

ABSTRACTWinnowing Algorithm is a fingerprint based algorithm for detecting similarity between texts. This research will talk about the development and application of automatic essay grading system SIMPLE O, developed by Department of Electrical Engineering with winnowing algorithm for Japanese language. On the Japanese language input, romanization is implemented to change the input to romaji. The purpose of this research is to find the best parameter with the highest accuracy or agreement with human rater. The result of the conducted experiment shows that with customized parameter for each input, the average of total score for all students is 90.92 with accuracy for each student is up to 99.91 and accuracy for each problem ranged from 60.19 to 100."

"Melalui penelitian dan penulisan ini, program Sistem Penilaian Esai Otomatis (SIMPLE-O) dikembangkan untuk penilaian esai berbahasa Indonesia menggunakan algoritma hybrid CNN dan Bidirectional GRU dengan metrik Manhattan Distance dan Cosine Similarity. CNN digunakan untuk melakukan ekstraksi fitur dari masukan teks. Bidirectional GRU digunakan untuk menangkap makna atau konteks teks dari dua arah. Pengembangan program ini menggunakan bahasa pemrograman Python untuk proses deep learning. Hasil rata-rata selisih penelitian ini adalah 15.04 untuk model metrik Manhattan Distance dan 22.02 untuk model Cosine Similarity.

---

Through this research and writing, the Automatic Essay Scoring System (SIMPLE-O) program was developed for evaluating essays in the Indonesian language using a hybrid CNN and Bidirectional GRU algorithm with Manhattan Distance and Cosine Similarity metrics. CNN is employed to extract features from the input text, while Bidirectional GRU captures the meaning or context of the text from both directions. The development of this program utilizes the Python programming language for deep learning processes. The average differences results of this research is 15.04 for the Manhattan Distance metric model and 22.02 for the Cosine Similarity model."

"Parafrasa merupakan suatu cara untuk menuliskan kalimat dengan kata-kata lain dengan maksud atau tujuan yang sama. Pendeteksian parafrasa otomatis dapat dilakukan dengan menggunakan Natural Language Sentence Matching (NLSM) yang merupakan bagian dari Natural Language Processing (NLP). NLP merupakan teknik komputasi untuk memproses teks secara umum, sedangkan NLSM dikhususkan untuk mencari hubungan antar dua kalimat. Dengan adanya perkembangan neural network (NN), maka saat ini NLP dapat lebih mudah dilakukan oleh komputer.Model untuk mendeteksi maupun membuat parafrasa Bahasa Inggris sudah banyak dikembangkan dibandingkan dengan Bahasa Indonesia yang data pelatihannya lebih sedikit. Penelitian ini mengusulkan Model SPratama yang memodelkan deteksi parafrasa untuk Bahasa Indonesia menggunakan recurrent neural network (RNN) yaitu bidirectional long short-term memory (BiLSTM) dan bidirectional gated recurrent unit (BiGRU). Data yang digunakan adalah “Quora Question Pairs” yang diambil dari Kaggle dan diterjemahkan ke Bahasa Indonesia menggunakan Google Translate. Hasil penelitian ini menunjukkan bahwa model-model yang diusulkan mendapatkan akurasi sekitar 80% untuk pendeteksian kalimat parafrasa.

---

Paraphrasing is a way to write sentences with other words with the same intent or purpose. Automatic paraphrase detection can be done using Natural Language Sentence Matching (NLSM) which is part of Natural Language Processing (NLP). NLP is a computational technique for processing text in general, while NLSM is used specifically to find the relationship between two sentences. With the development neural network (NN), nowadays NLP can be done more easily by computers. Many models for detecting and paraphrasing in English have been developed compared to Indonesian, which has less training data. This study proposes SPratamaModel, which models paraphrase detection for Indonesian using a recurrent neural network (RNN), namely bidirectional long short-term memory (BiLSTM) and bidirectional gated recurrent unit (BiGRU). The data used is "Quora Question Pairs" taken from Kaggle and translated into Indonesian using Google Translate. The results of this study indicate that the proposed models have the accuracy of around 80% for the detection of paraphrased sentences."