Hasil Pencarian  ::  Simpan CSV :: Kembali

"Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia telah mengembangkan sistem penilaian esai otomatis (SIMPLE-O) untuk ujian bahasa Jepang. Skripsi kali ini akan membahas pengembangan SIMPLE-O dalam mengoreksi ujian bahasa Jepang dengan menggunakan metode N-Gram dan Latent Semantic Analysis (LSA) dan bahasa pemrograman Python dengan tujuan untuk mencapai nilai akurasi yang maksimal. N-Gram digunakan untuk mengoreksi pola kalimat data yang diuji dengan referensi, serta LSA dan Frobenius Norm untuk pemrosesan teks dan pemeriksaan kesamaan teks. Dari pengujian yang telah dilakukan, SIMPLE-O dengan N-Gram dapat mencapai rata-rata akurasi sebesar88,09%.

---

Department of Electrical Engineering, Faculty of Engineering, University of Indonesia has developed a system to grade Japanese examination essay automatically. This thesis will discuss about the development of SIMPLE-O in grading Japanese examination essays using N-Gram and Latent Semantic Analysis (LSA) using Python programming languageto reach the maximum accuracy level. N-Gram is used to score the answer based on the words and the pattern of the sentence of key answer. LSA and Frobenius Norm are used toprocess the text and to check the similarity of both text. From the test that has been done, SIMPLE-O using N-GramandLSAis able to obtain an average rate of accuracy of 88,09%."

"ABSTRAKPada awalnya, Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia telah mengembangkan sebuah sistem penilaian esai otomatis SIMPLE-O untuk ujian esai dalam bahasa Indonesia, namun kali ini dikembangkan untuk ujian esai dalam bahasa Jepang. Skripsi ini akan membahas mengenai penerapan dan pengembangan SIMPLE-O untuk ujian bahasa Jepang berbasis algoritma latent semantic analysis LSA dalam bahasa pemrograman Python. Pengujian menggunakan pendekatan text-similarity frobenius norm. Jenis input teks untuk proses LSA berpengaruh terhadap tingkat akurasi sistem, begitu pula dengan jenis nilai yang dimasukkan ke dalam matriks term-document matrix TDM . Dari hasil pengujian dan analisis yang telah dilakukan, apabila menggunakan input teks dan jenis nilai yang dimasukkan ke dalam matriks TDM yang tepat, LSA mampu menghasilkan akurasi sebesar 99.93.

---

ABSTRACTIn the beginning, Department of Electrical Engineering in Universitas Indonesia has developed an automated essay scoring system SIMPLE O for essay tests in Indonesian, but this time it is developed for essay tests in Japanese. This thesis will discuss about the development and implementation of SIMPLE O for essay tests in Japanese based on latent semantic analysis LSA Algorithm written in Python programming language. The text similarity approach used in this thesis is frobenius norm to measure similarity between texts. The type of text input for the LSA process influences the rate of accuracy of the system, the type of value inserted into the term document matrix TDM can also influence the rate of accuracy of the sysstem. From the result of test and analysis that has been done, given the appropriate type of text input and type of value inserted into the TDM, LSA is able to obtain a rate of accuracy of 99.93 "

"ABSTRAKPada penelitian ini dilakukan penerapan Support Vector Machine dan LSAMetode tersebut dibahas dan dipelajari lebih lanjut untuk merancang Sistem Penilaian Esai Otomatis (Simple-O). Simple-O merupakan sistem yang saat ini dikembangkan oleh UI Jurusan Teknik Elektro yang bertujuan untuk menilai esai secara otomatis. Support Vector Machine, yang merupakan algoritma pembelajaran yang diawasi, dipelajari selanjutnya untuk meningkatkan tingkat akurasi dalam Simple-O bersama dengan metode LSA yang digunakan Bahasa pemrograman Python. Dari hasil tes rata-rata tertinggi skor akurasi yang diperoleh sistem sebesar 88.06% dengan masukan kalimat kanji, katakana, hiragana dan nilai TDM siswa jawaban yang mencerminkan frekuensi kemunculan kata kunci dalam dokumen.

---

ABSTRACTIn this study, the implementation of Support Vector Machine and LSA was carried out These methods are discussed and studied further to design an Essay Assessment System Automatic (Simple-O). Simple-O is a system currently being developed by the UI Department of Electrical Engineering which aims to assess essays automatically. Support Vector Machine, which is a supervised learning algorithm, is learned furthermore to increase the level of accuracy in Simple-O along with the LSA method used Python programming language. From the highest average test results the accuracy score obtained by the system is 88.06% with input the kanji, katakana, hiragana and TDM scores of the students answers that reflect the frequency with which keywords appear in the document."

"ABSTRAKDalam penelitian ini, Sistem Penilaian Esai Ototmatis (Simple-O) dirancang menggunakan algoritma Latents Semantic Analysis (LSA), Term Frequency-Inverse Document Frequency, dan algoritma Support Vector Machine (SVM). Algoritma LSA digunakan untuk mengolah kata-kata yang merepresentasikan kata-kata dalam teks menjadi matriks. Algoritme SVM digunakan untuk mengklasifikasikan esai jawaban siswa berdasarkan topiknya. TF-IDF digunakan untuk menimbang setiap kata dalam teks yang akan menjadi input SVM. Dari penelitian ini ketepatan penggunaan jawaban dosen sebagai jawaban referensi adalah 72,01% dan ketepatan penggunaan kata kunci sebagai jawaban referensi adalah 69,5%.

---

ABSTRACTIn this study, the Automatic Essay Assessment System (Simple-O) was designed using the Latents Semantic Analysis (LSA) algorithm, Term Frequency-Inverse Document Frequency, and the Support Vector Machine (SVM) algorithm. The LSA algorithm is used to process words that represent words in the text into a matrix. The SVM algorithm is used to classify student essays based on their topic. TF-IDF is used to weigh each word in the text that will become SVM input. From this research, the accuracy of using lecturers' answers as reference answers was 72.01% and the accuracy of using keywords as reference answers was 69.5%."

"Sistem penilai otomatis SIMPLE-O untuk bahasa Jepang telah diteliti selama beberapa tahun belakangan. Namun, penilaian yang dilakukan belum mencakup nilai morfologis, padahal morfologi merupakan hal yang penting dalam ujian sastra. Penelitian ini melakukan clustering pada 215 jawaban mahasiswa dan mengelompokkannya ke 6 cluster berdasarkan topiknya. Berdasarkan hasil, didapatkan bahwa K-means clustering mengelompokkan dengan lebih baik dibanding hierarchical agglomerative clustering (HAC), terutama dengan penambahan Romanisasi. K-means clustering dengan Romansasi menunjukkan 96.5% precision dan 96% recall, sementara HAC memiliki 95% precision dan 93.7% recall. Pada proses penilaian, jawaban dinilai pertopik atau nomor soal dan dicari rasio antara nilai yang didapat dari LSA dengan nilai morfologi dengan akurasi tertinggi. LSA memiliki rata-rata akurasi 79.92%. Penambahan analisis morfologi pada nilai akhir mendapatkan akurasi tertinggi sebesar 78.77% dengan bobot 10% nilai morfologi dan 90% nilai LSA.

---

The research on automated grading system SIMPLE-O for Japanese language has been done for a few years. However, in the grading system, there is still no means to grade the morphological component even though it is an important part of language test. This research groups 215 student answers to 6 cluster according to the topics. According to the results, K-means clustering performs better than hierarchical agglomerative clustering (HAC) especially with Romanization. K-means clustering with Romanization shows 96.5% precision and 96% recall while HAC has 95% precision and 93.7% recall. For the grading prosess, the answers will be scored by its topic or question number and the ratio between similarity measurement score and morphological score with the highest accuracy will be selected. LSA has the average accuracy of 79.92%. With the addition of morphological analysis on the final score, the highest average accuracy of 78.77% is selected with the ratio of 10% morphological score and 90% LSA score."

"Sistem Penilaian Esai Otomatis (Simple-O) telah dibuat menggunakan algoritma K-Means dan metode Latent Semantic Analysis (LSA). Jawaban karangan siswa pertama-tama akan diklasifikasikan ke dalam kelas-kelas sesuai dengan topik masing-masing nomor, dan akan memisahkannya dari jawaban siswa yang tidak sesuai konteks kemudian akan dilakukan proses LSA yang merepresentasikan kata ke dalam matriks, yang kemudian matriks direduksi menggunakan Singular Value Decomposition dan dilanjutkan dengan mencari norma frobenius yang merupakan nilai dari setiap soal. Pada penelitian ini dilakukan uji coba dengan menggunakan 4 skenario dan hasil penelitian SIMPLE-O menggunakan algoritma K-Means dan LSA menghasilkan akurasi rata-rata sebesar 74% yaitu hasil skenario pengujian 1

---

An Automatic Essay Assessment System (Simple-O) has been created using the K-Means algorithm and the Latent Semantic Analysis (LSA) method. Students' essay answers will first be classified into classes according to the topic of each number, and will separate them from student answers that do not fit the context then an LSA process will be carried out which represents the word into a matrix, which is then reduced by using Singular Value. Decomposition and continue by looking for the Frobenius norm which is the value of each question. In this study, trials were carried out using 4 scenarios and the results of the SIMPLE-O research using the K-Means and LSA algorithms produced an average accuracy of 74%, namely the results of the test scenario number 1."

"Skripsi ini membahas mengenai pengembangan sistem ujian lisan Bahasa Jepang yang dirancang dengan mengintegrasikan automatic speech recognition dengan sistem penilaian esai otomatis. Sistem yang dikembangkan menggunakan arsitektur client-server. Client merupakan aplikasi yang dikembangkan menggunakan cross-platform framework Flutter dan dapat dijalankan pada platform web maupun Android. Back-end server pada cloud dibangun menggunakan bahasa pemrograman Python dengan database PostgreSQL serta memanfaatkan teknologi kontainerisasi dengan Docker. Sistem speech recognition yang digunakan adalah DeepSpeech dengan model di-training untuk dapat mengubah pengucapan dalam bahasa Jepang menjadi teks dengan huruf hiragana. Model yang dihasilkan memiliki rata-rata WER sebesar 20,6%. Sistem plenilaian esai otomatis yang digunakan adalah SIMPLE-O dengan metode LSA. Uji coba dilaksanakan secara online pada 36 responden dengan tingkat kefamiliaran terhadap bahasa Jepang yang bervariasi. Hasil uji coba mendapatkan nilai rata-rata sebesar 49,62 dari nilai maksimum sebesar 100. Akurasi sistem penilaian ujian lisan bahasa Jepang ini didefinisikan sebagai nilai rata-rata hasil uji coba, dibagi dengan akurasi speech recognition, yaitu sebesar 62,5%.

---

This thesis discusses about the development of a Japanese language verbal exam system designed by integrating automatic speech recognition with an automatic essay scoring system. The system developed uses a client-server architecture. The client is an application developed using the cross-platform framework Flutter and can be run on the web or Android platforms. Back-end servers in the cloud are built using the Python programming language with the PostgreSQL database and utilize containerization technology with Docker. The speech recognition system used is DeepSpeech with a training model to be able to convert Japanese pronunciation into text using hiragana letters. The resulting model has an average WER of 20.6%. The automatic essay scoring system used is SIMPLE-O with the LSA method. The trial was carried out online with 36 respondents with different levels of familiarity with Japanese language. The test results obtained an average score of 49.62 out of a maximum score of 100. The accuracy of the Japanese verbal exam scoring system is defined as the average value of the test results, divided by the accuracy of speech recognition, which is equal to 62.5%."

"SIMPLE-O atau Sistem Penilaian Esai Otomatis merupakan sebuah proyek yang dikembangkan oleh Departemen Teknik Elektro, Universitas Indonesia sejak tahun 2007. Penelitian ini membahas penerapan algoritma winnowing dan algoritma ASCII-Based Hashing pada pengembangan SIMPLE-O untuk ujian bahasa Jepang. Sistem dikembangkan dengan menggunakan bahasa pemrograman Python. Beberapa penelitian sebelumnya pernah menggunakan algoritma winnowing untuk mengembangkan SIMPLE-O. Namun yang membedakannya pada penelitian ini adanya penggantian algoritma hashing yang biasa digunakan, yaitu dari Rolling Hash menjadi algoritma ASCII-Based Hashing. Algoritma hashing tersebut termasuk kedalam algoritma LSH (Locality-sensitive hashing). Proses penilaian membutuhkan dua data input, yaitu jawaban mahasiswa (peserta ujian) dan kunci jawaban dosen. Kedua data input yang masih dalam bahasa Jepang akan diromanisasi menjadi teks romaji (huruf latin), setelah itu akan diproses oleh algoritma winnowing dan algoritma hashing untuk menghasilkan fingerprint. Maksud dari penelitian ini adalah untuk mencoba mendapatkan akurasi sistem yang paling tinggi. Dari hasil penelitian, didapatkan rata-rata akurasi nilai total sistem sebesar 87.10% jika parameter winnowing untuk setiap data input diseragamkan (n = 2 dan w = 2). Akurasi tersebut mengalami peningkatkan sebesar 0.24% dari hasil penelitian sebelumnya yang bernilai 86.86%. Namun jika parameter winnowing disesuaikan menggunakan nilai kombinasi yang paling terbaik, maka rata-rata akurasi nilai total sistem yang didapatkan adalah 92.74%. Akurasi tersebebut mengalami peningkatan sebesar 1.82% dari hasil penelitian sebelumnya yang bernilai 90.92%. Untuk akurasi total per mahasiswa dapat mencapai 99.95%, dan akurasi pernomor untuk tiap sampel mahasiswa berkisar dari 69.55% hingga 100%.

---

SIMPLE-O or Automated Essay Grading System is a project developed by the Department of Electrical Engineering, University of Indonesia since 2007. This research discusses the implementation of the winnowing algorithm and the ASCII-Based Hashing algorithm in the development of SIMPLE-O for the Japanese language exam. The system was developed using the Python programming language. Several previous research have used the winnowing algorithm to develop SIMPLE-O. But what distinguishes it in this research is the replacement of the hashing algorithm that is commonly used, namely from Rolling Hash to ASCII-Based Hashing algorithm. ASCII-Based Hashing is one of the LSH (Locality-sensitive hashing) algorithm. The grading process requires two input data, namely the examinee's answers and lecturers' answer keys. The two-input data that are still in Japanese will be romanized into romaji text (Latin letters), after that it will be processed by the winnowing algorithm and hashing algorithm to generate fingerprints. The purpose of this research is to try to get the highest system accuracy. From the research results. The average accuracy of the total system value is 87.10% if the winnowing parameters for each input data are equated (n = 2 and w = 2). The accuracy increased by 0.24% from the results of previous research which were worth 86.86%. However, if the winnowing parameter is adjusted using the best combination value, then the average accuracy of the total system value obtained is 92.74%. The accuracy has increased by 1.82% from the results of previous research which were worth 90.92%. The total accuracy of each student can reach 99.95%, and the accuracy of each number for each student sample ranges from 69.55% to 100%."

"Skripsi ini membahas mengenai pengembangan Sistem Penilaian Esai Otomatis (SIMPLE-O) yang dirancang dengan menggunakan hybrid CNN dan Bi-LSTM dan Manhattan Distance untuk penilaian esai Bahasa Jepang. Sistem dirancang dengan menggunakan bahasa pemrograman Python. Sistem melalui tahapan pre-processing, feature extraction dan word embedding yang dilanjutkan dengan proses deep learning serta pengukuran dengan menggunakan manhattan distance. Hasil akhir dari sistem dibandingkan dengan penilaian manual oleh dosen. Model yang paling stabil dan terbaik ditraining dengan menggunakan hyperparameter dengan kernel sizes bernilai 5, jumlah filter atau output CNN sebesar 64, pool size sebesar 4, Bidirectional LSTM units 50, batch size sebesar 64. Model deep learning ditraining dengan menggunakan optimizer Adam dengan learning rate 0,001 , epoch sebanyak 25 dan menggunakan regularizer L1 sebesar 0,01. Rata-rata error yang diperoleh adalah 29%

---

This thesis discusses the development of an Automatic Essay Grading System (SIMPLE-O) designed using hybrid CNN and Bidirectional LSTM and Manhattan Distance for Japanese essay grading. The system is designed using Python programming language. The system goes through the stages of pre-processing, feature extraction and word embedding followed by deep learning process and measurement using Manhattan Distance. The final result of the system is compared with manual assessment by lecturers. The most stable and best model is trained using hyperparameters with kernel sizes of 5, number of filters or CNN outputs of 64, pool size of 4, Bidirectional LSTM units of 50, batch size of 64. The deep learning model is trained using the Adam optimizer with a learning rate of 0.001, epoch of 25 and using an L1 regularizer of 0.01. The average error obtained is 29%.

"

"Sistem persamaan kata merupakan suatu algoritma yang dapat digunakan pada sistem penilaian esai secara otomatis yang dapat berfungsi dengan untuk membandingkan kata memiliki makna yang sama (sinonim) sehingga akan diberi bobot yang sama. Hal ini telah dibuktikan dari percobaan dimana SIMPLE-O berbasis GLSA yang ditambahkan sistem persamaan kata dalam kalimat mengungguli sistem yang sama tanpa adanya penambahan persamaan kata. Dari 6 soal yang diujicobakan dengan 5 sampel pada dua soal dummy dan 30 sampel pada sisa 4 soal percobaan dengan membandingkan nilai selish hasil penilaian sistem terhadap persamaan kata GLSA dengan persamaan kata unggul sebanyak 5 kali atau sebesar 83,33% dibandingkan dua basis algoritma lainnya yaitu LSA dan GLSA tanpa sistem persamaan kata.

---

Word similiarity detection system is an algorithm that can be used on automatic essay grader to compare word to another of which have similar meaning (synonim) so that can be given the equal value. With this algorithm the word with significant meaning on the text can be detected an the word which have the different terms but have the same meaning from the answer. Experiment conducted has shown that word similiarity algorithm which has embedded to SIMPLE-O based on GLSA outperform the GLSA without word similiarity in term of the accuracy.

From 6 questions data conducted, GLSA with word similiarity outperform the other algorithm which are LSA and GLSA without word similiarity process 5 times or equal to 83,33%. The result from the average delta of the value is also proven that the word similiarity algorithm is have better performance than the other. Word similiarity algorithm proven to increase the accuracy of essay grader for text in Bahasa Indonesia."