Hasil Pencarian  ::  Simpan CSV :: Kembali

"Penelitian mengenai sistem penilai jawaban esai sudah pernah dilakukan dengan metode Latent Semantic Analysis (LSA). Salah satu keterbatasan yang dialami adalah keterbatasan dokumen training untuk mengoptimalkan hasil LSA. Dengan keterbatasan tersebut penggunaan Vector Space Model (VSM) dapat dipertimbangkan. Penelitian ini membandingkan LSA dan VSM untuk menilai jawabanbentuk esai serta meneliti pengaruh pemotongan imbuhan dan perluasan kunci jawaban terhadap efektifitas sistem. Uji coba dilakukan dengan 13 soal esai dengan 42 peserta ujian. Secara keseluruhan, rata-rata korelasi nilai VSM-manusia lebih tinggi dari LSA-manusia.

---

Research in automated essay scoring system has been done using Latent Semantic Analysis (LSA) method. One of the limitations is the lack of training documents to optimize LSA results. Regarding such limitation, the use of Vector Space Model (VSM) can be considered. This research aims to compare LSA and VSM to score essay answer and to investigate the effect of stemming and query expansion toward the effectiveness of the system. Experiments are done with 13 problems with 42 test participants. Overall results show that average correlation of score between VSM-human is higher than LSA-human."

"ABSTRAKDalam penelitian ini, Sistem Penilaian Esai Ototmatis (Simple-O) dirancang menggunakan algoritma Latents Semantic Analysis (LSA), Term Frequency-Inverse Document Frequency, dan algoritma Support Vector Machine (SVM). Algoritma LSA digunakan untuk mengolah kata-kata yang merepresentasikan kata-kata dalam teks menjadi matriks. Algoritme SVM digunakan untuk mengklasifikasikan esai jawaban siswa berdasarkan topiknya. TF-IDF digunakan untuk menimbang setiap kata dalam teks yang akan menjadi input SVM. Dari penelitian ini ketepatan penggunaan jawaban dosen sebagai jawaban referensi adalah 72,01% dan ketepatan penggunaan kata kunci sebagai jawaban referensi adalah 69,5%.

---

ABSTRACTIn this study, the Automatic Essay Assessment System (Simple-O) was designed using the Latents Semantic Analysis (LSA) algorithm, Term Frequency-Inverse Document Frequency, and the Support Vector Machine (SVM) algorithm. The LSA algorithm is used to process words that represent words in the text into a matrix. The SVM algorithm is used to classify student essays based on their topic. TF-IDF is used to weigh each word in the text that will become SVM input. From this research, the accuracy of using lecturers' answers as reference answers was 72.01% and the accuracy of using keywords as reference answers was 69.5%."

"ABSTRAKPada awalnya, Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia telah mengembangkan sebuah sistem penilaian esai otomatis SIMPLE-O untuk ujian esai dalam bahasa Indonesia, namun kali ini dikembangkan untuk ujian esai dalam bahasa Jepang. Skripsi ini akan membahas mengenai penerapan dan pengembangan SIMPLE-O untuk ujian bahasa Jepang berbasis algoritma latent semantic analysis LSA dalam bahasa pemrograman Python. Pengujian menggunakan pendekatan text-similarity frobenius norm. Jenis input teks untuk proses LSA berpengaruh terhadap tingkat akurasi sistem, begitu pula dengan jenis nilai yang dimasukkan ke dalam matriks term-document matrix TDM . Dari hasil pengujian dan analisis yang telah dilakukan, apabila menggunakan input teks dan jenis nilai yang dimasukkan ke dalam matriks TDM yang tepat, LSA mampu menghasilkan akurasi sebesar 99.93.

---

ABSTRACTIn the beginning, Department of Electrical Engineering in Universitas Indonesia has developed an automated essay scoring system SIMPLE O for essay tests in Indonesian, but this time it is developed for essay tests in Japanese. This thesis will discuss about the development and implementation of SIMPLE O for essay tests in Japanese based on latent semantic analysis LSA Algorithm written in Python programming language. The text similarity approach used in this thesis is frobenius norm to measure similarity between texts. The type of text input for the LSA process influences the rate of accuracy of the system, the type of value inserted into the term document matrix TDM can also influence the rate of accuracy of the sysstem. From the result of test and analysis that has been done, given the appropriate type of text input and type of value inserted into the TDM, LSA is able to obtain a rate of accuracy of 99.93 "

"ABSTRAKPada penelitian ini dilakukan penerapan Support Vector Machine dan LSAMetode tersebut dibahas dan dipelajari lebih lanjut untuk merancang Sistem Penilaian Esai Otomatis (Simple-O). Simple-O merupakan sistem yang saat ini dikembangkan oleh UI Jurusan Teknik Elektro yang bertujuan untuk menilai esai secara otomatis. Support Vector Machine, yang merupakan algoritma pembelajaran yang diawasi, dipelajari selanjutnya untuk meningkatkan tingkat akurasi dalam Simple-O bersama dengan metode LSA yang digunakan Bahasa pemrograman Python. Dari hasil tes rata-rata tertinggi skor akurasi yang diperoleh sistem sebesar 88.06% dengan masukan kalimat kanji, katakana, hiragana dan nilai TDM siswa jawaban yang mencerminkan frekuensi kemunculan kata kunci dalam dokumen.

---

ABSTRACTIn this study, the implementation of Support Vector Machine and LSA was carried out These methods are discussed and studied further to design an Essay Assessment System Automatic (Simple-O). Simple-O is a system currently being developed by the UI Department of Electrical Engineering which aims to assess essays automatically. Support Vector Machine, which is a supervised learning algorithm, is learned furthermore to increase the level of accuracy in Simple-O along with the LSA method used Python programming language. From the highest average test results the accuracy score obtained by the system is 88.06% with input the kanji, katakana, hiragana and TDM scores of the students answers that reflect the frequency with which keywords appear in the document."

"Setiap proses pembelajaran formal memerlukan evaluasi berupa ujian. Ujian dalam bentuk esai merupakan bentuk ujian yang lebih baik dibandingkan dengan metode ujian lainnya. Pada sistem pembelajaran e-learning komputer harus dapat digunakan sebagai alat untuk menyelenggarakan ujian esai atau dengan kata lain komputer harus dapat digunakan sebagai penilai esai secara otomatis (automated essay grading). Telah banyak metode yang dikembangkan sebagai penilai esai otomatis dan salah satunya adalah Latent Semantic Analysis (LSA). Dalam melakukan penilaian esai secara otomatis, metode LSA mempunyai ciri khas hanya mementingkan kata-kata yang terkandung di dalam sebuah teks tanpa memperhatikan karakteristik linguistiknya. Pada LSA, kata-kata direpresentasikan ke dalam sebuah matriks semantik dan kemudian diolah secara matematis menggunakan teknik aljabar linier Singular Value Decomposition (SVD). Pada metode LSA, dapat digunakan 2 cara untuk membandingkan matriks hasil SVD, yaitu normalisasi Frobenius dan Cosinus Alpha. Untuk mengetahui cara mana yang dapat memberikan hasil lebih optimal jika diterapkan pada LSA, maka diperlukan suatu perbandingan unjuk kerja dari keduanya. Skripsi ini merancang, mengimplementasikan, menguji serta menganalisa suatu sistem penilaian esai otomatis dengan metode LSA mempergunakan normalisasi Frobenius dan Cosinus Alpha. Dari hasil pengujian dan analisa yang telah dilakukan, diketahui bahwa metode LSA mempergunakan Cosinus Alpha memberikan unjuk kerja yang lebih baik dibandingkan dengan metode LSA mempergunakan normalisasi Frobenius. Korelasi LSA dengan Cosinus Alpha berkisar antara 0.94 - 0.99 sedangkan korelasi LSA dengan normalisasi Frobenius berada sekitar 0.89 - 0.94. Selain itu juga diketahui bahwa jumlah pemotongan kata berpengaruh terhadap proses SVD pada LSA."

"Sistem penilai otomatis SIMPLE-O untuk bahasa Jepang telah diteliti selama beberapa tahun belakangan. Namun, penilaian yang dilakukan belum mencakup nilai morfologis, padahal morfologi merupakan hal yang penting dalam ujian sastra. Penelitian ini melakukan clustering pada 215 jawaban mahasiswa dan mengelompokkannya ke 6 cluster berdasarkan topiknya. Berdasarkan hasil, didapatkan bahwa K-means clustering mengelompokkan dengan lebih baik dibanding hierarchical agglomerative clustering (HAC), terutama dengan penambahan Romanisasi. K-means clustering dengan Romansasi menunjukkan 96.5% precision dan 96% recall, sementara HAC memiliki 95% precision dan 93.7% recall. Pada proses penilaian, jawaban dinilai pertopik atau nomor soal dan dicari rasio antara nilai yang didapat dari LSA dengan nilai morfologi dengan akurasi tertinggi. LSA memiliki rata-rata akurasi 79.92%. Penambahan analisis morfologi pada nilai akhir mendapatkan akurasi tertinggi sebesar 78.77% dengan bobot 10% nilai morfologi dan 90% nilai LSA.

---

The research on automated grading system SIMPLE-O for Japanese language has been done for a few years. However, in the grading system, there is still no means to grade the morphological component even though it is an important part of language test. This research groups 215 student answers to 6 cluster according to the topics. According to the results, K-means clustering performs better than hierarchical agglomerative clustering (HAC) especially with Romanization. K-means clustering with Romanization shows 96.5% precision and 96% recall while HAC has 95% precision and 93.7% recall. For the grading prosess, the answers will be scored by its topic or question number and the ratio between similarity measurement score and morphological score with the highest accuracy will be selected. LSA has the average accuracy of 79.92%. With the addition of morphological analysis on the final score, the highest average accuracy of 78.77% is selected with the ratio of 10% morphological score and 90% LSA score."

"Metode spektral Laplacian Eigenmaps Embedding (LEM) dapat memelihara kemiripan dokumen dengan baik dibandingkan dengan metode reduksi dimensi lainnya. Hal ini terlihat dari unjuk kerja sistem berbasis GLSALEM yang lebih baik jika dibandingkan dengan sistem lainnya pada percobaan. Peningkatan unjuk kerja tidak hanya ditunjukkan dengan berkurangnya rata-rata selisih nilai yang dihasilkan oleh sistem dengan nilai yang dihasilkan oleh human rater tetapi juga jumlah percobaan dimana GLSA-LEM menghasilkan nilai yang paling mendekati dengan nilai yang dihasilkan oleh human rater. Kekurangan dari implementasi metode LEM adalah bahwa LEM hanya dapat diterapkan pada matriks jawaban referensi dan mahasiswa dengan dimensi yang lebih besar atau sama dengan enam. Oleh karena itu jawaban referensi dan jawaban mahasiswa yang terlalu pendek tidak akan dapat diproses oleh LEM. Hal ini dapat ditanggulangi dengan mengimplementasikan batas minimal kata jawab pada sistem berbasis GLSA-LEM sehingga semua jawaban dapat diproses oleh LEM. Pada percobaan ini didapatkan rata-rata selisih antara nilai yang dihasilkan oleh sistem dengan nilai yang dihasilkan oleh human rater pada sistem berbasis LSA adalah 44,49; pada sistem berbasis GLSA adalah 23,41; dan pada sistem berbasis GLSA-LEM adalah 11,67.Hasil tersebut menunjukkan bahwa GLSA-LEM paling unggul karena menghasilkan rata-rata selisih yang paling kecil antara nilai yang dihasilkan oleh sistem dengan nilai yang dihasilkan oleh human rater. Hal ini didukung oleh jumlah percobaan dimana sistem berbasis GLSA-LEM bekerja paling baik yakni dari sejumlah 245 percobaan yang dapat diterapkan LEM didapatkan bahwa pada 82 percobaan sistem GLSA-LEM menghasilkan selisih nilai yang paling kecil dibandingkan dengan sistem GLSA yang unggul pada 40 percobaan dan sistem LSA yang unggul pada 10 percobaan saja. Dengan demikian hipotesis yang diajukan terbukti benar bahwa implementasi LEM pada sistem GLSA akan meningkatkan akurasi sistem. Selisih nilai yang lebih kecil menandakan sistem dapat menghasilkan nilai yang lebih mendekati nilai yang dihasilkan oleh human rater. Hal ini sesuai dengan tujuan dari sistem penilai esai otomatis yang diciptakan untuk menggantikan kerja human rater dimana nilai yang dihasilkan harus dapat mendekati nilai yang dihasilkan oleh human rater. Rata-rata waktu proses LSA adalah 0,164 detik, GLSA sebesar 0,521 detik, dan GLSA-LEM sebesar 4,982 detik.

---

Laplacian Eigenmaps Embedding preserve semantic proximity better than other dimension reduction methods. GLSA performance may be improved further by implementing LEM. Experiment conducted has shown that GLSA-LEM based system has outperform on this experiment. Performance improvement not only shown from average delta between the grades calculated using the system and the grades resulted from human rater but also the number of the tests that outperformed by GLSA-LEM. The disadvantage of LEM implementation is that LEM only can be applied to answer matrices with minimum dimension of six. Therefore answers that are too short may not be processed using LEM. This can be mitigated by implementing minimum threshold to the answers so it can't be submitted if less than required length. This experiment show that LSA average delta between grades resulted from the system and grades resulted from human rater is 44,49; GLSA?s average delta is 23,41 and GLSA-LEM?s average delta is 11,67.

These results show GLSA-LEM is the best because generate grades with the least average delta between the grades calculated using the system and the grades resulted from human rater. These results also supported by the number of essays from total of 245 essays that can be applied GLSA-LEM graded best with least delta by GLSA-LEM that is 82; compared to GLSA that is 40; and LSA that is 10. Therefore the hypotesis is proven to be correct that LEM implementation on GLSA based system improves system's accuracy. Least delta indicates system generate better grades that is closer to human rater. These results is in accordance with the purpose of automated essay grading system that created to replace human raters in which the grades resulted by the system should be close to the grade generated by human raters. LSA's average processing time is 0,164 seconds, GLSA's is 0,521 seconds, and GLSA-LEM?s is 4,982 seconds."

"Di dalam proses pembelajaran, seorang pengajar tentunya membutuhkan tolak ukur yang mengindikasikan tingkat penyerapan murid-muridnya atas proses belajar mengajar yang terjadi dengan melakukan ujian, baik dengan format pilihan ganda, isian singkat, maupun esai. Dari kesemua format yang ada, ujian esai lah yang dianggap paling mampu merepresentasikan tingkat pemahaman siswanya. Namun ujian esai tersebut memiliki keterbatasan di dalam penilaian ujiannya. Sementara itu. sistem penilaian yang menggunakan komputer sampai saat ini masih terbatas untuk ujian pilihan ganda. Oleh karena itu, pada skripsi ini akan dikembangkan sistem aplikasi penilaian esai otomatis dengan menggunakan metode penilaian Latent Semantic Analysis (LSA) yang berbasis web. Metode LSA dipilih karena dalam menilai ujian hanya menitikberatkan pada kata-kata yang terkandung di dalam tulisan tanpa memperhatikan karakteristik linguistiknya. Di dalam pengembangan sistem ini, program aplikasi sistem dibagi menjadi beberapa modul. Sedangkan untuk pengembangan keamanan sistem, diterapkan aplikasi session dan cookie agar akses ke dalam sistem lebih terkontrol serta teknik enkripsi SHA-1 pada password user agar password seseorang tidak dapat diketahui oleh siapapun. Pengujian kecepatan akses dilakukan pada sistem dengan tujuan untuk melihat tingkat performa dari sistem yang telah dibuat. Pengujian dilakukan dengan memvariasikan panjang jawaban, jumlah kata kunci, dan jumlah soal. Dari hasil pengujian didapatkan bahwa pengaruh jumlah kata kunci dan panjang kalimat jawaban terhadap kecepatan akses sistem adalah antara 4e pangkat -3 - 0,8 ms, sedangkan pertambahan sebuah soal pada satu ujian akan mengakibatkan pertambahan waktu akses sebesar 1 detik. Sedangkan implementasi peningkatan keamanan sistem telah berjalan dengan baik."

"Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia telah mengembangkan sistem penilaian esai otomatis (SIMPLE-O) untuk ujian bahasa Jepang. Skripsi kali ini akan membahas pengembangan SIMPLE-O dalam mengoreksi ujian bahasa Jepang dengan menggunakan metode N-Gram dan Latent Semantic Analysis (LSA) dan bahasa pemrograman Python dengan tujuan untuk mencapai nilai akurasi yang maksimal. N-Gram digunakan untuk mengoreksi pola kalimat data yang diuji dengan referensi, serta LSA dan Frobenius Norm untuk pemrosesan teks dan pemeriksaan kesamaan teks. Dari pengujian yang telah dilakukan, SIMPLE-O dengan N-Gram dapat mencapai rata-rata akurasi sebesar88,09%.

---

Department of Electrical Engineering, Faculty of Engineering, University of Indonesia has developed a system to grade Japanese examination essay automatically. This thesis will discuss about the development of SIMPLE-O in grading Japanese examination essays using N-Gram and Latent Semantic Analysis (LSA) using Python programming languageto reach the maximum accuracy level. N-Gram is used to score the answer based on the words and the pattern of the sentence of key answer. LSA and Frobenius Norm are used toprocess the text and to check the similarity of both text. From the test that has been done, SIMPLE-O using N-GramandLSAis able to obtain an average rate of accuracy of 88,09%."