Hasil Pencarian  ::  Simpan CSV :: Kembali

"Contents : - Learning transfer defined- Two key questions: six disciplines for ensuring learning transfer- Addressing the "can i?" question- Addressing the "will i?" question- Making sure transfer is happening- References & resources- Job aid: learning transfer design checklist- Job aid: transfer climate scorecard- Job aid: action plan workshet"

"Penelitian ini bertujuan untuk membangun model dependency parser untuk bahasa Jawa menggunakan pendekatan cross-lingual transfer learning. Metode transfer learning dipilih untuk mengatasi kurangnya dataset yang tersedia untuk proses training model pada bahasa Jawa yang merupakan low-resource language. Model dibangun menggunakan arsitektur encoder-decoder, tepatnya menggunakan gabungan dari self-attention encoder dan deep biaffine decoder. Terdapat tiga skenario yang diuji yaitu model tanpa transfer learning, model dengan transfer learning, dan model dengan hierarchical transfer learning. Metode transfer learning menggunakan bahasa Indonesia, bahasa Korea, bahasa Kroasia, dan bahasa Inggris sebagai source language. Sementara metode hierarchical transfer learning menggunakan bahasa Prancis, bahasa Italia, dan bahasa Inggris sebagai source language tahap satu, serta bahasa Indonesia sebagai source language tahap dua (intermediary language). Penelitian ini juga mengujikan empat word embedding yaitu fastText, BERT Jawa, RoBERTa Jawa, dan multilingual BERT. Hasilnya metode transfer learning secara efektif mampu menaikkan performa model sebesar 10%, di mana model tanpa transfer learning yang memiliki performa awal unlabeled attachment score (UAS) sebesar 75.87% dan labeled attachment score (LAS) sebesar 69.04% mampu ditingkatkan performanya hingga mencapai 85.84% pada UAS dan 79.22% pada LAS. Skenario hierarchical transfer learning mendapatkan hasil yang lebih baik daripada transfer learning biasa, namun perbedaannya tidak cukup signifikan.

---

This research aims to develop a Javanese dependency parser model using a cross-lingual transfer learning approach. The transfer learning method was chosen to overcome the lack of available datasets for the model training process in Javanese, a low-resource language. The model uses an encoder-decoder architecture, precisely combining a self-attention encoder and a deep biaffine decoder. Three scenarios are experimented with: a model without transfer learning, a model with transfer learning, and a model with hierarchical transfer learning. The transfer learning process uses Indonesian, Korean, Croatian, and English as source languages. In contrast, the hierarchical transfer learning process uses French, Italian, and English as the first-stage source languages and Indonesian as the second-stage source language (intermediary language). This research also experimented with four word embedding types: fastText, Javanese BERT, Javanese RoBERTa, and multilingual BERT. The results show that the transfer learning method effectively improves the model’s performance by 10%, where the model without transfer learning has an initial unlabeled attachment score (UAS) performance of 75.87% and labeled attachment score (LAS) of 69.04% can be increased to 85.84% in UAS and 79.22% in LAS. Hierarchical transfer learning has a slightly better result than standard transfer learning, but the difference is insignificant."

"Too often the long-term results of training are lacking. So how can you be certain that your training efforts are sticky enough to have lasting impact on your trainees and their work? Hit the sweet spot of training application with Making Learning Stick, a practical, easy-to-use resource aimed at boosting retention and application of learning on the job. Get detailed, step-by-step instructions for this treasure trove of techniques along with dozens of variations likely to suit any training situation."

"

Tujuan dari penelitian ini adalah membangun dependency parser untuk Bahasa Indonesia menggunakan pendekatan cross-lingual transfer learning. Sebagai source language dipilih empat bahasa, yaitu Bahasa Perancis, Bahasa Italia, Bahasa Slovenia, dan Bahasa Inggris. Dependency parser dibangun menggunakan transformer (self-attention encoder) sebagai encoder layer dan deep biaffine decoder sebagai decoder layer. Pendekatan transfer learning dengan fine-tuning mampu meningkatkan performa model dependency parser untuk Bahasa Indonesia dengan margin yang paling tinggi yaitu 4.31% untuk UAS dan 4.46% untuk LAS dibandingkan dengan pendekatan training from scratch.

---

The objective of this research is to build a dependency parser for Indonesian using cross-lingual transfer learning. As the source language, chosen four languages: French, Italian, Slovenian, and English. The dependency parser is built using a transformer (self-attention encoder) as the encoder layer and a deep biaffine decoder as the decoder layer. The transfer learning approach with fine-tuning can improve the performance of the dependency parser model for Indonesian with the highest margin of 4.31% for UAS and 4.46% for LAS compared to the training from scratch approach.

"

"Analisis sentimen merupakan proses memahami, mengekstrak dan mengolah data tekstual secara otomatis untuk mendapatkan informasi. Pada penelitian ini, analisis sentimen diterapkan pada media sosial, yaitu Twitter. Pada dasarnya analisis sentimen merupakan masalah klasifikasi. Support Vector Machine SVM adalah salah satu metode machine learning untuk menyelesaikan masalah klasifikasi. Pada pendekatan SVM model dibangun dengan data dari domain yang sama. Namun, ketika terjadi perubahan domain, maka model machine learning harus dibangun kembali dari awal dengan menggunakan data pelatihan yang baru. Data pelatihan yang baru membutuhkan proses pelabelan yang dilakukan secara manual. Dalam kasus ini, akan lebih efektif dan efisien jika dilakukan transfer learning agar dapat menggunakan data pelatihan dari domain yang sudah tersedia untuk menangani masalah klasifikasi pada domain yang berbeda. Data pelatihan dari sebuah domain digunakan untuk melakukan klasifikasi pada domain yang berbeda. Dalam penelitian masalah analisis sentimen untuk tweets berbahasa Indonesia ini, nilai akurasi transfer learning masih lebih rendah dari pada metode SVM tanpa transfer learning. Penggunaan fitur bi-gram dapat meningkatkan kinerja transfer learning.

---

Sentiment analysis is the process of understanding, extracting and processing textual data automatically to obtain information. In this experiment, sentiment analysis applied to social media, Twitter. Basically, sentiment analysis is a classification problem. Support Vector Machine SVM is one of machine learning method to solve two class classification problem. In the SVM approach the model is built with data from the same domain. However, when domain changes occur, the machine learning model must be rebuilt from scratch using new training data. New training data requires manual labeling process.

In this case, it would be more effective and efficient to transfer learning to use the training data from an already available domain to deal with classification problems on different domains. Training data from a domain will be used to classify on different domains. In the research problem of sentiment analysis for tweets in Bahasa, the value of transfer learning accuracy is still lower than the SVM method without transfer learning. Use of bi gram feature can improve the performance of transfer learning."

"

Cacar monyet muncul pada 2022 sebagai penyakit yang ditakutkan berpotensi sebagai pandemi selanjutnya. Cacar monyet adalah penyakit infeksi virus dari hewan (zoonosis) dan termasuk keluarga virus yang sama dengan cacar (smallpox, variola). Walaupun penyakit cacar monyet tidak lebih berbahaya dari COVID-19, diperlukan langkah pencegahan untuk mengurangi risiko penularan. Pendekatan machine learning dapat dilakukan dengan pengusulan penggunaan tiga arsitektur CNN, yaitu EfficientNetV2B1, MobileNetV3, dan NASNetMobile untuk mengklasifikasi cacar monyet dari citra lesi kulit. Ketiga model dilakukan transfer learning menggunakan pre-trained weights ImageNet bertotal 29 skenario dengan pemisahan data train dan test, dan melakukan augmentasi yang berbeda untuk menguji performa model. Skenario difokuskan pada peningkatan recall untuk mengurangi tingkat false negative pada prediksi cacar monyet. Penelitian ini juga membangun dataset yang terdiri dari empat kelas, yaitu cacar monyet, cacar air, campak, dan sehat dengan jumlah 40 hingga 100 foto per kelas. Citra dataset bersumber dari Kaggle dan web Kesehatan dan divalidasi kembali menggunakan Google Reverse Image. Dari eksperimen 29 skenario, didapatkan skenario dengan model yang optimal adalah MobileNetV3 versi minimalistic dengan recall 93,2%, dengan ukuran 7,6 MB, selisih recall dan validation recall 0,0035 dengan pemisahan data train dan test sebesar 70:30 dengan optimizer Adam 0,0001. Model dikonversi ke dalam format TensorFlow Lite dan disematkan ke dalam aplikasi Android yang dirancang menggunakan bahasa pemrograman Kotlin dan library UCrop untuk cropping citra yang diambil pengguna agar terfokus pada lesi kulit. Model membutuhkan rata-rata waktu inferensi 40 milidetik pada aplikasi Android.

---

Monkeypox emerged in 2022 as a disease that potentially be the next pandemic. Monkeypox is a virus infection from animals (zoonosis) and categorized as the same family as smallpox (variola). Even monkeypox is not deadly as COVID-19, preventive measure is needed to reduce infections. Machine learning approach can be implemented with 3 proposed CNN architecture, EfficientNetV2B1, MobileNetV3, and NASNetMobile to classify monkeypox from skin lesion image. Transfer learning will be done to the three models using pre-trained weights from ImageNet of 29 scenarios with variations of train-test data split and augmentation to benchmark model performance. The experiment is focused on improving recall as minimizing false negative prediction on monkeypox. This paper also built a new dataset with 4 class, monkeypox, chickenpox, measles, and healthy skin which has 40 to 100 image per class. The dataset images are compiled from Kaggle and health website and revalidate with Google Reverse Image. From 29 experiment scenarios, the resulted best model is MobileNetV3 minimalistic with 93,2% recall, 7,6 MB in size, difference in training and validation recall of 0,0035% with data train-test splits 70:30 and optimizer using Adam 0,0001. The model is converted to TensorFlow Lite format to be embedded in Android application that is build with Kotlin and UCrop library to crop the image to focus on the skin lesions. The model has a mean of 40 milliseconds inference in the application.

"

"Part-of-speech tagging, adalah task di bidang Natural Language Processing di mana setiap kata di dalam suatu kalimat dikategorisasi ke dalam kategori parts-of-speech (kelas kata) yang sesuai. Pengembangan model POS tagger menggunakan pendekatan machine learning membutuhkan dataset dengan ukuran yang besar. Namun, dataset POS tagging tidak selalu tersedia dalam jumlah banyak, seperti dataset POS tagging untuk bahasa Jawa. Dengan jumlah data yang sedikit, model POS tagger yang dilatih kemungkinan tidak akan memiliki performa yang optimal. Salah satu solusinya adalah dengan menggunakan pendekatan cross-lingual transfer learning, di mana model dilatih menggunakan suatu source language pada suatu task agar dapat menyelesaikan task yang sama pada suatu target language. Penelitian ini bertujuan untuk menguji performa pre-trained language model (mBERT, XLM-RoBERTa, IndoBERT) dan melihat pengaruh cross-lingual transfer learning terhadap performa pre-trained language model untuk POS tagging bahasa Jawa. Percobaan yang dilakukan menggunakan lima source language, yaitu bahasa Indonesia, bahasa Inggris, bahasa Uighur, bahasa Latin, dan bahasa Hungaria, serta lima jenis model, yaitu fastText + LSTM, fastText + BiLSTM, mBERT, XLM-RoBERTa, dan IndoBERT; sehingga secara keseluruhan ada total 35 jenis model POS tagger. Model terbaik yang dilatih tanpa pendekatan cross-lingual transfer learning dibangun menggunakan IndoBERT, dengan akurasi sebesar 86.22%. Sedangkan, model terbaik yang dilatih menggunakan pendekatan cross-lingual transfer learning dalam bentuk dua kali fine-tuning, pertama menggunakan source language dan kedua menggunakan bahasa Jawa, sekaligus model terbaik secara keseluruhan dibangun menggunakan XLM-RoBERTa dan bahasa Indonesia sebagai source language, dengan akurasi sebesar 87.65%. Penelitian ini menunjukkan bahwa pendektan cross-lingual transfer learning dalam bentuk dua kali fine-tuning dapat meningkatkan performa model POS tagger bahasa Jawa, dengan peningkatan akurasi sebesar 0.21%–3.95%.

---

Part-of-speech tagging is a task in the Natural Language Processing field where each word in a sentence is categorized into its respective parts-of-speech categories. The development of POS tagger models using machine learning approaches requires a large dataset. However, POS tagging datasets are not always available in large quantities, such as the POS tagging dataset for Javanese. With a low amount of data, the trained POS tagger model may not have optimal performance. One of the solution to this problem is using the cross-lingual transfer learning approach, where a model is trained using a source language for a task so that it can complete the same task on a target language. This research aims to test the performance of pre-trained language models (mBERT, XLM-RoBERTa, IndoBERT) and to see the effects of cross-lingual transfer learning on the performance of pre-trained language models for Javanese POS tagging. The experiment uses five source languages, which are Indonesian, English, Uyghur, Latin, and Hungarian, as well as five models, which are fastText + LSTM, fastText + BiLSTM, mBERT, XLM-RoBERTa, and IndoBERT; hence there are 35 POS tagger models in total. The best model that was trained without cross-lingual transfer learning approach uses IndoBERT, with an accuracy of 86.22%. While the best model that was trained using a cross-lingual transfer learning approach, implemented using a two fine-tuning process, first using the source language and second using Javanese, as well as the best model overall uses XLM-RoBERTa and Indonesian as the source language, with an accuracy of 87.65%. This research shows that the cross-lingual transfer learning approach, implemented using the two fine-tuning process, can increase the performance of Javanese POS tagger models, with a 0.21%–3.95% increase in accuracy."

"Transfer learning merupakan pengembangan dari pembelajaran mesin biasa (tradisional) yang dapat diterapkan pada cross-domain. Cross-domain adalah domain yang memiliki perbedaan pada feature space atau pada marginal dan conditional distribution, sehingga sulit ditangani dengan metode pembelajaran mesin biasa. Perbedaan ini banyak terjadi pada kasus computer vision atau pattern recognition seperti untuk mengenali korban bencana alam melalui foto yang diambil dari atas menggunakan drone atau helikopter. Terjadinya perbedaan feature space dan distribusi data ini karena adanya perbedaan sudut, cahaya, dan alat yang berbeda. Kondisi seperti ini semakin menyulitkan untuk dilakukannya klasifikasi gambar terlebih pada domain dengan keterbatasan label. Implementasi transfer learning terbukti dapat memberikan performance yang baik pada banyak kasus, termasuk kasus yang menggunakan dataset gambar.Dalam transfer learning penting untuk menghindari terjadinya negative transfer learning, sehingga perlu dilakukan pengukuran kesamaan (similarity) antar domain. Penelitian ini menerapkan feature-representation-transfer dan menggunakan Maximum Mean Discrepancy (MMD) untuk mengukur jarak antar feature pada domain yang terlibat di transfer learning. Setelah mengukur kesamaan antar domain, maka akan dilakukan pemilihan feature berdasarkan jarak antar feature. Feature terpilih adalah feature yang mempunyai jarak kurang dari threshold yang ditentukan. Bobot akan diberikan kepada feature terpilih. Selain melakukan pemilihan feature berdasarkan kesamaan domain, metode ini juga melakukan pemilihan feature yang signifikan antar class label dan dalam class label dengan menggunakan ANOVA (Analysis of Variance). Hanya feature yang signifikan yang akan digunakan untuk proses prediksi.Metode yang diusulkan juga menerapkan inter-cluster class label untuk memperkecil perbedaan conditional distribution. Prinsip kerja inter-cluster class label ini adalah menghitung jarak minimal dari instance pada domain target ke setiap center of cluster class label. Rumus jarak yang digunakan adalah Euclidean Distance. Properti statistik seperti rata-rata dan varians akan digunakan pada metode ini, untuk menggambarkan struktur data lokal dalam setiap domain. Penggunaan rata-rata digunakan untuk menentukan threshold dan pusat cluster class label, sedangkan varians digunakan untuk pemilihan feature yang signifikan. Proses prediksi label dilakukan berdasarkan feature terpilih yang telah diberi bobot dan jarak terpendek setiap instance ke salah satu class label.Tidak terdapat parameter tambahan dalam fungsi pembelajaran yang diusulkan. Selain itu, proses penentuan label juga dilakukan tanpa iterasi, sehingga memungkinkan metode ini dapat dijalankan dengan keterbatasan resource. Hasil eksperimen menunjukkan bahwa metode yang diusulkan dapat memberikan performance sebesar 46,6%, pada saat menggunakan SVM sebagai classifier dan 51.7% pada saat menggunakan logistic regression. Akurasi yang didapat dengan SVM ini mengimbangi metode feature-representation-transfer sebelumnya. Namun akurasi dari logistic regression sudah dapat mengungguli metode sebelumnya. Hasil ini menunjukkan bahwa penggunaan metode feature selection menggunakan properti statistik yang dikombinasikan dengan pemberian bobot pada feature terpilih dan jarak minimal dapat memberikan hasil akurasi yang baik tanpa memerlukan resource yang besar.

---

Transfer learning is the extension of traditional machine learning in a cross-domain environment. Cross-domains are domains with different feature spaces or different marginal and conditional distributions. Many real-world cases of computer vision and pattern recognition, such as the surveillance of some victims of natural disasters from above using a drone or helicopter, have these differences. These conditons are difficult to handle with traditional machine learning methods. The differences in feature space or data distribution caused by the existence of different angles, different light, and different tools. All of these situation add difficulty to the classification process, especially in domains with limited labels. The implementation of transfer learning is proven to provide good performance in many cases of cross-domain learning, including cases that use image datasets.

In transfer learning, it is important to measure the similarity between domains to avoid negative transfer learning. This study applies feature-representation-transfer and uses Maximum Mean Discrepancy (MMD) to measure the distance between features in the cross-domains and reduce the domain discrepancy. After measuring the similarity between domains, a feature selection will be made based on the distance between the features. Selected features are features that have a distance less than the specified threshold. Weight will be given to the selected features. In addition to selecting features based on domain similarity, this method also selects significant features between class labels and within class labels using ANOVA (Analysis of Variance). Only significant features will be used for the prediction process.

The proposed method also applies an inter-cluster class label to minimize the difference in conditional distribution. The inter-cluster class label works by calculating the minimum distance from the instance in the target domain to each center of the cluster class label. The distance formula used is Euclidean distance. Statistical properties such as mean and variance will be used in this method to describe the local data structure in each domain. The average is used to determine the threshold and center of the cluster class label, while the variance is used to select significant features. The label prediction process is carried out based on the selected features that have been weighted and the shortest distance for each instance to one of the label classes.

There are no additional parameters in the proposed learning function. In addition, the process of determining the label is also carried out without iteration, thus allowing this method to be run with limited resources. The experimental results show that the proposed method can provide a performance of 46.6% when using SVM as a classifier and 51.7% when using logistic regression. The accuracy obtained from SVM offsets the previous feature-representation transfer learning. However, the accuracy of logistic regression has been able to outperform the previous method. These results indicate that the use of the feature selection method using statistical properties combined with assigning weights to selected features and a minimum distance can provide good accuracy without requiring large resources."