EVALUASI FITUR WORD2VEC PADA SISTEM UJIAN ESAI ONLINE

Sampai sekarang pengembangan sistem informasi untuk mengevaluasi pemahaman siswa terhadap proses belajar memang sudah banyak dilakukan, baik berbentuk pilihan ganda maupun esai secara online. Dari referensi yang telah didapat kebanyakan menggunakan vektor kata dengan pendekatan skema pembobotan Term Frequency (TF). Dimana pada TF menghasilkan matriks kata yang senggang (Sparse), serta hasil error kemiripan yang besar. Didalam penelitian ini dievaluasi kinerja representasi fitur teks dan pembobotan yang lain, yaitu Word2vec. Selanjutnya perhitungan vektor kemiripan antar kedua teks menggunakan metode Cosine Simiarity dan Euclidean Distance. Hasil evaluasi pengujian berupa nilai koefisien antara penilaian sistem dengan penilaian manual yang dibandingkan dengan penelitian terdahulu dengan skala sama. Data yang digunakan sebanyak 2162 data. Data ini diperoleh dari 50 siswa yang menjawab 40 soal (politik, olahraga, lifestyle dan teknologi). Hasil pengujian menunjukkan rata-rata nilai precentage error dengan menggunakan fitir Word2vec sebesar 59.5%. Angka tersebut menunjukkan nilai error yang tinggi. Sehingga penelitian ini sampai pada kesimpulan bahwa menggunakan fitur Word2vec tidaklah lebih akurat pada kasus ujian esai online dibanding menggunakan fitur Term Frequency (TF).