Membedah Sistem Penilaian Skor UTBK

Kenalan dulu dengan sistem IRT

Gimana nih persiapan UTBK 2020-nya?
Sudah banyak latihan soal atau mengikuti Tryout-Tryout?
Gimana nilainya? 

Ups, sorry. Sepertinya kalo ditanya mengenai nilai TO-nya gimana, suka ada yang menjawab bingung karena nilai Tryout-Tryout yang terkadang naik dan terkadang (atau seringnya) turun. Kamu pasti merasa harusnya nilai TO naik karena banyak yang bisa dikerjakan sewaktu TO tetapi kok masih aja ya ngga naik-naik. Kalem duluu, kamu ngga sendirian kok. Yang lain juga ada yang merasa seperti itu. Sebetulnya apa sih penyebab terjadinya fenomena seperti itu dan bagaimana pula supaya nilai TO kita bisa naik signifikan atau minimal banget ngga turun.

Untuk menjawab pertanyaan di atas, kamu sepertinya harus tau dulu nih mengenai konsep IRT yang digunakan dalam sistem penilaian UTBK oleh panitia LTMPT. Kenapa sih harus tau? Karena konsep IRT pertama kali diperkenalkan (secara luas) diterapkan pada SBMPTN tahun 2018 dan digunakan juga sampai pada UTBK SBMPTN tahun ini. Sistem penilaian IRT ini berbeda dengan penilaian sebelum SBMPTN pada tahun 2018.

Yuk kita pelajari sistem IRT ini!
Pada tahun-tahun sebelum 2018 terdapat ketentuan yaitu peserta yang menjawab dengan benar akan mendapatkan skor (+4), jawaban salah mendapatkan skor (-1) dan soal yang tidak dijawab akan mendapatkan skor nol (0). Nah, mulai SBMPTN tahun 2018 metode penilaian tes dilakukan dengan prosedur yang berbeda, yaitu dengan menerapkan teori tes modern yang dikenal dengan Item Response Theory (IRT) atau dalam bahasa Indonesia disebut dengan Teori Respon Butir.

Dengan metode penilaian terhadap ujian tertulis ini, panitia LTMPT mengungkapkan bahwa SBMPTN era saat ini tak hanya memperhitungkan jumlah soal yang dijawab dengan benar atau salah oleh peserta, tapi juga harus memperhitungkan karakteristik tiap soal terutama pada soal dengan tingkat kesulitan untuk membedakan kemampuan peserta. Dengan demikian, perguruan tinggi benar-benar mendapatkan calon mahasiswa yang teruji (dilihat dari indikator hasil seleksi SBMPTN).

Supaya lebih jelas lagi, sistem penilaian berbasis IRT ini digambarkan dalam beberapa tahap, sebagai berikut.

Tahap pertama, seluruh jawaban benar akan diberi skor (+1), dan untuk soal yang tidak dijawab atau salah maka akan diberikan skor (0).

Tahap kedua, sistem akan menganalisis hasil skor berdasarkan pendekatan teori respon butir (item response theory). Setiap soal yang benar akan dianalisis karakteristiknya yaitu dengan melihat tingkat kesulitan dibanding soal lainnya. Darimana terukurnya? Sistem akan menganalisis dari soal yang sudah dijawab oleh peserta tes. Tingkat ketepatan dan atau tingkat kesalahan dalam soal yang terjawab akan menggambarkan tingkat kesulitannya.

Pada tahap ketiga, karakteristik tiap soal yang didapatkan di tahap kedua akan dipakai untuk menghitung skor peserta. Soal yang relatif sulit akan mendapat bobot yang lebih tinggi dibanding yang lain. Disinilah akan terlihat mana peserta yang merupakan kriteria peserta yang “high quality” dan seterusnya sampai pada peserta dengan nilai terbawah.

Pada metode penilaian seperti ini, jika ada dua atau sekelompok peserta yang menjawab jumlah SOAL dengan JUMLAH SOAL BENAR yang SAMA, bisa jadi mendapatkan nilainya SAMA atau bisa jadi BERBEDA tergantung pada soal mana saja yang telah dijawab dengan benar.

Contohnya begini:

Peserta A: menjawab 5 soal benar

Peserta B: menjawab 5 soal benar

Setelah dilakukan analisis oleh sistem, soal yang dijawab oleh peserta A adalah soal-soal dengan kriteria sulit dan soal yang dijawab oleh peserta B adalah soal-soal dengan kriteria agak sedang. Selanjutnya berarti bobot penilaian peserta A akan lebih tinggi dibandingkan peserta B dan otomatis pula nilai total peserta A lebih tinggi dibandingkan peserta B. 

Metode penilaian tes seperti ini sudah lama digunakan oleh negara-negara seperti di Amerika dan Eropa. Dengan meneliti karakteristik tiap soal dianggap nantinya skor total akan lebih fair. Selain itu, cara ini dianggap mampu membedakan kemampuan peserta lebih baik. Begitu teman-teman, semoga artikel ini lebih membuka pemahaman atau kesadaran kenapa sih nilai TO kamu kadang-kadang dirasanya “harusnya” lebih tinggi tapi kok tetap begitu-begitu aja. Mungkin kamunya bisa tetapi peserta lain ternyata juga bisa. Beda halnya kalo kamu bisa tetapi yang lain ngga bisa.

 

Kontributor Lulusnegeri