Analisis soal dilakukan untuk mengetahui berfungsi tidaknya sebuah soal.

Analisis pada umumnya dilakukan melalui dua cara, yaitu analisis kualitatif (qualitative control) dan analisis kuantitatif (quantitative control). Analisis kualitatif sering pula dinamakan sebagai validitas logis (logical validity) yang dilakukan sebelum soal digunakan. Gunanya untuk melihat berfungsi tidaknya sebuah soal. Analisis soal secara kuantitatif sering pula dinamakan sebagai validitas empiris (empirical validity) yang dilakukan untuk melihat lebih berfungsi tidaknya sebuah soal setelah soal itu diujicobakan kepada sampel yang representatif. Salah satu tujuan dilakukannya analisis adalah untuk meningkatkan kualitas soal, yaitu apakah suatu soal (1) dapat diterima karena telah didukung oleh data statistic yang memadai, (2) diperbaiki, karena terbukti terdapat beberapa kelemahan, atau bahkan (3) tidak digunakan sama sekali karena terbukti secara empiris tidak berfungsi sama sekali.

Analisis Kuantitatif. Digunakan untuk mengetahui sejauh mana soal dapat membedakan antara peserta tes yang kemampuannya tinggi dalam hal yang didefinisikan oleh kriteria dengan peserta tes yang kemampuannya rendah (melalui analisis statistik). Analisis soal secara kuantitatif menekankan pada analisis karakteristik internal tes melalui data yang diperoleh secara empiris. Karakteristik internal secara kuantitatif dimaksudkan meliputi parameter soal tingkat kesukaran, daya pembeda, dan reliabilitas. Khusus soal-soal pilihan ganda, dua tambahan parameter yaitu dilihat dari peluang untuk menebak atau menjawab soal dengan benar dan berfungsi tidaknya pilihan jawaban, yaitu penyebaran semua alternatif jawaban dari subyek-subyek yang dites.
Analisis soal dilakukan untuk mengetahui berfungsi tidaknya sebuah soal. Analisis pada umumnya dilakukan melalui dua cara, yaitu analisis kualitatif (qualitative control) dan analisis kuantitatif (quantitative control). Analisis kualitatif sering pula dinamakan sebagai validitas logis (logical validity) yang dilakukan sebelum soal digunakan. Gunanya untuk melihat berfungsi tidaknya sebuah soal. Analisis soal secara kuantitatif sering pula dinamakan sebagai validitas empiris (empirical validity) yang dilakukan untuk melihat lebih berfungsi tidaknya sebuah soal setelah soal itu diujicobakan kepada sampel yang representatif. Salah satu tujuan dilakukannya analisis adalah untuk meningkatkan kualitas soal, yaitu apakah suatu soal (1) dapat diterima karena telah didukung oleh data statistic yang memadai, (2) diperbaiki, karena terbukti terdapat beberapa kelemahan, atau bahkan (3) tidak digunakan sama sekali karena terbukti secara empiris tidak berfungsi sama sekali.

Analisis Kuantitatif. Digunakan untuk mengetahui sejauh mana soal dapat membedakan antara peserta tes yang kemampuannya tinggi dalam hal yang didefinisikan oleh kriteria dengan peserta tes yang kemampuannya rendah (melalui analisis statistik). Analisis soal secara kuantitatif menekankan pada analisis karakteristik internal tes melalui data yang diperoleh secara empiris. Karakteristik internal secara kuantitatif dimaksudkan meliputi parameter soal tingkat kesukaran, daya pembeda, dan reliabilitas. Khusus soal-soal pilihan ganda, dua tambahan parameter yaitu dilihat dari peluang untuk menebak atau menjawab soal dengan benar dan berfungsi tidaknya pilihan jawaban, yaitu penyebaran semua alternatif jawaban dari subyek-subyek yang dites. Tingkat Kesukaran. Ada beberapa alasan untuk menyatakan tingkat kesukaran soal. Bisa saja tingkat kesukaran soal ditentukan oleh kedalaman soal, kompleksitas, atau hal-hal lain yang berkaitan dengan kemampuan yang diukur oleh soal. Namun demikian, ketika kita mengkaji lebih mendalam terhadap tingkat kesukaran soal, akan sulit menentukan mengapa sebuah soal lebih sukar dibandingkan dengan soal yang lain.

Secara umum, menurut teori klasik, tingkat kesukaran dapat dinyatakan melalui beberapa cara diantaranya (1) proporsi menjawab benar, (2) skala kesukaran linear, (3) indeks Davis, dan (4) skala bivariat. Proporsi jawaban benar (p), yaitu jumlah peserta tes yang menjawab benar pada butir soal yang dianalisis dibandingkan dengan jumlah peserta tes seluruhnya merupakan tingkat kesukaran yang paling umum digunakan. Intinya, bermutu atau tidaknya butir-butir item tes hasil belajar pertama-tama dapat diketahui dari derajat kesukaran atau taraf kesukaran yang dimiliki oleh masing-masing butir item tersebut. Butir-butir item tes hasil belajar dapat dinyatakan sebagai butir-butir item yang baik, apabila butir-butir item tersebut tidak terlalu sukar dan tidak pula terlalu mudah dengan kata lain derajat kesukaran item itu adalah sedang atau cukup. Angka yang dapat memberikan petunjuk mengenai tingkat kesulitan item itu dikenal dengan istilah difficulty index (angka indeks kesukaran item), yang dalam dunia evaluasi hasil belajar umumnya dilambangkan dengan huruf P, yaitu singkatan dari kata proportion (proporsi = proporsa).
Kategori Tingkat Kesukaran Nilai p P < 0.3 0.3 p 0.7 P > 0.7 Sukar Sedang Mudah Kategori

Tindak Lanjut Hasil Analisis Interpretasi Item 1. Tindak Lanjut butir item dibuang atau didrop dan tidak dikeluarkan lagi dalam tes-tes hasil belajar yang akan datang 2. diteliti ulang, dilacak, dan ditelusuri sehingga dapat diketahui faktor yang menyebabkan butir item yang bersangkutan sulit dijawab oleh testee, apakah kalimat soalnya kurang jelas, apakah petunjuk cara mengerjakan soalnya sulit dipahami, ataukah dalam soal tersebut terdapat istilah-istilah yang tidak jelas, dsb. Setelah dilakukan perbaikan, butir-butir item tersebut dikeluarkan lagi dalam tes hasil belajar yang akan datang. 3. butir-butir yang terlalu sulit dapat digunakan kembali dalam tes (terutama tes seleksi) yang sifatnya sangat ketat. Butir item ini dapat dikeluarkan lagi dalam tes-tes hasil belajar pada waktu-waktu yang akan datang 1. butir item dibuang atau didrop dan tidak dikeluarkan lagi dalam tes-tes hasil belajar yang akan datang 2. diteliti ulang, dilacak, dan ditelusuri sehingga dapat diketahui faktor yang menyebabkan butir item yang bersangkutan sulit dijawab oleh testee, apakah kalimat soalnya kurang jelas, apakah petunjuk cara mengerjakan solnya sulit dipahami, ataukah dalam soal tersebut terdapat istilah-istilah yang tidak jelas, dsb. Setelah dilakukan perbaikan, butir-butir item tersebut dikeluarkan lagi dalam tes hasil belajar yang akan datang. 3. butir-butir yang terlalu sulit dapat digunakan kembali dalam tes (terutama tes seleksi) yang sifatnya longgar.

Sukar

Sedang

Mudah

Daya Pembeda. Salah satu tujuan analisis kuantitatif soal adalah untuk menentukan dapat tidaknya suatu soal membedakan kelompok dalam aspek yang diukur sesuai dengan perbedaan yang ada dalam kelompok itu. Indeks yang digunakan dalam membedakan antara peserta tes yang berkemampuan rendah adalah indeks daya pembeda (item discrimination). Indeks daya pembeda soal-soal yang ditetapkan dari selisih proporsi yang menjawab dari masing-masing kelompok. Indeks ini menunjukkan kesesuaian antara fungsi soal dengan fungsi tes secara keseluruhan. Dengan demikian validitas soal ini sama dengan daya pembeda soal yaitu daya dalam membedakan antara peserta tes yang berkemampuan tinggi dengan peserta tes yang berkemampuan rendah.

Angka yang menunjukkan besarnya daya pembeda berkisar antara -1 sampai dengan +1. Tanda negatif menunjukkan bahwa peserta tes yang kemampuannya rendah dapat menjawab benar sedangkan peserta tes yang kemampuannya tinggi menjawab salah. Dengan demikian soal indeks daya pembedanya negatif menunjukkan terbaliknya kualitas peserta. Indeks diskriminasi item umumnya diberi lambang dengan huruf D (singkatan dari discriminatory power).
Indeks Dsikriminasi

Item (D)

Klasifikasi

Interpretasi Butir item yang bersangkutan daya

< 0,20

Poor

pembedanya yang baik

lemah

sekali

(jelek),

dianggap tidak memiliki daya pembeda Butir item yang bersangkutan telah

0,20 0,40

Satisfactory

memiliki daya pembeda yang cukup (sedang) Butir item yang bersangkutan telah memiliki daya pembeda yang baik Butir item yang bersangkutan telah memiliki daya pembeda yang baik sekali Butir item yang bersangkutan daya pembedanya negative sekali (jelek sekali)

0,40 0,70 0,70 1,00 Bertanda negatif (-)

Good Excellent -

Fungsi Distraktor Pada saat membicarakan tes objektif bentuk multiple choice item tersebut untuk setiap butir item yang dikeluarkan dalam tes hasil belajar telah dilengkapi dengan beberapa kemungkinan jawab, atau yang sering dikenal dengan istilah option atau alternatif.

Option atau alternatif itu jumlahnya berkisar antara 3 sampai dengan 5 buah, dan dari kemungkinan-kemungkinan jawaban yang terpasang pada setiap butir item itu, salah satu diantaranya adalah merupakan jawaban betul (kunci jawaban), sedangkan sisanya adalah merupakan jawaban salah. Jawaban-jawaban salah itulah yang biasa dikenal dengan istilah distractor (pengecoh). Menganalisis fungsi distraktor sering dikenal dengan istilah lain, yaitu : menganalisis pola penyebaran jawaban item. Adapun yang dimaksud dengan pola penyebaran jawaban item adalah suatu pola yang dapat menggambarkan bagaimana testee menentukan pilihan jawabnya terhadap kemungkinankemungkinan jawab yang telah dipasangkan pada setiap butir item. Suatu kemungkinan dapat terjadi, yaitu bahwa dari keseluruhan alternatif yang dipasang pada butir item tertentu, sama sekali tidak dipilih oleh testee. Dengan kata lain, testee menyatakan blangko. Pernyataan blangko ini sering dikenal dengan istilah omiet dan biasa diberi lambang dengan huruf O. Distraktor dinyatakan telah dapat menjalankan fungsinya dengan baik apabila distraktor tersebut sekurang-kurangnya sudah dipilih oleh 5 % dari seluruh peserta tes. Sebagai tindak lanjut atas hasil penganalisaan terhadap fungsi distraktor tersebut maka distraktor yang sudah dapat menjalankan fungsinya dengan baik dapat dipakai lagi pada tes-tes yang akan datang, sedangkan distraktor yang belum dapat berfungsi dengan baik sebaiknya diperbaiki atau diganti dengan distraktor yang lain. Reliabilitas. Keajegan dan ketidakajegan skor tes merupakan fokus dari pengkajian tentang reliabilitas. Berikut adalah faktor yang mempengaruhi perolehan skor peserta didik (Thorndike) yang berakibat pada ketidakajegan terhadap skor.
Faktor yang Mempengaruhi Reliabilitas Skor Karakteristik umum yang permanen peserta tes 1 a. c. a. kemampuan yang dimiliki peserta didik dalam menghadapi tes kemampuan umum untuk memahami petunjuk tes kemampuan peserta didik yang berkaitan dengan atribut yang diukur dalam sebuah tes b. pengetahuan dan kemampuan khusus yang berkaitan dengan soal 2 c. keajegan respon peserta didik terhadap pilihan jawaban (misalnya mereka cenderung memberi jawaban A dari 4 alternatif yang disediakan atau cenderung memilih B dari soal benar salah yang disajikan) Khusus yang berkaitan dengan soal a. pengetahuan khusus yang berkaitan dengan fakta atau konsep khusus b. pengetahuan dan kemampuan khusus yang berkaitan dengan soal Karakteristik umum yang temporer seperti : 3 a. kesehatan b. kelelahan b. kemampuan umum dan teknik yang digunakan ketika mengambil tes Karakteristik khusus yang permanent peserta tes

c. e. f. g.

motivasi kemampuan umum dan teknik yang digunakan ketika mengambil tes pemahaman mekanisme tes faktor panas, cahaya, ventilasi, dan lain sebagainya

d. gangguan emosi

Karakteristik khusus yang temporer seperti : Khusus yang berkaitan dengan tes secara keseluruhan a. 4 c. pemahaman terhadap petunjuk tes pengalaman/latihan menghadapi tes terlebih lagi dalam tes psikomotor b. trik atau teknik-teknik mengatasi tes d. kebiasaan menghadapi sebuah tes Khusus yang berkaitan dengan soal a. fluktuasi ingatan yang dimiliki peserta didik b. hal-hal yang berkaitan dengan perhatian dan keakuratan Faktor penyelenggaraan 5 a. c. 6 a. waktu, bebas dari gangguan, dan petunjuk yang jelas penskoran keberuntungan karena faktor menebak b. pengawasan Faktor yang tidak pernah diperhitungkan b. mengingat soal yang telah dilihatnya