1

Menganalisis Butir Soal Aspek Kognitif dengan ITEMAN
Heri Retnawati (Pend. Matematika FMIPA UNY)


Untuk mendapatkan instrumen berkualitas tinggi, selain dilakukan analisis
secara teori (telaah butir) maka perlu juga dilakukan analisis butir secara
empirik. Secara garis besar, analisis butir secara empirik ini dapat dibedakan
menjadi dua, yaitu: dengan pendekatan teori tes klasik dan teori respon butir
(Item Response Theory =IRT). Pada kesempatan ini hanya akan dibicarakan
analisis butir empirik model klasik yang menggunakan program Item and Test
Analysis (ITEMAN).

A. Pendahuluan Teori Tes Klasik (Clasical Test Theory)
Teori tes klasik atau disebut teori skor murni klasik (Allen & Yen,
1979:57) didasarkan pada suatu model aditif, yakni skor amatan merupakan
penjumlahan dari skor sebenarnya dan skor kesalahan pengukuran. Jika
dituliskan dengan pernyataan matematis, maka kalimat tersebut menjadi

X = T + E ………………………………………………………….. (1)
dengan :
X : skor amatan,
T : skor sebenarnya,
E : skor kesalahan pengukuran (error score).

Kesalahan pengukuran yang dimaksudkan dalam teori ini merupakan
kesalahan yang tidak sistematis atau acak. Kesalahan ini merupakan
penyimpangan secara teoritis dari skor amatan yang diperoleh dengan skor
amatan yang diharapkan. Kesalahan pengukuran yang sistematis dianggap bukan
merupakan kesalahan pengukuran.
Ada beberapa asumsi dalam teori tes klasik. Skor kesalahan pengukuran
tidak berinteraksi dengan skor sebenarnya, merupakan asumsi yang pertama.
Asumsi yang kedua adalah skor kesalahan tidak berkorelasi dengan skor
sebenarnya dan skor-skor kesalahan pada tes-tes yang lain untuk peserta tes
(testee) yang sama. Ketiga, rata-rata dari skor kesalahan ini sama dengan nol.
2
Asumsi-asumsi pada teori tes klasik ini dijadikan dasar untuk mengembangkan
formula-formula dalam menentukan validitas dan reliabilitas tes.
Validitas dan reliabilitas pada perangkat tes digunakan untuk menentukan
kualitas tes. Kriteria lain yang dapat digunakan untuk menentukan kualitas tes
adalah indeks kesukaran dan daya pembeda.

1). Reliabilitas
Mehrens & Lehmann (1973: 102) menyatakan bahwa reliabilitas
merupakan derajat keajegan (consistency) di antara dua buah hasil pengukuran
pada objek yang sama. Definisi ini dapat diilustrasikan dengan seseorang yang
diukur tinggi badannya akan diperoleh hasil yang tidak berubah walaupun
menggunakan alat pengukur yang berbeda dan skala yang berbeda. Dalam
kaitannya dengan dunia pendidikan, prestasi atau kemampuan seorang siswa
dikatakan reliabel jika dilakukan pengukuran, hasil pengukuran akan sama
informasinya, walaupun penguji berbeda, korektornya berbeda atau butir soal
yang berbeda tetapi memiliki karakteristik yang sama.
Allen & Yen (1979: 62) menyatakan bahwa tes dikatakan reliabel jika skor
amatan mempunyai korelasi yang tinggi dengan skor yang sebenarnya.
Selanjutnya dinyatakan bahwa reliabilitas merupakan koefisien korelasi antara
dua skor amatan yang diperoleh dari hasil pengukuran menggunakan tes yang
paralel. Dengan demikian, pengertian yang dapat diperoleh dari pernyatan
tersebut adalah suatu tes itu reliabel jika hasil pengukuran mendekati keadaan
peserta tes yang sebenarnya.
Dalam pendidikan, pengukuran tidak dapat langsung dilakukan pada ciri
atau karakter yang akan diukur. Ciri atau karakter ini bersifat abstrak. Hal ini
menyebabkan sulitnya memperoleh alat ukur yang stabil untuk mengukur
karakteristik seseorang (Mehrens & Lehmann, 1973: 103).
Berdasarkan uraian di atas, maka dalam pembuatan alat ukur dalam dunia
pendidikan harus dilakukan secermat mungkin dan disesuaikan dengan kaidah-
kaidah yang telah ditentukan oleh ahli-ahli pengukuran di bidang pendidikan.
Untuk melihat reliabilitas suatu alat ukur, yang berupa suatu indeks reliabilitas,
dapat dilakukan penelaahan secara statistik. Harga ini biasa dinamakan dengan
koefisien reliabilitas (reliability coefficient).
3
Untuk menentukan harga reliabilitas suatu tes (butir soal berbentuk pilihan
ganda (multiple choice)) dapat digunakan formula sebagai berikut .


|
|
.
|

\
|
÷
÷
=
¯
2
2
^
1
1
x
i
R
R


 …………………………………………….(2)
dengan :
R : banyaknya butir soal,
o
2
: varians.

Mehrens & Lehmann (1973: 104) menyatakan bahwa meskipun tidak ada
perjanjian secara umum, tetapi secara luas dapat diterima bahwa untuk tes yang
digunakan untuk membuat keputusan pada siswa secara perorangan harus
memiliki koefisien reliabilitas minimal sebesar 0,85. Dengan demikian, pada
penelitian ini, tes seleksi digunakan untuk menentukan keputusan peda siswa
secara perorangan, sehingga indeks koefisien reliabilitasnya diharapkan minimal
sebesar 0,85.

2). Validitas
Validitas suatu perangkat tes dapat diartikan merupakan kemampuan suatu
tes untuk mengukur apa yang seharusnya diukur (Allen & Yen, 1979: 97;
Syaifudin Azwar, 2000: 45; Kerlinger, 1986). Ada tiga tipe validitas, yaitu
validitas isi, validitas konstruk dan validitas kriteria (Allen & Yen, 1979: 97;
Syaifudin Azwar, 2000: 45 ; Kerlinger, 1986 : 731).
Ada dua macam validitas isi , yaitu validitas kenampakan dan validitas
logika (Syaifudin Azwar, 2000: 45-47). Validitas isi berarti sejauh mana suatu
perangkat tes mencerminkan keseluruhan trait yang hendak diukur (Syaifudin
Azwar, 2000: 45), yang berupa analisis rasional terhadap domain yang hendak
diukur. Validitas kenampakan didasarkan pada pertanyaan apakah suatu butir -
butir dalam perangkat tes mengukur aspek yang relevan dengan domainnya.
Validitas logika berkaitan dengan keseksamaan batasan pada domain yang
hendak diukur, dan merupakan jawaban apakah keseluruhan butir merupakan
sampel representatif dari keseluruhan butir yang mungkin dibuat.
4
Validitas kriteria, disebut juga validitas prediktif, merupakan kesahihan
suatu perangkat tes dalam membuat prediksi, dapat meramalkan keberhasilan
siswa pada masa yang akan datang. Validitas prediktif suatu perangkat tes dapat
diketahui dari korelasi antara perangkat tes dengan kriteria tertentu yang
dikehendaki, yang disebut dengan variabel kriteria (Allen & Yen, 1979 : 97;
Syaifudin Azwar, 2000: 51).

3). Tingkat Kesukaran
Tingkat kesukaran suatu butir soal, yang disimbolkan denan p
i
, merupakan
salah satu parameter butir soal yang sangat berguna dalam penganalisian suatu
tes. Hal ini disebabkan karena dengan melihat parameter butir ini, akan diketahui
seberapa baiknya kualitas suatu butir soal. Jika harga p
i
mendekati 0, maka soal
tersebut terlalu sukar, sedangkan jika p
i
mendekati 1, maka soal tersebut terlalu
mudah, sehingga perlu dibuang. Hal ini disebabkan karena butir tersebut tidak
dapat membedakan kemampuan seorang siswa dengan siswa lainnya.
Allen dan Yen (1979 : 122) menyatakan bahwa secara umum indeks
kesukaran suatu butir sebaiknya terletak pada interval 0,3 –0,7. Pada interval ini,
informasi tentang kemampuan siswa akan diperoleh secara maksimal. Dalam
merancang indeks kesukaran suatu perangkat tes, perlu dipertimbangkan tujuan
penyusunan perangkat tes tersebut. Untuk menentukan indeks kesukaran
dari suatu butir pada perangkat tes pilihan ganda, digunakan persamaan sebagai
berikut :
p
i
=
N
B
¯
………………………………………………………(3)
dengan :
p = proporsi menjawab benar pada butir soal tertentu.
EB = banyaknya peserta tes yang menjawab benar.
N = jumlah peserta tes yang menjawab.





5
4). Daya Pembeda
Untuk menentukan daya pembeda, dapat digunakan indeks diskriminasi,
indeks korelasi biserial, indeks korelasi point biser ial, dan indeks keselarasan.
Pada analisis butir dalam penelitian ini, hanya digunakan indeks korelasi point
biserial. Koefisien korelasinya untuk suatu butir tes ditentukan dengan rumus:
r
pbis
=
1
1 1
1 p
p
s
X X
X
÷

÷
………………...........................….…(4)
dengan r
pbis
= koefisien korelasi point biserial,
i
X merupakan variabel kontinu,
1
X merupakan rerata skor X untuk peserta tes yang menjawab benar butir
tersebut, X merupakan rerata skor X ,
X
s merupakan standar deviasi dari skor
X , dan
1
p merupakan proporsi peserta tes yang menjawab benar butir tersebut.
Pada suatu butir soal, indeks daya beda dikatakan baik jika lebih besar
atau sama dengan 0,3. Indeks daya pembeda suatu butir yang kecil nilainya akan
menyebabkan butir tersebut tidak dapat membedakan siswa yang kemampuannya
tinggi dan siswa yang kemampuannya rendah. Pada analisis tes dengan Content-
Referenced Measures, indeks daya pembeda butir tidak terlalu perlu menjadi
perhatian, asalkan tidak negatif (Ebel & Frisbie, 1986; Frisbie, 2005). Jika
nilainya kecil, menunjukkan bahwa kemencengan distribusi skor dari populasi,
yang juga mengakibatkan validitas tes menjadi rendah.


5). Kesalahan Pengukuran
Kesalahan Pengukuran (Standard Error of Measurement, SEM) dapat
digunakan untuk mamahami kesalahan yang bersifat acak/random yang
mempengaruhi skor peserta tes dalam pelaksanaan tes. Kesalahan pengukuran,
yang disimbulkan dengan o
E
, dapat dihitung dengan rumus pada persaman 3.5,
yang diturunkan dari rumus reliabilitas (Allen & Yen, 1979 : 73).

o
E
= o
x

,
1
xx
 ÷ ……………………………………………….(5)

6
dengan o
x
merupakan standar deviasi dari skor total dan p
xx’
merupakan
koefisien reliabilitas.

Kegiatan 1
Latihan Mengestimasi Tingkat Kesukaran, Daya Pembeda, dan Reliabilitas
Secara Manual

Nama Siswa 1 2 3 4 5 6 7 8 9 10 TOTAL
A 1 0 0 0 0 0 0 0 0 0 1
B 1 1 0 0 0 0 0 0 0 0 2
C 1 1 1 0 0 0 0 0 0 0 3
D 1 1 1 1 0 0 0 0 0 0 4
E 1 1 1 1 1 0 0 0 0 0 5
F 1 1 1 1 1 1 0 0 0 0 6
G 1 1 1 1 1 1 1 0 0 0 7
H 1 1 1 1 1 1 1 1 0 0 8
I 1 1 1 1 1 1 1 1 1 0 9
J 1 1 1 1 1 1 1 1 1 1 10
K 1 0 0 0 0 0 0 0 0 0 1
L 1 1 0 0 0 0 0 0 0 0 2
M 1 1 1 0 0 0 0 0 0 0 3
O 1 1 1 1 0 0 0 0 0 0 4
P 1 1 1 1 1 0 0 0 0 0 5
Q 1 1 1 1 1 1 0 0 0 0 6
R 1 1 1 1 1 1 1 0 0 0 7
S 1 1 1 1 1 1 1 1 0 0 8
T 1 1 1 1 1 1 1 1 1 0 9
U 1 1 1 1 1 1 1 1 1 1 10
V 1 0 0 0 0 0 0 0 0 0 1
W 1 1 0 0 0 0 0 0 0 0 2
X 1 1 1 0 0 0 0 0 0 0 3
Y 1 1 1 1 0 0 0 0 0 0 4
Z 1 1 1 1 1 0 0 0 0 0 5
ZA 1 1 1 1 1 1 0 0 0 0 6
ZB 1 1 1 1 1 1 1 0 0 0 7
ZC 1 1 1 1 1 1 1 1 0 0 8
ZD 1 1 1 1 1 1 1 1 1 0 9
ZE 1 1 1 1 1 1 1 1 1 1 10
TOTAL 30 27 24 21 18 15 12 9 6 3
Tingkat Kesukaran
Varians 0.0 0.1 0.2 0.2 0.2 0.3 0.2 0.2 0.2 0.1 8.5






7

B. Analisis Butir Soal Aspek Kognitif dengan Program ITEMAN
Pada analisis butir soal aspek kognitif dengan program ITEMAN, data
masukan berupa data dikotomi, misal soal benar-salah, atau soal pilihan ganda,
atau soal menjawab singkat. Untuk instrumen yang jawabannya dikotomi, kunci
jawaban dapat dinyatakan dengan huruf mulai dari A sampai dengan I atau
dengan angka mulai dari 0 sampai dengan 9.

Dalam kesempatan ini dipilih soal objektif bentuk pilihan ganda dengan 4
alternatif jawaban. Data dituliskan dalam bentuk alphabetik (A, B, C, D).
Langkah pertama yang dilakukan adalah memasukkan data ke file dalam bentuk
ASCII atau DOS Text.

Contoh:

020 o N 10
DCABBCADAACBACDACBDC
44444444444444444444
yyyyyyyyyyyyyyyyyyyy
0042001 BADCCDABBDABBCDABDCD
0042002 BCADDACBCDABCADBADCC
dst
0042040 ABDCABDACCDABCDAACBC

Keterangan :
Baris pertama
Kolom 1 – 3 : jumlah butir soal, maksimum 250 butir (dalam hal ini 020)
4 : kosong/spsi
5 : untuk jawaban kosong (omit) (dalam contoh o)
6 : kosong/spasi
7 : untuk butir soal yang belum dikerjakan (dalam contoh N)
8 : kosong/spasi
9 – 10 : jumlah identitas data siswa (maks 80) (dalam contoh 10)
Baris kedua : Kunci jawaban
Baris ketiga : Jumlah pilihan jawaban
8
Baris ke empat : kode Y = Yes, butir soal dianalisis, N = butir soal tidak
dianalisis
Baris ke lima dst : jawaban responden. Bila data sudah masuk semua kemudian
disimpan dalam sub direktori tersendiri, yaitu satu sub direktori dengan program
ITEMAN. Dalam kesempatan ini data ditulis dengan “notepad” kemudian
disimpan dalam disket, yaitu jadi satu disket dengan program ITEMAN.
Misalkan data yang baru selesai dimasukkan itu diberi nama CONTOH-1.DAT.

Menjalankan program
Apabila program ITEMAN dan data sudah dalam 1 disket maka cara
menjalankannya adalah sebagai berikut.
1. Start – program – Acessories- MS Dos Promt
2. C> lalu ketik A :
3. A :\ > ITEMAN lalu tekan ENTER maka di layar akan tampak:
-----------------------------------------------------------------------------------------
ITEM & TEST ANALYSIS PROGRAM
>>>***************************************************************
Enter the name of the input file:
------------------------------------------------------------------------------------------
4. Ketik nama file yang akan dianalisis, misalnya CONTOH-1.DAT Enter
-------------------------------------------------------------------------------------------
Enter the name of the outout file:
-------------------------------------------------------------------------------------------
Komputer meminta diisikan nama output file (file hasil analisis)
5. Ketik nama file output (hasil) yang dikehendaki, misal CONTOH-1.OUT
lalu tekan ENTER, maka muncul:
-------------------------------------------------------------------------------------------
Do you want the score written to a file?:
-------------------------------------------------------------------------------------------
Y = bila dikehendaki hasil analisis direkam
N = bila hasil analisis tidak direkam.
Bila diketik Y maka akan muncul:
-------------------------------------------------------------------------------------------
9
Enter the name of the score file:
-------------------------------------------------------------------------------------------
Komputer minta diisikan nama file untuk skor peserta tes.
6. Ketikkan nama file untuk hasil skor, misal CONTOH-1.SCR lalu tekan
ENTER
Dalam waktu beberapa detik, akan muncul tampilan:

ITEM ANALYSIS IS COMPLETE

Ini menunjukkan bahwa proses analisis telah selesai. Hasil dapat diprint, namun
sebelumnya ditata dulu agar hasilnya tidak terpotong-potong. Contoh hasil
analisis dapat dilihat pada halaman berikut.
MicroCAT (tm) Testing System
Copyright (c) 1982, 1984, 1986, 1988 by Assessment Systems Corporation

Item and Test Analysis Program -- ITEMAN (tm) Version 3.00

Item analysis for data from file CONTOH-1.DAT Page 1

Item Statistics Alternative Statistics
----------------------- -----------------------------------
Seq. Scale Prop. Point Prop. Point
No. -Item Correct Biser. Biser. Alt. Endorsing Biser. Biser. Key
---- ----- ------- ------ ------ ----- --------- ------ ------ ---

1 0-1 0.175 0.625 0.424 A 0.150 -1.000 -0.971
B 0.500 0.344 0.275
C 0.175 0.186 0.126
D 0.175 0.625 0.424 *
Other 0.000 -9.000 -9.000




5 0-5 0.175 0.186 0.126 A 0.325 0.248 0.191 ?
B 0.500 -0.344 -0.275
CHECK THE KEY C 0.175 0.186 0.126 *
C was specified, A works better D 0.000 -9.000 -9.000
Other 0.000 -9.000 -9.000
Dst.

There were 46 examinees in the data file.

10
Scale Statistics
----------------

Scale: 0
-------
N of Items 20
N of Examinees 40
Mean 5.575
Variance 2.394
Std. Dev. 1.547
Skew -1.699
Kurtosis 1.403
Minimum 2.000
Maximum 7.000
Median 6.000
Alpha 0.490
SEM 1.889
Mean P 0.279
Mean Item-Tot. 0.198
Mean Biserial 0.272


Keterangan Statistik Butir Soal:
1. Seq. No. adalah nomor urut butir soal
2. Scala-Itemadalah nomor urut butir soal dalam tes/instrumen
3. Prop-Correct adalah proporsi peserta tes yang menjawab benar butir soal
4. Biser adalah indek daya beda butir soal dengan menggunakan koefisien
korelasi biserial. Nilai positif menunjukkan bahwa peserta tes yang menjawab
benar butir soal, mempunyai skor yang relatif tinggi dalam tes tersebut. Untuk
statistik pilihan jawaban (alternatif) korelasi biserial negatif sangat tidak
dikehendaki untuk kunci jawaban.
5. Point biserial indek daya beda butir soal dengan menggunakan koefisien
korelasi point-biserial. Keterangan selanjutnya sama dengan yang ada pada
Biser.



Keterangan Statistik Tes:
1. N of Item adalah jumlah butir soal
2. N of Examinees adalah jumlah peserta tes
3. Mean adalah skor rerata peserta tes
4. Variance adalah varian dari distribusi skor peserta tes yang memberikan
gambaran tentang sebaran skor peserta tes.
5. Std.dev. adalah standar deviasi dari distribusi skor peserta tes.
11
6. Skew adalah kemiringan distribusi skor peserta tes. Juling negatif
menunjukkan bahwa sebagian besar skor berada di bagian atas (skor tinggi)
dari distribusi skor, dan sebaliknya
7. Kurtosis adalah puncak distribusi skor yang menggambarkan kelandaian
distribusi skor peserta tes dibanding dengan distribusi normal. Nilai positif
menunjukkan distribusi lebih lancip, dan nilai negatif menunjukkan distribusi
yang lebih landai (merata). Kurtosis untuk distribusi normal adalah nol.
8. Alpha adalah koefisien reliabilitas alpha untuk tes tersebut.
9. SEM (standard error of measurement) adalah kesalahan baku pengukuran
untuk setiap tes.
10. Mean P adalah rata-rata tingkat kesukaran semua butir soal dalam tes
secara klasikal dihitung dengan cara mencari rata-rata proporsi peserta tes
yang menjawab benar untuk semua butir dalam soal tes tersebut.
11. Mean Item-Tot adalah nilai rata-rata indeks daya beda dari semua butir
dalam tes yang diperoleh dengan menghitung nilai rata-rata point biserial dari
semua butir dalam tes/skala.
12. Mean Biserial adalah nilai rata-rata indeks daya beda dari semua butir
dalam tes yang diperoleh dengan menghitung nilai rata-rata biserial dari
semua butir dalam tes/skala.

DAFTAR PUSTAKA
Anonim. 1986. User' manual for ITEMAN, RASCAL and ASCAL. N.C. ASCAR

Allen, M.J.& Yen, W.M. (1979). Introduction to measurement theory. Belmont,
CA: Wadsworth, Inc.

Kerlinger, F.N. (1986). Asas-asas penelitian behavioral (Terjemahan L.R.
Simatupang). Yogyakarta : Gajahmada University Press.

Mehrens, W.A. & Lehmann, I.J. (1973) Measurement and evaluation in
education and psychology. New York : Hold, Rinehart and Wiston,Inc.

Syaifudin Azwar (1997). Reliabilitas dan validitas (Edisi 3). Yogyakarta :
Pustaka Pelajar.

Tim. 1999. Manual ITEMAN. Jakarta: Pusisjian Balitbang Depdiknas.





12
Kegiatan 2
Menganalisis Butir Soal Dikotomi

Data (Simpan dalam CONTOH-1.dat)
040 o N 14
BCBCDADABABCCABCCBADAABBDACCCDBCCCAAABCB
4444444444444444444444444444444444444444
YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY
000001 DCBADADABAACADDCABCDACCDDABCCDACCCAADBCD
000002 BCBACADABABCCABCBDAAAABBDACCCCACBDAADBCD
000003 BCBACBCBBABCCABCBDDDAABBDACCCDBCACAADBCB
000004 BCBCDADABABCCABCDBADAABBDACCCDBCCAAAABCB
000005 BCBADADABAACCABCDBDDAABBDACCCDBCCAAADBCB
000006 BCBADADABADCAABCCBACAABBDACCCDBCACAADBCB
000007 BCAADABBBCDCDDBCDBBCAABCDABCCCACDDAADCCB
000008 BCAADADABABCCABCBBDCAABCAACCACACCCAAABCB
000009 BCBCDADABADCCABCCBADAABBDABCCDBCCCAAABCB
000010 BCBCDADDBABCCABCCADDAABADACCDDBCCCAAABCB
000011 BABADADABABCCABCCACBAABDDABCCCBCCCCACBDB
000012 ACBCCADABABCAAACCAADABABDAACADACBCDDDBCB
000013 BABACADBCAACABDCCAADCDBBCADCACDBDCBACBAB
000014 DDCACADAAAACAABCDAAABCABDACCADBBBCBACBAB
000015 DDCACADAAAACAABCAAAAACACDBCCADBBBCAACBAB
000016 BCBADADABABAACBCCBBCAABADAACCDACCCAAABCD
000017 BCBADADABADCCCBCCBADAABDDABCCDBCACBACBAB
000018 BCBCDADBBABCCADCCBCAAACBDACCCDACCCCBCCCB
000019 BABADADBBACCCABCBBADAABBDACCCCCCCDAACBCB
000020 BCBADADABACCCABCBBACACBBDACCCDBCCCBAACCB
000021 BCBADADABACACABCCBCDAABBDACCCBBCCCBAABCB
000022 BCBADADABABCCABCCDADAABBDACCCDBCBCCACBCB
000023 BCBCDADABABBCABCCBADAABBDACCCDBCBDCACBCB
000024 BCBADADADADCCCBCDCCBAABDDADCCCACDDCCAACB
000025 BCBCDADABABCCABCCADDAABBDABCCCACCCBAABCD
000026 BCBCDADABABCCABCCAADAABBDACCCDBCDCDAABCB
000027 BCBCDADABADCCCBCCCCDAABDDACDCCBCDCCACBCB
000028 BCBCDADABABCCCBCCCCDAABDDACDCCBCDCBACCCB
000029 BABADDDAABACDABCCBDDABBBDAACCDBCCCCADBAB
000030 BCBADADABABCDABCCBACAABBDACCCDCCCCAAABCB
000031 BCBACADABABCDADCCDDDAABBDADCCABCCCAAABCB
000032 BCBACADABADCDADCCBABAABBDACCCDBCCCAAABCB
000033 BABCDADBCAACCABCCAABABBBDACCCDBCCCAADBAB
000034 BCBCDADABADCCABCCBADAABDDACCCDBCCCAAABCB
000035 BCBADADABABCDABCCACDBABCDABCCDACCCBAAACB
000036 BCBCDADABABCCABCCBCDAABBDACCCCBCCCAAABCB
000037 BCBADAAABABACACCCBCDAABDDACCCDACCCAAABCB
000038 BCBADADABABCCABCCBADAABDDACCCDACCCABABCB
000039 BCBADADABABCCABCCBADAABDDACCCDACCCABABCB
000040 BCBCDADABABCCABCCBADAABBDACCCDBCCCABABCB
000041 BCBADADBBABCCABCCBACAABBDACCCDACCCABABCB
13
000042 BCBADADABABCCABCCCACAABDDACCCDACCBAAABCB
000043 BCBADADABABCCABCCDBBAABBDACCCCACCCBAABCA
000044 BCBCDADABABCCADCCCADAABBDACCCDACCCBCACCB
000045 BCBAAADABACCCBDCCBAAAABBDACCCDBCCCAABCCB
000046 BCBADADABABCDABCCBADAABBDACCCDBCCCAAABCB
000047 BCBCDADACABADABCCCADAABCCBBCCCACCACDABCB
000048 BCBCCADDBABCAABCDDCAAABBDADCCCBCBCAACBCB
000049 BDBDDADBBACABABCADCAAABADABCCDACCAADBBAB
000050 BCBADADACABCCABCCBADAABBDACCCDACCACADBCB
000051 BCBADAABAADCDABCCAD AABBDACCCCBCCCAACBCB
000052 DCBADADBBABABABCBCABAABBDADCCBDCCDDDABAB
000053 BCBCDADABABCDABCBDBBAABCDACCCDACBCAACBCB
000054 BCBCDADABABCCABCCBADAABDDACCCDBCBCAAABCB
000055 CCCCDADBBABCCABCCBADAADBDACCCDBCCCCCBBCB
000056 BABCDADBBAACBABCCCACAABBDACCCDBCCCBACBCB
000057 BABACADABABCDCBCDBCBAABCDABCCCBABCCAACCB
000058 BCBCDADBBADCAABCDBAAABCBAACCDDADCCBABCBB
000059 BCBCDADABACCCCBCCDABAABBDACCCDBCBCBACBCB
000060 BCBCDADABAACCABCBCADAABBDABCCDACCCBAABCB
000061 BABACADAAABCACBCBBBCAACCDBCCBCACBDBDBABB
000062 BCBCDADABABCCABCCCCDAACBDABCCDBCDCDAABBB
000063 BCBCDADADABCCABCCBAAAABDDACCCDBCCCAAABCB
000064 BCBADADBDABCBBBCCBB ABCADAACABACACBBADCB
000065 BCBADADABABCAABCCBCDAABADACCCCBCCCABABAB
000066 BABCDCDABADCAACCBCCAAABDDAACBCACBCDABBBB
000067 BABCDADABADCDABCDDDAAABBDACCCCACBCAAAABB
000068 BCBADADBCABADBCCDDBAAACB ACCCDACBCCACAAB
000069 BCBCDADABABCCABCCBADAABBDABCCDBCCCAACBCB
000070 BABADADABABCCABCCBCDAABBDACCCDACBCABCCBB
000071 BCAADADABABCDACCCBCDABBBDADCCCACCCCBCBBB
000072 BCBADADABAACDADCCCBCAACBDABCCDACBCAAABBB
000073 BACADADBBABCCABCCBABAABABAACCDBCBCDAABBB
000074 CCBADADCDA ABBBCDDABAACBDAACCD CBCAAAAAA
000075 BDBADADABACACABCCBDDAABBDACCCCCCBCAACBDB
000076 BCBCDADABABACABCCAADAABBDACCCDACDCAACCCB
000077 BCBADADABABCCABCCCDDAABBBACCCBBCCDDCCBCB
000078 BCBADADAAADCDACCCAADAABDDACCCBBCCCACCBCB
000079 BCBCDADBBABCCABCBBDAAAABDACCBBACABAADBCB
000080 BCBADADABABCCABCCAADAABBDACCCDBCBDAAABCB
000081 BCBCDADABABACABCCBADAABBDACCADBCCCDAABCB
000082 BABCDADBBABCCABCBDBCAACDDACCCDACACBAABCB
000083 BCBCDADABADCCABCCBABAABBDACCCDBCBAAAABCB
000084 CCBCDADABADCCABCCBABAABDDABCCDACBCCAABCB
000085 BCBADADABABCCCBCDDBAAACCDACCCDACBCCAABDB
000086 BCBCDADABABCCABCCDCBAABDDACCCDBCCCAAABDB
000087 AABABADBCBBCDDBCBDCCAABBDACCCBACCCACABBB
000088 BCBADADABABCCABCCBAAAABBDACCCDCCCCAAABCB
000089 BABCDCDBAACCDACCCBCACABBDABCCDACCDBAABCB
000090 BCBCCADACADCCABACDADAABBDAACCBBCACAAABDB

prestasi atau kemampuan seorang siswa akan sama dikatakan reliabel jika dilakukan pengukuran. maka dalam pembuatan alat ukur dalam dunia pendidikan harus dilakukan secermat mungkin dan disesuaikan dengan kaidahkaidah yang telah ditentukan oleh ahli-ahli pengukuran di bidang pendidikan. Berdasarkan uraian di atas. pengukuran tidak dapat langsung dilakukan pada ciri atau karakter yang akan diukur. Kriteria lain yang dapat digunakan untuk menentukan kualitas tes adalah indeks kesukaran dan daya pembeda. Validitas dan reliabilitas pada perangkat tes digunakan untuk menentukan kualitas tes. Definisi ini dapat diilustrasikan dengan seseorang yang diukur tinggi badannya akan diperoleh hasil yang tidak berubah walaupun menggunakan alat pengukur yang berbeda dan skala yang berbeda. 1). yang berupa suatu indeks reliabilitas. Untuk melihat reliabilitas suatu alat ukur. 2 . dapat dilakukan penelaahan secara statistik. hasil pengukuran informasinya. Hal ini menyebabkan sulitnya memperoleh alat ukur yang stabil untuk mengukur karakteristik seseorang (Mehrens & Lehmann. Allen & Yen (1979: 62) menyatakan bahwa tes dikatakan reliabel jika skor amatan mempunyai korelasi yang tinggi dengan skor yang sebenarnya. Selanjutnya dinyatakan bahwa reliabilitas merupakan koefisien korelasi antara dua skor amatan yang diperoleh dari hasil pengukuran menggunakan tes yang paralel. Ciri atau karakter ini bersifat abstrak. Dengan demikian. pengertian yang dapat diperoleh dari pernyatan tersebut adalah suatu tes itu reliabel jika hasil pengukuran mendekati keadaan peserta tes yang sebenarnya. Reliabilitas Mehrens & Lehmann (1973: 102) menyatakan bahwa reliabilitas merupakan derajat keajegan (consistency) di antara dua buah hasil pengukuran pada objek yang sama. korektornya berbeda atau butir soal yang berbeda tetapi memiliki karakteristik yang sama. 1973: 103).Asumsi-asumsi pada teori tes klasik ini dijadikan dasar untuk menge mbangkan formula-formula dalam menentukan validitas dan reliabilitas tes. Dalam pendidikan. Dalam kaitannya dengan dunia pendidikan. walaupun penguji berbeda. Harga ini biasa dina makan dengan koefisien reliabilitas (reliability coefficient).

3 . Validitas Validitas suatu perangkat tes dapat diartikan merupakan kemampuan suatu tes untuk mengukur apa yang seharusnya diukur (Allen & Yen.85. tetapi secara luas dapat diterima bahwa untuk tes yang digunakan untuk membuat keputusan pada siswa secara perorangan harus memiliki koefisien reliabilitas minimal sebesar 0. Dengan demikian. 2000: 45). Mehrens & Lehmann (1973: 104) menyatakan bahwa meskipun tidak ada perjanjian secara umum. Validitas kenampakan didasarkan pada pertanyaan apakah suatu butir butir dalam perangkat tes mengukur aspek yang relevan dengan domainnya.(2)  2 R 1 x    ^ dengan : R : banyaknya butir soal. 1986 : 731). 1986). Syaifudin Azwar. 1979: 97. 2). 1979: 97. 2000: 45-47). sehingga indeks koefisien reliabilitasnya diharapkan minimal sebesar 0. pada penelitian ini. 2000: 45. Kerlinger.Untuk menentukan harga reliabilitas suatu tes (butir soal berbentuk pilihan ganda (multiple choice)) dapat digunakan formula sebagai berikut . dan merupakan jawaban apakah keseluruhan butir merupakan sampel representatif dari keseluruhan butir yang mungkin dibuat. yaitu validitas kenampakan dan validitas logika (Syaifudin Azwar. 2 : varians. yaitu validitas isi.85. 2000: 45 . Ada tiga tipe validitas. 2 R   i  1   ……………………………………………. Validitas logika berkaitan dengan keseksamaan batasan pada domain yang hendak diukur. Ada dua macam validitas isi . Syaifudin Azwar. Kerlinger. tes seleksi digunakan untuk menentukan keputusan peda siswa secara perorangan. yang berupa analisis rasional terhadap domain yang hendak diukur. Validitas isi berarti sejauh mana suatu perangkat tes mencerminkan keseluruhan trait yang hendak diukur (Syaifudin Azwar. validitas konstruk dan validitas kriteria (Allen & Yen.

3 –0. Untuk menentukan indeks kesukaran dari suatu butir pada perangkat tes pilihan ganda. perlu dipertimbangkan tujuan penyusunan perangkat tes tersebut. B N ………………………………………………………(3) 4 . Validitas prediktif suatu perangkat tes dapat diketahui dari korelasi antara perangkat tes dengan kriteria tertentu yang dikehendaki. yang disebut dengan variabel kriteria (Allen & Yen. merupakan kesahihan suatu perangkat tes dalam membuat prediksi. akan diketahui seberapa baiknya kualitas suatu butir soal. maka soal tersebut terlalu mudah. maka soal tersebut terlalu sukar. Hal ini disebabkan karena dengan melihat parameter butir ini. 2000: 51). Tingkat Kesukaran Tingkat kesukaran suatu butir soal. dapat meramalkan keberhasilan siswa pada masa yang akan datang. Pada interval ini. merupakan salah satu parameter butir soal yang sangat berguna dalam penganalisian suatu tes. sehingga perlu dibuang. 3).7. sedangkan jika p i mendekati 1. disebut juga validitas prediktif. yang disimbolkan denan p i . informasi tentang kemampuan siswa akan diperoleh secara maksimal. Allen dan Yen (1979 : 122) menyatakan bahwa secara umum indeks kesukaran suatu butir sebaiknya terletak pada interval 0. Dalam merancang indeks kesukaran suatu perangkat tes. Jika harga p i mendekati 0. Hal ini disebabkan karena butir tersebut tidak dapat membedakan kemampuan seorang siswa dengan siswa lainnya. digunakan persamaan sebagai berikut : pi = dengan : p = proporsi menjawab benar pada butir soal tertentu. N = jumlah peserta tes yang menjawab. B = banyaknya peserta tes yang menjawab benar. Syaifudin Azwar. 1979 : 97.Validitas kriteria.

indeks daya pembeda butir tidak terlalu perlu menjadi perhatian.... yang disimbulkan dengan E .…(4)   s X  1  p1 dengan r pbis = koefisien korelasi point biserial. Daya Pembeda Untuk menentukan daya pembeda.... yang diturunkan dari rumus reliabilitas (Allen & Yen.. Pada suatu butir soal.3. Koefisien korelasinya untuk suatu butir tes ditentukan dengan rumus: X  X  p1 rpbis =  1 ……………….…. indeks korelasi biserial.5.....4).. 1979 : 73). 1986. dan p1 merupakan proporsi peserta tes yang menjawab benar butir tersebut.. s X merupakan standar deviasi dari skor X . dapat dihitung dengan rumus pada persaman 3. Kesalahan Pengukuran Kesalahan Pengukuran (Standard Error of Measurement. hanya digunakan indeks korelasi point biserial. yang juga mengakibatkan validitas tes menjadi rendah. Pada analisis butir dalam penelitian ini. menunjukkan bahwa kemencengan distribusi skor dari populasi.. indeks korelasi point biser ial. X i merupakan variabel kontinu. indeks daya beda dikatakan baik jika lebih besar atau sama dengan 0.. asalkan tidak negatif (Ebel & Frisbie. ………………………………………………. Indeks daya pembeda suatu butir yang kecil nilainya akan menyebabkan butir tersebut tidak dapat membedakan siswa yang kemampuannya tinggi dan siswa yang kemampuannya rendah.. E = x 1   xx . dapat digunakan indeks diskriminasi..(5) 5 ... Frisbie... X merupakan rerata skor X . 2005). Kesalahan pengukuran. Pada analisis tes dengan ContentReferenced Measures.. dan indeks keselarasan. SEM) dapat digunakan untuk mamahami kesalahan yang bersifat acak/random yang mempengaruhi skor peserta tes dalam pelaksanaan tes. 5).... Jika nilainya kecil. X 1 merupakan rerata skor X untuk peserta tes yang menjawab benar butir tersebut..

3 0. Kegiatan 1 Latihan Mengestimasi Tingkat Kesukaran.2 0.2 0.1 0.1 8.dengan x merupakan standar deviasi dari skor total dan  xx’ merupakan koefisien reliabilitas.2 0.2 0.2 0.0 0. dan Reliabilitas Secara Manual Nama Siswa 1 2 3 4 5 6 7 8 9 10 TOTAL A 1 0 0 0 0 0 0 0 0 0 1 B 1 1 0 0 0 0 0 0 0 0 2 C 1 1 1 0 0 0 0 0 0 0 3 D 1 1 1 1 0 0 0 0 0 0 4 E 1 1 1 1 1 0 0 0 0 0 5 F 1 1 1 1 1 1 0 0 0 0 6 G 1 1 1 1 1 1 1 0 0 0 7 H 1 1 1 1 1 1 1 1 0 0 8 I 1 1 1 1 1 1 1 1 1 0 9 J 1 1 1 1 1 1 1 1 1 1 10 K 1 0 0 0 0 0 0 0 0 0 1 L 1 1 0 0 0 0 0 0 0 0 2 M 1 1 1 0 0 0 0 0 0 0 3 O 1 1 1 1 0 0 0 0 0 0 4 P 1 1 1 1 1 0 0 0 0 0 5 Q 1 1 1 1 1 1 0 0 0 0 6 R 1 1 1 1 1 1 1 0 0 0 7 S 1 1 1 1 1 1 1 1 0 0 8 T 1 1 1 1 1 1 1 1 1 0 9 U 1 1 1 1 1 1 1 1 1 1 10 V 1 0 0 0 0 0 0 0 0 0 1 W 1 1 0 0 0 0 0 0 0 0 2 X 1 1 1 0 0 0 0 0 0 0 3 Y 1 1 1 1 0 0 0 0 0 0 4 Z 1 1 1 1 1 0 0 0 0 0 5 ZA 1 1 1 1 1 1 0 0 0 0 6 ZB 1 1 1 1 1 1 1 0 0 0 7 ZC 1 1 1 1 1 1 1 1 0 0 8 ZD 1 1 1 1 1 1 1 1 1 0 9 ZE 1 1 1 1 1 1 1 1 1 1 10 TOTAL 30 27 24 21 18 15 12 9 6 3 Tingkat Kesukaran Varians 0.5 6 .2 0. Daya Pembeda.

kunci jawaban dapat dinyatakan dengan huruf mulai dari A sampai dengan I atau dengan angka mulai dari 0 sampai dengan 9. data masukan berupa data dikotomi. Analisis Butir Soal Aspek Kognitif dengan Program ITEMAN Pada analisis butir soal aspek kognitif dengan program ITEMAN. maksimum 250 butir 4 : kosong/spsi 5 : untuk jawaban kosong (omit) 6 : kosong/spasi 7 : untuk butir soal yang belum dikerjakan 8 : kosong/spasi 9 – 10 : jumlah identitas data siswa (maks 80) Baris kedua : Kunci jawaban Baris ketiga : Jumlah pilihan jawaban (dalam hal ini 020) (dalam contoh o) (dalam contoh N) (dalam contoh 10) 7 . Data dituliskan dalam bentuk alphabetik (A. Dalam kesempatan ini dipilih soal objektif bentuk pilihan ganda deng an 4 alternatif jawaban. B. atau soal pilihan ganda. Untuk instrumen yang jawabannya dikotomi. Langkah pertama yang dilakukan adalah memasukkan data ke file dalam bentuk ASCII atau DOS Text.B. C. D). Contoh: 020 o N 10 DCABBCADAACBACDACBDC 44444444444444444444 yyyyyyyyyyyyyyyyyyyy 0042001 BADCCDABBDABBCDABDCD 0042002 BCADDACBCDABCADBADCC dst 0042040 ABDCABDACCDABCDAACBC Keterangan : Baris pertama Kolom 1 – 3 : jumlah butir soal. misal soal benar-salah. atau soal menjawab singkat.

Dalam kesempatan ini data ditulis dengan “notepad” kemudian disimpan dalam disket.Baris ke empat : kode Y = Yes. misalnya CONTOH-1. N = butir soal tidak dianalisis Baris ke lima dst : jawaban responden. maka muncul: ------------------------------------------------------------------------------------------Do you want the score written to a file?: ------------------------------------------------------------------------------------------Y = bila dikehendaki hasil analisis direkam N = bila hasil analisis tidak direkam. misal CONTOH-1. Misalkan data yang baru selesai dimasukkan itu diberi nama CONTOH-1. 3.DAT. Bila data sudah masuk semua kemudian disimpan dalam sub direktori tersendiri.DAT Enter ------------------------------------------------------------------------------------------Enter the name of the outout file: ------------------------------------------------------------------------------------------Komputer meminta diisikan nama output file (file hasil analisis) 5. yaitu satu sub direktori dengan program ITEMAN. yaitu jadi satu disket dengan program ITEMAN.OUT lalu tekan ENTER. Bila diketik Y maka akan muncul: ------------------------------------------------------------------------------------------8 . Ketik nama file output (hasil) yang dikehendaki. Start – program – Acessories. Ketik nama file yang akan dianalisis. Menjalankan program Apabila program ITEMAN dan data sudah dalam 1 disket maka cara menjalankannya adalah sebagai berikut.MS Dos Promt C> lalu ketik A : A :\ > ITEMAN lalu tekan ENTER maka di layar akan tampak: ----------------------------------------------------------------------------------------ITEM & TEST ANALYSIS PROGRAM >>>*************************************************************** Enter the name of the input file: -----------------------------------------------------------------------------------------4. 2. 1. butir soal dianalisis.

126 0.150 0.Enter the name of the score file: ------------------------------------------------------------------------------------------Komputer minta diisikan nama file untuk skor peserta tes.625 -9.424 A B C D Other 0. 6.625 0.000 0. Biser.275 0.-----.--------.344 0.ITEMAN (tm) Version 3.--1 0-1 0.175 0.000 -9.186 0.500 0.----------------------------------Seq.000 0. Endorsing Biser.000 -0.126 * -9. Contoh hasil analisis dapat dilihat pada halaman berikut. MicroCAT (tm) Testing System Copyright (c) 1982.SCR lalu tekan ENTER Dalam waktu beberapa detik.000 -1. Point No. Biser. 1988 by Assessment Systems Corporation Item and Test Analysis Program -.186 0. A works better Dst.971 0. A B C D Other 0. 9 .175 0.000 0.248 -0. misal CONTOH-1.000 0. Alt.-----. namun sebelumnya ditata dulu agar hasilnya tidak terpotong-potong.175 0.500 0.000 5 0-5 0.191 ? -0.325 0. Point Prop. akan muncul tampilan: ITEM ANALYSIS IS COMPLETE Ini menunjukkan bahwa proses analisis telah selesai.-----.344 0. 1984.------. Ketikkan nama file untuk hasil skor.175 0.186 -9.----.000 -9.126 CHECK THE KEY C was specified.-----.----.DAT Page 1 Item Statistics Alternative Statistics ----------------------.275 0.000 There were 46 examinees in the data file.175 0. Hasil dapat diprint.00 Item analysis for data from file CONTOH-1. 1986.424 * -9. -Item Correct Biser. Scale Prop. Key ---.

Std.699 1.198 0.394 1.000 7.279 0. adalah standar deviasi dari distribusi skor peserta tes.272 Keterangan Statistik Butir Soal: 1. Keterangan selanjutnya sama dengan yang ada pada Biser.547 -1.490 1. Biser adalah indek daya beda butir soal dengan menggunakan koefisien korelasi biserial. Point biserial indek daya beda butir soal dengan menggunakan koefisien korelasi point-biserial.403 2. No.dev. Skew Kurtosis Minimum Maximum Median Alpha SEM Mean P Mean Item-Tot. adalah nomor urut butir soal 2. N of Examinees adalah jumlah peserta tes 3. N of Item adalah jumlah butir soal 2. Prop-Correct adalah proporsi peserta tes yang menjawab benar butir soal 4. 5. Variance adalah varian dari distribusi skor peserta tes yang memberikan gambaran tentang sebaran skor peserta tes.Scale Statistics ---------------Scale: N of Items N of Examinees Mean Variance Std. mempunyai skor yang relatif tinggi dalam tes tersebut. Nilai positif menunjukkan bahwa peserta tes yang menjawab benar butir soal. 10 . Keterangan Statistik Tes: 1. Mean adalah skor rerata peserta tes 4. Mean Biserial 0 ------20 40 5. Scala-Itemadalah nomor urut butir soal dalam tes/instrumen 3.889 0. Seq.000 0.575 2. 5. Dev. Untuk statistik pilihan jawaban (alternatif) korelasi biserial negatif sangat tidak dikehendaki untuk kunci jawaban.000 6.

N.Inc. Mean Item-Tot adalah nilai rata-rata indeks daya beda dari semua butir dalam tes yang diperoleh dengan menghitung nilai rata-rata point biserial dari semua butir dalam tes/skala. Nilai positif menunjukkan distribusi lebih lancip. Kurtosis untuk distribusi normal adalah nol. M. dan sebaliknya 7. Kurtosis adalah puncak distribusi skor yang menggambarkan kelandaian distribusi skor peserta tes dibanding dengan distribusi normal.M. Tim. CA: Wadsworth. I. Inc. 12. & Lehmann.J. Asas-asas penelitian behavioral (Terjemahan L. Mehrens. 10. Mean P adalah rata-rata tingkat kesukaran semua butir soal dalam tes secara klasikal dihitung dengan cara mencari rata-rata proporsi peserta tes yang menjawab benar untuk semua butir dalam soal tes tersebut. Rinehart and Wiston. (1973) Measurement and evaluation in education and psychology.6. Kerlinger. (1986). Manual ITEMAN. Alpha adalah koefisien reliabilitas alpha untuk tes tersebut. 1999. User' manual for ITEMAN. 8. Belmont. W. RASCAL and ASCAL. Reliabilitas dan validitas (Edisi 3). 11.J. Introduction to measurement theory. W.A. dan nilai negatif menunjukkan distribusi yang lebih landai (merata). Syaifudin Azwar (1997). Yogyakarta : Pustaka Pelajar. Skew adalah kemiringan distribusi skor peserta tes.& Yen. (1979).N. 1986. DAFTAR PUSTAKA Anonim.R. Simatupang). SEM (standard error of measurement) adalah kesalahan baku pengukuran untuk setiap tes. Jakarta: Pusisjian Balitbang Depdiknas. Mean Biserial adalah nilai rata-rata indeks daya beda dari semua butir dalam tes yang diperoleh dengan menghitung nilai rata-rata biserial dari semua butir dalam tes/skala. 9.C. Juling negatif menunjukkan bahwa sebagian besar skor berada di bagian atas (skor tinggi) dari distribusi skor. ASCAR Allen. 11 . Yogyakarta : Gajahmada University Press. F. New York : Hold.

Kegiatan 2 Menganalisis Butir Soal Dikotomi Data (Simpan dalam CONTOH-1.dat) 040 o N 14 BCBCDADABABCCABCCBADAABBDACCCDBCCCAAABCB 4444444444444444444444444444444444444444 YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY 000001 DCBADADABAACADDCABCDACCDDABCCDACCCAADBCD 000002 BCBACADABABCCABCBDAAAABBDACCCCACBDAADBCD 000003 BCBACBCBBABCCABCBDDDAABBDACCCDBCACAADBCB 000004 BCBCDADABABCCABCDBADAABBDACCCDBCCAAAABCB 000005 BCBADADABAACCABCDBDDAABBDACCCDBCCAAADBCB 000006 BCBADADABADCAABCCBACAABBDACCCDBCACAADBCB 000007 BCAADABBBCDCDDBCDBBCAABCDABCCCACDDAADCCB 000008 BCAADADABABCCABCBBDCAABCAACCACACCCAAABCB 000009 BCBCDADABADCCABCCBADAABBDABCCDBCCCAAABCB 000010 BCBCDADDBABCCABCCADDAABADACCDDBCCCAAABCB 000011 BABADADABABCCABCCACBAABDDABCCCBCCCCACBDB 000012 ACBCCADABABCAAACCAADABABDAACADACBCDDDBCB 000013 BABACADBCAACABDCCAADCDBBCADCACDBDCBACBAB 000014 DDCACADAAAACAABCDAAABCABDACCADBBBCBACBAB 000015 DDCACADAAAACAABCAAAAACACDBCCADBBBCAACBAB 000016 BCBADADABABAACBCCBBCAABADAACCDACCCAAABCD 000017 BCBADADABADCCCBCCBADAABDDABCCDBCACBACBAB 000018 BCBCDADBBABCCADCCBCAAACBDACCCDACCCCBCCCB 000019 BABADADBBACCCABCBBADAABBDACCCCCCCDAACBCB 000020 BCBADADABACCCABCBBACACBBDACCCDBCCCBAACCB 000021 BCBADADABACACABCCBCDAABBDACCCBBCCCBAABCB 000022 BCBADADABABCCABCCDADAABBDACCCDBCBCCACBCB 000023 BCBCDADABABBCABCCBADAABBDACCCDBCBDCACBCB 000024 BCBADADADADCCCBCDCCBAABDDADCCCACDDCCAACB 000025 BCBCDADABABCCABCCADDAABBDABCCCACCCBAABCD 000026 BCBCDADABABCCABCCAADAABBDACCCDBCDCDAABCB 000027 BCBCDADABADCCCBCCCCDAABDDACDCCBCDCCACBCB 000028 BCBCDADABABCCCBCCCCDAABDDACDCCBCDCBACCCB 000029 BABADDDAABACDABCCBDDABBBDAACCDBCCCCADBAB 000030 BCBADADABABCDABCCBACAABBDACCCDCCCCAAABCB 000031 BCBACADABABCDADCCDDDAABBDADCCABCCCAAABCB 000032 BCBACADABADCDADCCBABAABBDACCCDBCCCAAABCB 000033 BABCDADBCAACCABCCAABABBBDACCCDBCCCAADBAB 000034 BCBCDADABADCCABCCBADAABDDACCCDBCCCAAABCB 000035 BCBADADABABCDABCCACDBABCDABCCDACCCBAAACB 000036 BCBCDADABABCCABCCBCDAABBDACCCCBCCCAAABCB 000037 BCBADAAABABACACCCBCDAABDDACCCDACCCAAABCB 000038 BCBADADABABCCABCCBADAABDDACCCDACCCABABCB 000039 BCBADADABABCCABCCBADAABDDACCCDACCCABABCB 000040 BCBCDADABABCCABCCBADAABBDACCCDBCCCABABCB 000041 BCBADADBBABCCABCCBACAABBDACCCDACCCABABCB 12 .

000042 000043 000044 000045 000046 000047 000048 000049 000050 000051 000052 000053 000054 000055 000056 000057 000058 000059 000060 000061 000062 000063 000064 000065 000066 000067 000068 000069 000070 000071 000072 000073 000074 000075 000076 000077 000078 000079 000080 000081 000082 000083 000084 000085 000086 000087 000088 000089 000090 BCBADADABABCCABCCCACAABDDACCCDACCBAAABCB BCBADADABABCCABCCDBBAABBDACCCCACCCBAABCA BCBCDADABABCCADCCCADAABBDACCCDACCCBCACCB BCBAAADABACCCBDCCBAAAABBDACCCDBCCCAABCCB BCBADADABABCDABCCBADAABBDACCCDBCCCAAABCB BCBCDADACABADABCCCADAABCCBBCCCACCACDABCB BCBCCADDBABCAABCDDCAAABBDADCCCBCBCAACBCB BDBDDADBBACABABCADCAAABADABCCDACCAADBBAB BCBADADACABCCABCCBADAABBDACCCDACCACADBCB BCBADAABAADCDABCCAD AABBDACCCCBCCCAACBCB DCBADADBBABABABCBCABAABBDADCCBDCCDDDABAB BCBCDADABABCDABCBDBBAABCDACCCDACBCAACBCB BCBCDADABABCCABCCBADAABDDACCCDBCBCAAABCB CCCCDADBBABCCABCCBADAADBDACCCDBCCCCCBBCB BABCDADBBAACBABCCCACAABBDACCCDBCCCBACBCB BABACADABABCDCBCDBCBAABCDABCCCBABCCAACCB BCBCDADBBADCAABCDBAAABCBAACCDDADCCBABCBB BCBCDADABACCCCBCCDABAABBDACCCDBCBCBACBCB BCBCDADABAACCABCBCADAABBDABCCDACCCBAABCB BABACADAAABCACBCBBBCAACCDBCCBCACBDBDBABB BCBCDADABABCCABCCCCDAACBDABCCDBCDCDAABBB BCBCDADADABCCABCCBAAAABDDACCCDBCCCAAABCB BCBADADBDABCBBBCCBB ABCADAACABACACBBADCB BCBADADABABCAABCCBCDAABADACCCCBCCCABABAB BABCDCDABADCAACCBCCAAABDDAACBCACBCDABBBB BABCDADABADCDABCDDDAAABBDACCCCACBCAAAABB BCBADADBCABADBCCDDBAAACB ACCCDACBCCACAAB BCBCDADABABCCABCCBADAABBDABCCDBCCCAACBCB BABADADABABCCABCCBCDAABBDACCCDACBCABCCBB BCAADADABABCDACCCBCDABBBDADCCCACCCCBCBBB BCBADADABAACDADCCCBCAACBDABCCDACBCAAABBB BACADADBBABCCABCCBABAABABAACCDBCBCDAABBB CCBADADCDA ABBBCDDABAACBDAACCD CBCAAAAAA BDBADADABACACABCCBDDAABBDACCCCCCBCAACBDB BCBCDADABABACABCCAADAABBDACCCDACDCAACCCB BCBADADABABCCABCCCDDAABBBACCCBBCCDDCCBCB BCBADADAAADCDACCCAADAABDDACCCBBCCCACCBCB BCBCDADBBABCCABCBBDAAAABDACCBBACABAADBCB BCBADADABABCCABCCAADAABBDACCCDBCBDAAABCB BCBCDADABABACABCCBADAABBDACCADBCCCDAABCB BABCDADBBABCCABCBDBCAACDDACCCDACACBAABCB BCBCDADABADCCABCCBABAABBDACCCDBCBAAAABCB CCBCDADABADCCABCCBABAABDDABCCDACBCCAABCB BCBADADABABCCCBCDDBAAACCDACCCDACBCCAABDB BCBCDADABABCCABCCDCBAABDDACCCDBCCCAAABDB AABABADBCBBCDDBCBDCCAABBDACCCBACCCACABBB BCBADADABABCCABCCBAAAABBDACCCDCCCCAAABCB BABCDCDBAACCDACCCBCACABBDABCCDACCDBAABCB BCBCCADACADCCABACDADAABBDAACCBBCACAAABDB 13 .

Sign up to vote on this title
UsefulNot useful