1

Menganalisis Butir Soal Aspek Kognitif dengan ITEMAN
Heri Retnawati (Pend. Matematika FMIPA UNY)


Untuk mendapatkan instrumen berkualitas tinggi, selain dilakukan analisis
secara teori (telaah butir) maka perlu juga dilakukan analisis butir secara
empirik. Secara garis besar, analisis butir secara empirik ini dapat dibedakan
menjadi dua, yaitu: dengan pendekatan teori tes klasik dan teori respon butir
(Item Response Theory =IRT). Pada kesempatan ini hanya akan dibicarakan
analisis butir empirik model klasik yang menggunakan program Item and Test
Analysis (ITEMAN).

A. Pendahuluan Teori Tes Klasik (Clasical Test Theory)
Teori tes klasik atau disebut teori skor murni klasik (Allen & Yen,
1979:57) didasarkan pada suatu model aditif, yakni skor amatan merupakan
penjumlahan dari skor sebenarnya dan skor kesalahan pengukuran. Jika
dituliskan dengan pernyataan matematis, maka kalimat tersebut menjadi

X = T + E ………………………………………………………….. (1)
dengan :
X : skor amatan,
T : skor sebenarnya,
E : skor kesalahan pengukuran (error score).

Kesalahan pengukuran yang dimaksudkan dalam teori ini merupakan
kesalahan yang tidak sistematis atau acak. Kesalahan ini merupakan
penyimpangan secara teoritis dari skor amatan yang diperoleh dengan skor
amatan yang diharapkan. Kesalahan pengukuran yang sistematis dianggap bukan
merupakan kesalahan pengukuran.
Ada beberapa asumsi dalam teori tes klasik. Skor kesalahan pengukuran
tidak berinteraksi dengan skor sebenarnya, merupakan asumsi yang pertama.
Asumsi yang kedua adalah skor kesalahan tidak berkorelasi dengan skor
sebenarnya dan skor-skor kesalahan pada tes-tes yang lain untuk peserta tes
(testee) yang sama. Ketiga, rata-rata dari skor kesalahan ini sama dengan nol.
2
Asumsi-asumsi pada teori tes klasik ini dijadikan dasar untuk mengembangkan
formula-formula dalam menentukan validitas dan reliabilitas tes.
Validitas dan reliabilitas pada perangkat tes digunakan untuk menentukan
kualitas tes. Kriteria lain yang dapat digunakan untuk menentukan kualitas tes
adalah indeks kesukaran dan daya pembeda.

1). Reliabilitas
Mehrens & Lehmann (1973: 102) menyatakan bahwa reliabilitas
merupakan derajat keajegan (consistency) di antara dua buah hasil pengukuran
pada objek yang sama. Definisi ini dapat diilustrasikan dengan seseorang yang
diukur tinggi badannya akan diperoleh hasil yang tidak berubah walaupun
menggunakan alat pengukur yang berbeda dan skala yang berbeda. Dalam
kaitannya dengan dunia pendidikan, prestasi atau kemampuan seorang siswa
dikatakan reliabel jika dilakukan pengukuran, hasil pengukuran akan sama
informasinya, walaupun penguji berbeda, korektornya berbeda atau butir soal
yang berbeda tetapi memiliki karakteristik yang sama.
Allen & Yen (1979: 62) menyatakan bahwa tes dikatakan reliabel jika skor
amatan mempunyai korelasi yang tinggi dengan skor yang sebenarnya.
Selanjutnya dinyatakan bahwa reliabilitas merupakan koefisien korelasi antara
dua skor amatan yang diperoleh dari hasil pengukuran menggunakan tes yang
paralel. Dengan demikian, pengertian yang dapat diperoleh dari pernyatan
tersebut adalah suatu tes itu reliabel jika hasil pengukuran mendekati keadaan
peserta tes yang sebenarnya.
Dalam pendidikan, pengukuran tidak dapat langsung dilakukan pada ciri
atau karakter yang akan diukur. Ciri atau karakter ini bersifat abstrak. Hal ini
menyebabkan sulitnya memperoleh alat ukur yang stabil untuk mengukur
karakteristik seseorang (Mehrens & Lehmann, 1973: 103).
Berdasarkan uraian di atas, maka dalam pembuatan alat ukur dalam dunia
pendidikan harus dilakukan secermat mungkin dan disesuaikan dengan kaidah-
kaidah yang telah ditentukan oleh ahli-ahli pengukuran di bidang pendidikan.
Untuk melihat reliabilitas suatu alat ukur, yang berupa suatu indeks reliabilitas,
dapat dilakukan penelaahan secara statistik. Harga ini biasa dinamakan dengan
koefisien reliabilitas (reliability coefficient).
3
Untuk menentukan harga reliabilitas suatu tes (butir soal berbentuk pilihan
ganda (multiple choice)) dapat digunakan formula sebagai berikut .


|
|
.
|

\
|
÷
÷
=
¯
2
2
^
1
1
x
i
R
R


 …………………………………………….(2)
dengan :
R : banyaknya butir soal,
o
2
: varians.

Mehrens & Lehmann (1973: 104) menyatakan bahwa meskipun tidak ada
perjanjian secara umum, tetapi secara luas dapat diterima bahwa untuk tes yang
digunakan untuk membuat keputusan pada siswa secara perorangan harus
memiliki koefisien reliabilitas minimal sebesar 0,85. Dengan demikian, pada
penelitian ini, tes seleksi digunakan untuk menentukan keputusan peda siswa
secara perorangan, sehingga indeks koefisien reliabilitasnya diharapkan minimal
sebesar 0,85.

2). Validitas
Validitas suatu perangkat tes dapat diartikan merupakan kemampuan suatu
tes untuk mengukur apa yang seharusnya diukur (Allen & Yen, 1979: 97;
Syaifudin Azwar, 2000: 45; Kerlinger, 1986). Ada tiga tipe validitas, yaitu
validitas isi, validitas konstruk dan validitas kriteria (Allen & Yen, 1979: 97;
Syaifudin Azwar, 2000: 45 ; Kerlinger, 1986 : 731).
Ada dua macam validitas isi , yaitu validitas kenampakan dan validitas
logika (Syaifudin Azwar, 2000: 45-47). Validitas isi berarti sejauh mana suatu
perangkat tes mencerminkan keseluruhan trait yang hendak diukur (Syaifudin
Azwar, 2000: 45), yang berupa analisis rasional terhadap domain yang hendak
diukur. Validitas kenampakan didasarkan pada pertanyaan apakah suatu butir -
butir dalam perangkat tes mengukur aspek yang relevan dengan domainnya.
Validitas logika berkaitan dengan keseksamaan batasan pada domain yang
hendak diukur, dan merupakan jawaban apakah keseluruhan butir merupakan
sampel representatif dari keseluruhan butir yang mungkin dibuat.
4
Validitas kriteria, disebut juga validitas prediktif, merupakan kesahihan
suatu perangkat tes dalam membuat prediksi, dapat meramalkan keberhasilan
siswa pada masa yang akan datang. Validitas prediktif suatu perangkat tes dapat
diketahui dari korelasi antara perangkat tes dengan kriteria tertentu yang
dikehendaki, yang disebut dengan variabel kriteria (Allen & Yen, 1979 : 97;
Syaifudin Azwar, 2000: 51).

3). Tingkat Kesukaran
Tingkat kesukaran suatu butir soal, yang disimbolkan denan p
i
, merupakan
salah satu parameter butir soal yang sangat berguna dalam penganalisian suatu
tes. Hal ini disebabkan karena dengan melihat parameter butir ini, akan diketahui
seberapa baiknya kualitas suatu butir soal. Jika harga p
i
mendekati 0, maka soal
tersebut terlalu sukar, sedangkan jika p
i
mendekati 1, maka soal tersebut terlalu
mudah, sehingga perlu dibuang. Hal ini disebabkan karena butir tersebut tidak
dapat membedakan kemampuan seorang siswa dengan siswa lainnya.
Allen dan Yen (1979 : 122) menyatakan bahwa secara umum indeks
kesukaran suatu butir sebaiknya terletak pada interval 0,3 –0,7. Pada interval ini,
informasi tentang kemampuan siswa akan diperoleh secara maksimal. Dalam
merancang indeks kesukaran suatu perangkat tes, perlu dipertimbangkan tujuan
penyusunan perangkat tes tersebut. Untuk menentukan indeks kesukaran
dari suatu butir pada perangkat tes pilihan ganda, digunakan persamaan sebagai
berikut :
p
i
=
N
B
¯
………………………………………………………(3)
dengan :
p = proporsi menjawab benar pada butir soal tertentu.
EB = banyaknya peserta tes yang menjawab benar.
N = jumlah peserta tes yang menjawab.





5
4). Daya Pembeda
Untuk menentukan daya pembeda, dapat digunakan indeks diskriminasi,
indeks korelasi biserial, indeks korelasi point biser ial, dan indeks keselarasan.
Pada analisis butir dalam penelitian ini, hanya digunakan indeks korelasi point
biserial. Koefisien korelasinya untuk suatu butir tes ditentukan dengan rumus:
r
pbis
=
1
1 1
1 p
p
s
X X
X
÷

÷
………………...........................….…(4)
dengan r
pbis
= koefisien korelasi point biserial,
i
X merupakan variabel kontinu,
1
X merupakan rerata skor X untuk peserta tes yang menjawab benar butir
tersebut, X merupakan rerata skor X ,
X
s merupakan standar deviasi dari skor
X , dan
1
p merupakan proporsi peserta tes yang menjawab benar butir tersebut.
Pada suatu butir soal, indeks daya beda dikatakan baik jika lebih besar
atau sama dengan 0,3. Indeks daya pembeda suatu butir yang kecil nilainya akan
menyebabkan butir tersebut tidak dapat membedakan siswa yang kemampuannya
tinggi dan siswa yang kemampuannya rendah. Pada analisis tes dengan Content-
Referenced Measures, indeks daya pembeda butir tidak terlalu perlu menjadi
perhatian, asalkan tidak negatif (Ebel & Frisbie, 1986; Frisbie, 2005). Jika
nilainya kecil, menunjukkan bahwa kemencengan distribusi skor dari populasi,
yang juga mengakibatkan validitas tes menjadi rendah.


5). Kesalahan Pengukuran
Kesalahan Pengukuran (Standard Error of Measurement, SEM) dapat
digunakan untuk mamahami kesalahan yang bersifat acak/random yang
mempengaruhi skor peserta tes dalam pelaksanaan tes. Kesalahan pengukuran,
yang disimbulkan dengan o
E
, dapat dihitung dengan rumus pada persaman 3.5,
yang diturunkan dari rumus reliabilitas (Allen & Yen, 1979 : 73).

o
E
= o
x

,
1
xx
 ÷ ……………………………………………….(5)

6
dengan o
x
merupakan standar deviasi dari skor total dan p
xx’
merupakan
koefisien reliabilitas.

Kegiatan 1
Latihan Mengestimasi Tingkat Kesukaran, Daya Pembeda, dan Reliabilitas
Secara Manual

Nama Siswa 1 2 3 4 5 6 7 8 9 10 TOTAL
A 1 0 0 0 0 0 0 0 0 0 1
B 1 1 0 0 0 0 0 0 0 0 2
C 1 1 1 0 0 0 0 0 0 0 3
D 1 1 1 1 0 0 0 0 0 0 4
E 1 1 1 1 1 0 0 0 0 0 5
F 1 1 1 1 1 1 0 0 0 0 6
G 1 1 1 1 1 1 1 0 0 0 7
H 1 1 1 1 1 1 1 1 0 0 8
I 1 1 1 1 1 1 1 1 1 0 9
J 1 1 1 1 1 1 1 1 1 1 10
K 1 0 0 0 0 0 0 0 0 0 1
L 1 1 0 0 0 0 0 0 0 0 2
M 1 1 1 0 0 0 0 0 0 0 3
O 1 1 1 1 0 0 0 0 0 0 4
P 1 1 1 1 1 0 0 0 0 0 5
Q 1 1 1 1 1 1 0 0 0 0 6
R 1 1 1 1 1 1 1 0 0 0 7
S 1 1 1 1 1 1 1 1 0 0 8
T 1 1 1 1 1 1 1 1 1 0 9
U 1 1 1 1 1 1 1 1 1 1 10
V 1 0 0 0 0 0 0 0 0 0 1
W 1 1 0 0 0 0 0 0 0 0 2
X 1 1 1 0 0 0 0 0 0 0 3
Y 1 1 1 1 0 0 0 0 0 0 4
Z 1 1 1 1 1 0 0 0 0 0 5
ZA 1 1 1 1 1 1 0 0 0 0 6
ZB 1 1 1 1 1 1 1 0 0 0 7
ZC 1 1 1 1 1 1 1 1 0 0 8
ZD 1 1 1 1 1 1 1 1 1 0 9
ZE 1 1 1 1 1 1 1 1 1 1 10
TOTAL 30 27 24 21 18 15 12 9 6 3
Tingkat Kesukaran
Varians 0.0 0.1 0.2 0.2 0.2 0.3 0.2 0.2 0.2 0.1 8.5






7

B. Analisis Butir Soal Aspek Kognitif dengan Program ITEMAN
Pada analisis butir soal aspek kognitif dengan program ITEMAN, data
masukan berupa data dikotomi, misal soal benar-salah, atau soal pilihan ganda,
atau soal menjawab singkat. Untuk instrumen yang jawabannya dikotomi, kunci
jawaban dapat dinyatakan dengan huruf mulai dari A sampai dengan I atau
dengan angka mulai dari 0 sampai dengan 9.

Dalam kesempatan ini dipilih soal objektif bentuk pilihan ganda dengan 4
alternatif jawaban. Data dituliskan dalam bentuk alphabetik (A, B, C, D).
Langkah pertama yang dilakukan adalah memasukkan data ke file dalam bentuk
ASCII atau DOS Text.

Contoh:

020 o N 10
DCABBCADAACBACDACBDC
44444444444444444444
yyyyyyyyyyyyyyyyyyyy
0042001 BADCCDABBDABBCDABDCD
0042002 BCADDACBCDABCADBADCC
dst
0042040 ABDCABDACCDABCDAACBC

Keterangan :
Baris pertama
Kolom 1 – 3 : jumlah butir soal, maksimum 250 butir (dalam hal ini 020)
4 : kosong/spsi
5 : untuk jawaban kosong (omit) (dalam contoh o)
6 : kosong/spasi
7 : untuk butir soal yang belum dikerjakan (dalam contoh N)
8 : kosong/spasi
9 – 10 : jumlah identitas data siswa (maks 80) (dalam contoh 10)
Baris kedua : Kunci jawaban
Baris ketiga : Jumlah pilihan jawaban
8
Baris ke empat : kode Y = Yes, butir soal dianalisis, N = butir soal tidak
dianalisis
Baris ke lima dst : jawaban responden. Bila data sudah masuk semua kemudian
disimpan dalam sub direktori tersendiri, yaitu satu sub direktori dengan program
ITEMAN. Dalam kesempatan ini data ditulis dengan “notepad” kemudian
disimpan dalam disket, yaitu jadi satu disket dengan program ITEMAN.
Misalkan data yang baru selesai dimasukkan itu diberi nama CONTOH-1.DAT.

Menjalankan program
Apabila program ITEMAN dan data sudah dalam 1 disket maka cara
menjalankannya adalah sebagai berikut.
1. Start – program – Acessories- MS Dos Promt
2. C> lalu ketik A :
3. A :\ > ITEMAN lalu tekan ENTER maka di layar akan tampak:
-----------------------------------------------------------------------------------------
ITEM & TEST ANALYSIS PROGRAM
>>>***************************************************************
Enter the name of the input file:
------------------------------------------------------------------------------------------
4. Ketik nama file yang akan dianalisis, misalnya CONTOH-1.DAT Enter
-------------------------------------------------------------------------------------------
Enter the name of the outout file:
-------------------------------------------------------------------------------------------
Komputer meminta diisikan nama output file (file hasil analisis)
5. Ketik nama file output (hasil) yang dikehendaki, misal CONTOH-1.OUT
lalu tekan ENTER, maka muncul:
-------------------------------------------------------------------------------------------
Do you want the score written to a file?:
-------------------------------------------------------------------------------------------
Y = bila dikehendaki hasil analisis direkam
N = bila hasil analisis tidak direkam.
Bila diketik Y maka akan muncul:
-------------------------------------------------------------------------------------------
9
Enter the name of the score file:
-------------------------------------------------------------------------------------------
Komputer minta diisikan nama file untuk skor peserta tes.
6. Ketikkan nama file untuk hasil skor, misal CONTOH-1.SCR lalu tekan
ENTER
Dalam waktu beberapa detik, akan muncul tampilan:

ITEM ANALYSIS IS COMPLETE

Ini menunjukkan bahwa proses analisis telah selesai. Hasil dapat diprint, namun
sebelumnya ditata dulu agar hasilnya tidak terpotong-potong. Contoh hasil
analisis dapat dilihat pada halaman berikut.
MicroCAT (tm) Testing System
Copyright (c) 1982, 1984, 1986, 1988 by Assessment Systems Corporation

Item and Test Analysis Program -- ITEMAN (tm) Version 3.00

Item analysis for data from file CONTOH-1.DAT Page 1

Item Statistics Alternative Statistics
----------------------- -----------------------------------
Seq. Scale Prop. Point Prop. Point
No. -Item Correct Biser. Biser. Alt. Endorsing Biser. Biser. Key
---- ----- ------- ------ ------ ----- --------- ------ ------ ---

1 0-1 0.175 0.625 0.424 A 0.150 -1.000 -0.971
B 0.500 0.344 0.275
C 0.175 0.186 0.126
D 0.175 0.625 0.424 *
Other 0.000 -9.000 -9.000




5 0-5 0.175 0.186 0.126 A 0.325 0.248 0.191 ?
B 0.500 -0.344 -0.275
CHECK THE KEY C 0.175 0.186 0.126 *
C was specified, A works better D 0.000 -9.000 -9.000
Other 0.000 -9.000 -9.000
Dst.

There were 46 examinees in the data file.

10
Scale Statistics
----------------

Scale: 0
-------
N of Items 20
N of Examinees 40
Mean 5.575
Variance 2.394
Std. Dev. 1.547
Skew -1.699
Kurtosis 1.403
Minimum 2.000
Maximum 7.000
Median 6.000
Alpha 0.490
SEM 1.889
Mean P 0.279
Mean Item-Tot. 0.198
Mean Biserial 0.272


Keterangan Statistik Butir Soal:
1. Seq. No. adalah nomor urut butir soal
2. Scala-Itemadalah nomor urut butir soal dalam tes/instrumen
3. Prop-Correct adalah proporsi peserta tes yang menjawab benar butir soal
4. Biser adalah indek daya beda butir soal dengan menggunakan koefisien
korelasi biserial. Nilai positif menunjukkan bahwa peserta tes yang menjawab
benar butir soal, mempunyai skor yang relatif tinggi dalam tes tersebut. Untuk
statistik pilihan jawaban (alternatif) korelasi biserial negatif sangat tidak
dikehendaki untuk kunci jawaban.
5. Point biserial indek daya beda butir soal dengan menggunakan koefisien
korelasi point-biserial. Keterangan selanjutnya sama dengan yang ada pada
Biser.



Keterangan Statistik Tes:
1. N of Item adalah jumlah butir soal
2. N of Examinees adalah jumlah peserta tes
3. Mean adalah skor rerata peserta tes
4. Variance adalah varian dari distribusi skor peserta tes yang memberikan
gambaran tentang sebaran skor peserta tes.
5. Std.dev. adalah standar deviasi dari distribusi skor peserta tes.
11
6. Skew adalah kemiringan distribusi skor peserta tes. Juling negatif
menunjukkan bahwa sebagian besar skor berada di bagian atas (skor tinggi)
dari distribusi skor, dan sebaliknya
7. Kurtosis adalah puncak distribusi skor yang menggambarkan kelandaian
distribusi skor peserta tes dibanding dengan distribusi normal. Nilai positif
menunjukkan distribusi lebih lancip, dan nilai negatif menunjukkan distribusi
yang lebih landai (merata). Kurtosis untuk distribusi normal adalah nol.
8. Alpha adalah koefisien reliabilitas alpha untuk tes tersebut.
9. SEM (standard error of measurement) adalah kesalahan baku pengukuran
untuk setiap tes.
10. Mean P adalah rata-rata tingkat kesukaran semua butir soal dalam tes
secara klasikal dihitung dengan cara mencari rata-rata proporsi peserta tes
yang menjawab benar untuk semua butir dalam soal tes tersebut.
11. Mean Item-Tot adalah nilai rata-rata indeks daya beda dari semua butir
dalam tes yang diperoleh dengan menghitung nilai rata-rata point biserial dari
semua butir dalam tes/skala.
12. Mean Biserial adalah nilai rata-rata indeks daya beda dari semua butir
dalam tes yang diperoleh dengan menghitung nilai rata-rata biserial dari
semua butir dalam tes/skala.

DAFTAR PUSTAKA
Anonim. 1986. User' manual for ITEMAN, RASCAL and ASCAL. N.C. ASCAR

Allen, M.J.& Yen, W.M. (1979). Introduction to measurement theory. Belmont,
CA: Wadsworth, Inc.

Kerlinger, F.N. (1986). Asas-asas penelitian behavioral (Terjemahan L.R.
Simatupang). Yogyakarta : Gajahmada University Press.

Mehrens, W.A. & Lehmann, I.J. (1973) Measurement and evaluation in
education and psychology. New York : Hold, Rinehart and Wiston,Inc.

Syaifudin Azwar (1997). Reliabilitas dan validitas (Edisi 3). Yogyakarta :
Pustaka Pelajar.

Tim. 1999. Manual ITEMAN. Jakarta: Pusisjian Balitbang Depdiknas.





12
Kegiatan 2
Menganalisis Butir Soal Dikotomi

Data (Simpan dalam CONTOH-1.dat)
040 o N 14
BCBCDADABABCCABCCBADAABBDACCCDBCCCAAABCB
4444444444444444444444444444444444444444
YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY
000001 DCBADADABAACADDCABCDACCDDABCCDACCCAADBCD
000002 BCBACADABABCCABCBDAAAABBDACCCCACBDAADBCD
000003 BCBACBCBBABCCABCBDDDAABBDACCCDBCACAADBCB
000004 BCBCDADABABCCABCDBADAABBDACCCDBCCAAAABCB
000005 BCBADADABAACCABCDBDDAABBDACCCDBCCAAADBCB
000006 BCBADADABADCAABCCBACAABBDACCCDBCACAADBCB
000007 BCAADABBBCDCDDBCDBBCAABCDABCCCACDDAADCCB
000008 BCAADADABABCCABCBBDCAABCAACCACACCCAAABCB
000009 BCBCDADABADCCABCCBADAABBDABCCDBCCCAAABCB
000010 BCBCDADDBABCCABCCADDAABADACCDDBCCCAAABCB
000011 BABADADABABCCABCCACBAABDDABCCCBCCCCACBDB
000012 ACBCCADABABCAAACCAADABABDAACADACBCDDDBCB
000013 BABACADBCAACABDCCAADCDBBCADCACDBDCBACBAB
000014 DDCACADAAAACAABCDAAABCABDACCADBBBCBACBAB
000015 DDCACADAAAACAABCAAAAACACDBCCADBBBCAACBAB
000016 BCBADADABABAACBCCBBCAABADAACCDACCCAAABCD
000017 BCBADADABADCCCBCCBADAABDDABCCDBCACBACBAB
000018 BCBCDADBBABCCADCCBCAAACBDACCCDACCCCBCCCB
000019 BABADADBBACCCABCBBADAABBDACCCCCCCDAACBCB
000020 BCBADADABACCCABCBBACACBBDACCCDBCCCBAACCB
000021 BCBADADABACACABCCBCDAABBDACCCBBCCCBAABCB
000022 BCBADADABABCCABCCDADAABBDACCCDBCBCCACBCB
000023 BCBCDADABABBCABCCBADAABBDACCCDBCBDCACBCB
000024 BCBADADADADCCCBCDCCBAABDDADCCCACDDCCAACB
000025 BCBCDADABABCCABCCADDAABBDABCCCACCCBAABCD
000026 BCBCDADABABCCABCCAADAABBDACCCDBCDCDAABCB
000027 BCBCDADABADCCCBCCCCDAABDDACDCCBCDCCACBCB
000028 BCBCDADABABCCCBCCCCDAABDDACDCCBCDCBACCCB
000029 BABADDDAABACDABCCBDDABBBDAACCDBCCCCADBAB
000030 BCBADADABABCDABCCBACAABBDACCCDCCCCAAABCB
000031 BCBACADABABCDADCCDDDAABBDADCCABCCCAAABCB
000032 BCBACADABADCDADCCBABAABBDACCCDBCCCAAABCB
000033 BABCDADBCAACCABCCAABABBBDACCCDBCCCAADBAB
000034 BCBCDADABADCCABCCBADAABDDACCCDBCCCAAABCB
000035 BCBADADABABCDABCCACDBABCDABCCDACCCBAAACB
000036 BCBCDADABABCCABCCBCDAABBDACCCCBCCCAAABCB
000037 BCBADAAABABACACCCBCDAABDDACCCDACCCAAABCB
000038 BCBADADABABCCABCCBADAABDDACCCDACCCABABCB
000039 BCBADADABABCCABCCBADAABDDACCCDACCCABABCB
000040 BCBCDADABABCCABCCBADAABBDACCCDBCCCABABCB
000041 BCBADADBBABCCABCCBACAABBDACCCDACCCABABCB
13
000042 BCBADADABABCCABCCCACAABDDACCCDACCBAAABCB
000043 BCBADADABABCCABCCDBBAABBDACCCCACCCBAABCA
000044 BCBCDADABABCCADCCCADAABBDACCCDACCCBCACCB
000045 BCBAAADABACCCBDCCBAAAABBDACCCDBCCCAABCCB
000046 BCBADADABABCDABCCBADAABBDACCCDBCCCAAABCB
000047 BCBCDADACABADABCCCADAABCCBBCCCACCACDABCB
000048 BCBCCADDBABCAABCDDCAAABBDADCCCBCBCAACBCB
000049 BDBDDADBBACABABCADCAAABADABCCDACCAADBBAB
000050 BCBADADACABCCABCCBADAABBDACCCDACCACADBCB
000051 BCBADAABAADCDABCCAD AABBDACCCCBCCCAACBCB
000052 DCBADADBBABABABCBCABAABBDADCCBDCCDDDABAB
000053 BCBCDADABABCDABCBDBBAABCDACCCDACBCAACBCB
000054 BCBCDADABABCCABCCBADAABDDACCCDBCBCAAABCB
000055 CCCCDADBBABCCABCCBADAADBDACCCDBCCCCCBBCB
000056 BABCDADBBAACBABCCCACAABBDACCCDBCCCBACBCB
000057 BABACADABABCDCBCDBCBAABCDABCCCBABCCAACCB
000058 BCBCDADBBADCAABCDBAAABCBAACCDDADCCBABCBB
000059 BCBCDADABACCCCBCCDABAABBDACCCDBCBCBACBCB
000060 BCBCDADABAACCABCBCADAABBDABCCDACCCBAABCB
000061 BABACADAAABCACBCBBBCAACCDBCCBCACBDBDBABB
000062 BCBCDADABABCCABCCCCDAACBDABCCDBCDCDAABBB
000063 BCBCDADADABCCABCCBAAAABDDACCCDBCCCAAABCB
000064 BCBADADBDABCBBBCCBB ABCADAACABACACBBADCB
000065 BCBADADABABCAABCCBCDAABADACCCCBCCCABABAB
000066 BABCDCDABADCAACCBCCAAABDDAACBCACBCDABBBB
000067 BABCDADABADCDABCDDDAAABBDACCCCACBCAAAABB
000068 BCBADADBCABADBCCDDBAAACB ACCCDACBCCACAAB
000069 BCBCDADABABCCABCCBADAABBDABCCDBCCCAACBCB
000070 BABADADABABCCABCCBCDAABBDACCCDACBCABCCBB
000071 BCAADADABABCDACCCBCDABBBDADCCCACCCCBCBBB
000072 BCBADADABAACDADCCCBCAACBDABCCDACBCAAABBB
000073 BACADADBBABCCABCCBABAABABAACCDBCBCDAABBB
000074 CCBADADCDA ABBBCDDABAACBDAACCD CBCAAAAAA
000075 BDBADADABACACABCCBDDAABBDACCCCCCBCAACBDB
000076 BCBCDADABABACABCCAADAABBDACCCDACDCAACCCB
000077 BCBADADABABCCABCCCDDAABBBACCCBBCCDDCCBCB
000078 BCBADADAAADCDACCCAADAABDDACCCBBCCCACCBCB
000079 BCBCDADBBABCCABCBBDAAAABDACCBBACABAADBCB
000080 BCBADADABABCCABCCAADAABBDACCCDBCBDAAABCB
000081 BCBCDADABABACABCCBADAABBDACCADBCCCDAABCB
000082 BABCDADBBABCCABCBDBCAACDDACCCDACACBAABCB
000083 BCBCDADABADCCABCCBABAABBDACCCDBCBAAAABCB
000084 CCBCDADABADCCABCCBABAABDDABCCDACBCCAABCB
000085 BCBADADABABCCCBCDDBAAACCDACCCDACBCCAABDB
000086 BCBCDADABABCCABCCDCBAABDDACCCDBCCCAAABDB
000087 AABABADBCBBCDDBCBDCCAABBDACCCBACCCACABBB
000088 BCBADADABABCCABCCBAAAABBDACCCDCCCCAAABCB
000089 BABCDCDBAACCDACCCBCACABBDABCCDACCDBAABCB
000090 BCBCCADACADCCABACDADAABBDAACCBBCACAAABDB

Asumsi-asumsi pada teori tes klasik ini dijadikan dasar untuk menge mbangkan formula-formula dalam menentukan validitas dan reliabilitas tes. Validitas dan reliabilitas pada perangkat tes digunakan untuk menentukan kualitas tes. Selanjutnya dinyatakan bahwa reliabilitas merupakan koefisien korelasi antara dua skor amatan yang diperoleh dari hasil pengukuran menggunakan tes yang paralel. prestasi atau kemampuan seorang siswa akan sama dikatakan reliabel jika dilakukan pengukuran. dapat dilakukan penelaahan secara statistik. Dalam kaitannya dengan dunia pendidikan. Reliabilitas Mehrens & Lehmann (1973: 102) menyatakan bahwa reliabilitas merupakan derajat keajegan (consistency) di antara dua buah hasil pengukuran pada objek yang sama. pengertian yang dapat diperoleh dari pernyatan tersebut adalah suatu tes itu reliabel jika hasil pengukuran mendekati keadaan peserta tes yang sebenarnya. Harga ini biasa dina makan dengan koefisien reliabilitas (reliability coefficient). Berdasarkan uraian di atas. Dengan demikian. 1973: 103). korektornya berbeda atau butir soal yang berbeda tetapi memiliki karakteristik yang sama. Definisi ini dapat diilustrasikan dengan seseorang yang diukur tinggi badannya akan diperoleh hasil yang tidak berubah walaupun menggunakan alat pengukur yang berbeda dan skala yang berbeda. yang berupa suatu indeks reliabilitas. pengukuran tidak dapat langsung dilakukan pada ciri atau karakter yang akan diukur. Hal ini menyebabkan sulitnya memperoleh alat ukur yang stabil untuk mengukur karakteristik seseorang (Mehrens & Lehmann. hasil pengukuran informasinya. walaupun penguji berbeda. Dalam pendidikan. Kriteria lain yang dapat digunakan untuk menentukan kualitas tes adalah indeks kesukaran dan daya pembeda. maka dalam pembuatan alat ukur dalam dunia pendidikan harus dilakukan secermat mungkin dan disesuaikan dengan kaidahkaidah yang telah ditentukan oleh ahli-ahli pengukuran di bidang pendidikan. 2 . 1). Allen & Yen (1979: 62) menyatakan bahwa tes dikatakan reliabel jika skor amatan mempunyai korelasi yang tinggi dengan skor yang sebenarnya. Untuk melihat reliabilitas suatu alat ukur. Ciri atau karakter ini bersifat abstrak.

tes seleksi digunakan untuk menentukan keputusan peda siswa secara perorangan. tetapi secara luas dapat diterima bahwa untuk tes yang digunakan untuk membuat keputusan pada siswa secara perorangan harus memiliki koefisien reliabilitas minimal sebesar 0. yang berupa analisis rasional terhadap domain yang hendak diukur. Ada tiga tipe validitas.85. Syaifudin Azwar. Validitas kenampakan didasarkan pada pertanyaan apakah suatu butir butir dalam perangkat tes mengukur aspek yang relevan dengan domainnya. 2 : varians. 1979: 97. Dengan demikian. Validitas Validitas suatu perangkat tes dapat diartikan merupakan kemampuan suatu tes untuk mengukur apa yang seharusnya diukur (Allen & Yen. 1986). 2000: 45 . 2000: 45). Validitas isi berarti sejauh mana suatu perangkat tes mencerminkan keseluruhan trait yang hendak diukur (Syaifudin Azwar. Mehrens & Lehmann (1973: 104) menyatakan bahwa meskipun tidak ada perjanjian secara umum. yaitu validitas isi. validitas konstruk dan validitas kriteria (Allen & Yen. Validitas logika berkaitan dengan keseksamaan batasan pada domain yang hendak diukur. pada penelitian ini. 2 R   i  1   ……………………………………………. 2000: 45-47). 2000: 45.(2)  2 R 1 x    ^ dengan : R : banyaknya butir soal. Ada dua macam validitas isi . Kerlinger. 3 . sehingga indeks koefisien reliabilitasnya diharapkan minimal sebesar 0. 1979: 97.85. dan merupakan jawaban apakah keseluruhan butir merupakan sampel representatif dari keseluruhan butir yang mungkin dibuat.Untuk menentukan harga reliabilitas suatu tes (butir soal berbentuk pilihan ganda (multiple choice)) dapat digunakan formula sebagai berikut . 1986 : 731). Kerlinger. Syaifudin Azwar. yaitu validitas kenampakan dan validitas logika (Syaifudin Azwar. 2).

B = banyaknya peserta tes yang menjawab benar.7. sehingga perlu dibuang. Hal ini disebabkan karena dengan melihat parameter butir ini. informasi tentang kemampuan siswa akan diperoleh secara maksimal. Untuk menentukan indeks kesukaran dari suatu butir pada perangkat tes pilihan ganda. Hal ini disebabkan karena butir tersebut tidak dapat membedakan kemampuan seorang siswa dengan siswa lainnya. B N ………………………………………………………(3) 4 . maka soal tersebut terlalu mudah. akan diketahui seberapa baiknya kualitas suatu butir soal. disebut juga validitas prediktif. yang disebut dengan variabel kriteria (Allen & Yen. Pada interval ini. yang disimbolkan denan p i . sedangkan jika p i mendekati 1.Validitas kriteria. Allen dan Yen (1979 : 122) menyatakan bahwa secara umum indeks kesukaran suatu butir sebaiknya terletak pada interval 0. Jika harga p i mendekati 0. Tingkat Kesukaran Tingkat kesukaran suatu butir soal. perlu dipertimbangkan tujuan penyusunan perangkat tes tersebut.3 –0. digunakan persamaan sebagai berikut : pi = dengan : p = proporsi menjawab benar pada butir soal tertentu. dapat meramalkan keberhasilan siswa pada masa yang akan datang. 2000: 51). merupakan kesahihan suatu perangkat tes dalam membuat prediksi. maka soal tersebut terlalu sukar. 3). N = jumlah peserta tes yang menjawab. Validitas prediktif suatu perangkat tes dapat diketahui dari korelasi antara perangkat tes dengan kriteria tertentu yang dikehendaki. merupakan salah satu parameter butir soal yang sangat berguna dalam penganalisian suatu tes. 1979 : 97. Dalam merancang indeks kesukaran suatu perangkat tes. Syaifudin Azwar.

Kesalahan pengukuran.. dapat dihitung dengan rumus pada persaman 3. indeks korelasi biserial.. ……………………………………………….... menunjukkan bahwa kemencengan distribusi skor dari populasi.. hanya digunakan indeks korelasi point biserial. indeks daya pembeda butir tidak terlalu perlu menjadi perhatian. dan indeks keselarasan.. X 1 merupakan rerata skor X untuk peserta tes yang menjawab benar butir tersebut. asalkan tidak negatif (Ebel & Frisbie... dapat digunakan indeks diskriminasi..….. Pada analisis butir dalam penelitian ini... E = x 1   xx ....(5) 5 ..4). 5). Koefisien korelasinya untuk suatu butir tes ditentukan dengan rumus: X  X  p1 rpbis =  1 ……………….. Pada analisis tes dengan ContentReferenced Measures.5. 2005). yang juga mengakibatkan validitas tes menjadi rendah.3. yang disimbulkan dengan E .. indeks daya beda dikatakan baik jika lebih besar atau sama dengan 0. Frisbie.. X merupakan rerata skor X .. indeks korelasi point biser ial.. Indeks daya pembeda suatu butir yang kecil nilainya akan menyebabkan butir tersebut tidak dapat membedakan siswa yang kemampuannya tinggi dan siswa yang kemampuannya rendah. 1986.…(4)   s X  1  p1 dengan r pbis = koefisien korelasi point biserial. s X merupakan standar deviasi dari skor X .. yang diturunkan dari rumus reliabilitas (Allen & Yen. SEM) dapat digunakan untuk mamahami kesalahan yang bersifat acak/random yang mempengaruhi skor peserta tes dalam pelaksanaan tes. Kesalahan Pengukuran Kesalahan Pengukuran (Standard Error of Measurement. Daya Pembeda Untuk menentukan daya pembeda.. Jika nilainya kecil.. dan p1 merupakan proporsi peserta tes yang menjawab benar butir tersebut. 1979 : 73). Pada suatu butir soal. X i merupakan variabel kontinu..

0 0. dan Reliabilitas Secara Manual Nama Siswa 1 2 3 4 5 6 7 8 9 10 TOTAL A 1 0 0 0 0 0 0 0 0 0 1 B 1 1 0 0 0 0 0 0 0 0 2 C 1 1 1 0 0 0 0 0 0 0 3 D 1 1 1 1 0 0 0 0 0 0 4 E 1 1 1 1 1 0 0 0 0 0 5 F 1 1 1 1 1 1 0 0 0 0 6 G 1 1 1 1 1 1 1 0 0 0 7 H 1 1 1 1 1 1 1 1 0 0 8 I 1 1 1 1 1 1 1 1 1 0 9 J 1 1 1 1 1 1 1 1 1 1 10 K 1 0 0 0 0 0 0 0 0 0 1 L 1 1 0 0 0 0 0 0 0 0 2 M 1 1 1 0 0 0 0 0 0 0 3 O 1 1 1 1 0 0 0 0 0 0 4 P 1 1 1 1 1 0 0 0 0 0 5 Q 1 1 1 1 1 1 0 0 0 0 6 R 1 1 1 1 1 1 1 0 0 0 7 S 1 1 1 1 1 1 1 1 0 0 8 T 1 1 1 1 1 1 1 1 1 0 9 U 1 1 1 1 1 1 1 1 1 1 10 V 1 0 0 0 0 0 0 0 0 0 1 W 1 1 0 0 0 0 0 0 0 0 2 X 1 1 1 0 0 0 0 0 0 0 3 Y 1 1 1 1 0 0 0 0 0 0 4 Z 1 1 1 1 1 0 0 0 0 0 5 ZA 1 1 1 1 1 1 0 0 0 0 6 ZB 1 1 1 1 1 1 1 0 0 0 7 ZC 1 1 1 1 1 1 1 1 0 0 8 ZD 1 1 1 1 1 1 1 1 1 0 9 ZE 1 1 1 1 1 1 1 1 1 1 10 TOTAL 30 27 24 21 18 15 12 9 6 3 Tingkat Kesukaran Varians 0. Daya Pembeda.3 0.2 0.2 0.2 0.2 0.2 0.1 8. Kegiatan 1 Latihan Mengestimasi Tingkat Kesukaran.1 0.dengan x merupakan standar deviasi dari skor total dan  xx’ merupakan koefisien reliabilitas.5 6 .2 0.

B. Untuk instrumen yang jawabannya dikotomi. Langkah pertama yang dilakukan adalah memasukkan data ke file dalam bentuk ASCII atau DOS Text. C. atau soal pilihan ganda. misal soal benar-salah. Data dituliskan dalam bentuk alphabetik (A. Dalam kesempatan ini dipilih soal objektif bentuk pilihan ganda deng an 4 alternatif jawaban. Contoh: 020 o N 10 DCABBCADAACBACDACBDC 44444444444444444444 yyyyyyyyyyyyyyyyyyyy 0042001 BADCCDABBDABBCDABDCD 0042002 BCADDACBCDABCADBADCC dst 0042040 ABDCABDACCDABCDAACBC Keterangan : Baris pertama Kolom 1 – 3 : jumlah butir soal. maksimum 250 butir 4 : kosong/spsi 5 : untuk jawaban kosong (omit) 6 : kosong/spasi 7 : untuk butir soal yang belum dikerjakan 8 : kosong/spasi 9 – 10 : jumlah identitas data siswa (maks 80) Baris kedua : Kunci jawaban Baris ketiga : Jumlah pilihan jawaban (dalam hal ini 020) (dalam contoh o) (dalam contoh N) (dalam contoh 10) 7 . atau soal menjawab singkat. B. kunci jawaban dapat dinyatakan dengan huruf mulai dari A sampai dengan I atau dengan angka mulai dari 0 sampai dengan 9. Analisis Butir Soal Aspek Kognitif dengan Program ITEMAN Pada analisis butir soal aspek kognitif dengan program ITEMAN. data masukan berupa data dikotomi. D).

1.DAT Enter ------------------------------------------------------------------------------------------Enter the name of the outout file: ------------------------------------------------------------------------------------------Komputer meminta diisikan nama output file (file hasil analisis) 5.OUT lalu tekan ENTER. Start – program – Acessories. Ketik nama file yang akan dianalisis. yaitu jadi satu disket dengan program ITEMAN. 3. yaitu satu sub direktori dengan program ITEMAN.Baris ke empat : kode Y = Yes. Ketik nama file output (hasil) yang dikehendaki. N = butir soal tidak dianalisis Baris ke lima dst : jawaban responden. Bila data sudah masuk semua kemudian disimpan dalam sub direktori tersendiri. Bila diketik Y maka akan muncul: ------------------------------------------------------------------------------------------8 . Menjalankan program Apabila program ITEMAN dan data sudah dalam 1 disket maka cara menjalankannya adalah sebagai berikut.DAT.MS Dos Promt C> lalu ketik A : A :\ > ITEMAN lalu tekan ENTER maka di layar akan tampak: ----------------------------------------------------------------------------------------ITEM & TEST ANALYSIS PROGRAM >>>*************************************************************** Enter the name of the input file: -----------------------------------------------------------------------------------------4. butir soal dianalisis. 2. misalnya CONTOH-1. Dalam kesempatan ini data ditulis dengan “notepad” kemudian disimpan dalam disket. maka muncul: ------------------------------------------------------------------------------------------Do you want the score written to a file?: ------------------------------------------------------------------------------------------Y = bila dikehendaki hasil analisis direkam N = bila hasil analisis tidak direkam. Misalkan data yang baru selesai dimasukkan itu diberi nama CONTOH-1. misal CONTOH-1.

000 -1.344 0.000 There were 46 examinees in the data file.191 ? -0.625 -9. Endorsing Biser. Point Prop.175 0. 1988 by Assessment Systems Corporation Item and Test Analysis Program -. 1984. Biser.ITEMAN (tm) Version 3.175 0.500 0.-----. Biser.----.344 0.Enter the name of the score file: ------------------------------------------------------------------------------------------Komputer minta diisikan nama file untuk skor peserta tes.-----. Alt.SCR lalu tekan ENTER Dalam waktu beberapa detik.625 0.150 0.424 * -9.325 0.000 0. 1986.248 -0.424 A B C D Other 0. Key ---.000 0. A works better Dst. Scale Prop.175 0.175 0.-----. akan muncul tampilan: ITEM ANALYSIS IS COMPLETE Ini menunjukkan bahwa proses analisis telah selesai.971 0.-----.186 0.126 * -9.----------------------------------Seq. MicroCAT (tm) Testing System Copyright (c) 1982.126 CHECK THE KEY C was specified.000 -9.000 0. misal CONTOH-1.DAT Page 1 Item Statistics Alternative Statistics ----------------------.000 5 0-5 0. A B C D Other 0. Ketikkan nama file untuk hasil skor.500 0. Contoh hasil analisis dapat dilihat pada halaman berikut.186 -9.275 0.--1 0-1 0.000 0. Point No.275 0. -Item Correct Biser.126 0.175 0. namun sebelumnya ditata dulu agar hasilnya tidak terpotong-potong. 9 . 6.186 0.00 Item analysis for data from file CONTOH-1. Hasil dapat diprint.000 -0.000 -9.------.----.--------.

Seq. mempunyai skor yang relatif tinggi dalam tes tersebut. Biser adalah indek daya beda butir soal dengan menggunakan koefisien korelasi biserial.000 0.889 0.dev.403 2. adalah standar deviasi dari distribusi skor peserta tes. Mean adalah skor rerata peserta tes 4.394 1. adalah nomor urut butir soal 2. Dev.000 7.575 2. Variance adalah varian dari distribusi skor peserta tes yang memberikan gambaran tentang sebaran skor peserta tes. Point biserial indek daya beda butir soal dengan menggunakan koefisien korelasi point-biserial.000 6. 5.279 0. Nilai positif menunjukkan bahwa peserta tes yang menjawab benar butir soal. 5. Scala-Itemadalah nomor urut butir soal dalam tes/instrumen 3. Prop-Correct adalah proporsi peserta tes yang menjawab benar butir soal 4. N of Item adalah jumlah butir soal 2. Keterangan Statistik Tes: 1. No. Skew Kurtosis Minimum Maximum Median Alpha SEM Mean P Mean Item-Tot.699 1. 10 .Scale Statistics ---------------Scale: N of Items N of Examinees Mean Variance Std. Mean Biserial 0 ------20 40 5. Untuk statistik pilihan jawaban (alternatif) korelasi biserial negatif sangat tidak dikehendaki untuk kunci jawaban.490 1. Keterangan selanjutnya sama dengan yang ada pada Biser.272 Keterangan Statistik Butir Soal: 1.198 0.547 -1. Std. N of Examinees adalah jumlah peserta tes 3.

8. Rinehart and Wiston. dan nilai negatif menunjukkan distribusi yang lebih landai (merata). F. Juling negatif menunjukkan bahwa sebagian besar skor berada di bagian atas (skor tinggi) dari distribusi skor. SEM (standard error of measurement) adalah kesalahan baku pengukuran untuk setiap tes. Yogyakarta : Pustaka Pelajar.A. (1973) Measurement and evaluation in education and psychology. CA: Wadsworth. Kerlinger.N.J. N. Alpha adalah koefisien reliabilitas alpha untuk tes tersebut. Yogyakarta : Gajahmada University Press. 11 . Simatupang). Tim. Kurtosis untuk distribusi normal adalah nol. Inc. I. 12. DAFTAR PUSTAKA Anonim. ASCAR Allen. Syaifudin Azwar (1997).Inc. Kurtosis adalah puncak distribusi skor yang menggambarkan kelandaian distribusi skor peserta tes dibanding dengan distribusi normal. Introduction to measurement theory. User' manual for ITEMAN. 1999. W. M. (1986). W. Mean Biserial adalah nilai rata-rata indeks daya beda dari semua butir dalam tes yang diperoleh dengan menghitung nilai rata-rata biserial dari semua butir dalam tes/skala. Nilai positif menunjukkan distribusi lebih lancip. Manual ITEMAN. (1979). RASCAL and ASCAL. dan sebaliknya 7. Jakarta: Pusisjian Balitbang Depdiknas. Belmont. 1986.C. 9. New York : Hold. & Lehmann. 11. Asas-asas penelitian behavioral (Terjemahan L.6. Mean Item-Tot adalah nilai rata-rata indeks daya beda dari semua butir dalam tes yang diperoleh dengan menghitung nilai rata-rata point biserial dari semua butir dalam tes/skala. Skew adalah kemiringan distribusi skor peserta tes. Mehrens.M. Mean P adalah rata-rata tingkat kesukaran semua butir soal dalam tes secara klasikal dihitung dengan cara mencari rata-rata proporsi peserta tes yang menjawab benar untuk semua butir dalam soal tes tersebut.& Yen.R. 10. Reliabilitas dan validitas (Edisi 3).J.

Kegiatan 2 Menganalisis Butir Soal Dikotomi Data (Simpan dalam CONTOH-1.dat) 040 o N 14 BCBCDADABABCCABCCBADAABBDACCCDBCCCAAABCB 4444444444444444444444444444444444444444 YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY 000001 DCBADADABAACADDCABCDACCDDABCCDACCCAADBCD 000002 BCBACADABABCCABCBDAAAABBDACCCCACBDAADBCD 000003 BCBACBCBBABCCABCBDDDAABBDACCCDBCACAADBCB 000004 BCBCDADABABCCABCDBADAABBDACCCDBCCAAAABCB 000005 BCBADADABAACCABCDBDDAABBDACCCDBCCAAADBCB 000006 BCBADADABADCAABCCBACAABBDACCCDBCACAADBCB 000007 BCAADABBBCDCDDBCDBBCAABCDABCCCACDDAADCCB 000008 BCAADADABABCCABCBBDCAABCAACCACACCCAAABCB 000009 BCBCDADABADCCABCCBADAABBDABCCDBCCCAAABCB 000010 BCBCDADDBABCCABCCADDAABADACCDDBCCCAAABCB 000011 BABADADABABCCABCCACBAABDDABCCCBCCCCACBDB 000012 ACBCCADABABCAAACCAADABABDAACADACBCDDDBCB 000013 BABACADBCAACABDCCAADCDBBCADCACDBDCBACBAB 000014 DDCACADAAAACAABCDAAABCABDACCADBBBCBACBAB 000015 DDCACADAAAACAABCAAAAACACDBCCADBBBCAACBAB 000016 BCBADADABABAACBCCBBCAABADAACCDACCCAAABCD 000017 BCBADADABADCCCBCCBADAABDDABCCDBCACBACBAB 000018 BCBCDADBBABCCADCCBCAAACBDACCCDACCCCBCCCB 000019 BABADADBBACCCABCBBADAABBDACCCCCCCDAACBCB 000020 BCBADADABACCCABCBBACACBBDACCCDBCCCBAACCB 000021 BCBADADABACACABCCBCDAABBDACCCBBCCCBAABCB 000022 BCBADADABABCCABCCDADAABBDACCCDBCBCCACBCB 000023 BCBCDADABABBCABCCBADAABBDACCCDBCBDCACBCB 000024 BCBADADADADCCCBCDCCBAABDDADCCCACDDCCAACB 000025 BCBCDADABABCCABCCADDAABBDABCCCACCCBAABCD 000026 BCBCDADABABCCABCCAADAABBDACCCDBCDCDAABCB 000027 BCBCDADABADCCCBCCCCDAABDDACDCCBCDCCACBCB 000028 BCBCDADABABCCCBCCCCDAABDDACDCCBCDCBACCCB 000029 BABADDDAABACDABCCBDDABBBDAACCDBCCCCADBAB 000030 BCBADADABABCDABCCBACAABBDACCCDCCCCAAABCB 000031 BCBACADABABCDADCCDDDAABBDADCCABCCCAAABCB 000032 BCBACADABADCDADCCBABAABBDACCCDBCCCAAABCB 000033 BABCDADBCAACCABCCAABABBBDACCCDBCCCAADBAB 000034 BCBCDADABADCCABCCBADAABDDACCCDBCCCAAABCB 000035 BCBADADABABCDABCCACDBABCDABCCDACCCBAAACB 000036 BCBCDADABABCCABCCBCDAABBDACCCCBCCCAAABCB 000037 BCBADAAABABACACCCBCDAABDDACCCDACCCAAABCB 000038 BCBADADABABCCABCCBADAABDDACCCDACCCABABCB 000039 BCBADADABABCCABCCBADAABDDACCCDACCCABABCB 000040 BCBCDADABABCCABCCBADAABBDACCCDBCCCABABCB 000041 BCBADADBBABCCABCCBACAABBDACCCDACCCABABCB 12 .

000042 000043 000044 000045 000046 000047 000048 000049 000050 000051 000052 000053 000054 000055 000056 000057 000058 000059 000060 000061 000062 000063 000064 000065 000066 000067 000068 000069 000070 000071 000072 000073 000074 000075 000076 000077 000078 000079 000080 000081 000082 000083 000084 000085 000086 000087 000088 000089 000090 BCBADADABABCCABCCCACAABDDACCCDACCBAAABCB BCBADADABABCCABCCDBBAABBDACCCCACCCBAABCA BCBCDADABABCCADCCCADAABBDACCCDACCCBCACCB BCBAAADABACCCBDCCBAAAABBDACCCDBCCCAABCCB BCBADADABABCDABCCBADAABBDACCCDBCCCAAABCB BCBCDADACABADABCCCADAABCCBBCCCACCACDABCB BCBCCADDBABCAABCDDCAAABBDADCCCBCBCAACBCB BDBDDADBBACABABCADCAAABADABCCDACCAADBBAB BCBADADACABCCABCCBADAABBDACCCDACCACADBCB BCBADAABAADCDABCCAD AABBDACCCCBCCCAACBCB DCBADADBBABABABCBCABAABBDADCCBDCCDDDABAB BCBCDADABABCDABCBDBBAABCDACCCDACBCAACBCB BCBCDADABABCCABCCBADAABDDACCCDBCBCAAABCB CCCCDADBBABCCABCCBADAADBDACCCDBCCCCCBBCB BABCDADBBAACBABCCCACAABBDACCCDBCCCBACBCB BABACADABABCDCBCDBCBAABCDABCCCBABCCAACCB BCBCDADBBADCAABCDBAAABCBAACCDDADCCBABCBB BCBCDADABACCCCBCCDABAABBDACCCDBCBCBACBCB BCBCDADABAACCABCBCADAABBDABCCDACCCBAABCB BABACADAAABCACBCBBBCAACCDBCCBCACBDBDBABB BCBCDADABABCCABCCCCDAACBDABCCDBCDCDAABBB BCBCDADADABCCABCCBAAAABDDACCCDBCCCAAABCB BCBADADBDABCBBBCCBB ABCADAACABACACBBADCB BCBADADABABCAABCCBCDAABADACCCCBCCCABABAB BABCDCDABADCAACCBCCAAABDDAACBCACBCDABBBB BABCDADABADCDABCDDDAAABBDACCCCACBCAAAABB BCBADADBCABADBCCDDBAAACB ACCCDACBCCACAAB BCBCDADABABCCABCCBADAABBDABCCDBCCCAACBCB BABADADABABCCABCCBCDAABBDACCCDACBCABCCBB BCAADADABABCDACCCBCDABBBDADCCCACCCCBCBBB BCBADADABAACDADCCCBCAACBDABCCDACBCAAABBB BACADADBBABCCABCCBABAABABAACCDBCBCDAABBB CCBADADCDA ABBBCDDABAACBDAACCD CBCAAAAAA BDBADADABACACABCCBDDAABBDACCCCCCBCAACBDB BCBCDADABABACABCCAADAABBDACCCDACDCAACCCB BCBADADABABCCABCCCDDAABBBACCCBBCCDDCCBCB BCBADADAAADCDACCCAADAABDDACCCBBCCCACCBCB BCBCDADBBABCCABCBBDAAAABDACCBBACABAADBCB BCBADADABABCCABCCAADAABBDACCCDBCBDAAABCB BCBCDADABABACABCCBADAABBDACCADBCCCDAABCB BABCDADBBABCCABCBDBCAACDDACCCDACACBAABCB BCBCDADABADCCABCCBABAABBDACCCDBCBAAAABCB CCBCDADABADCCABCCBABAABDDABCCDACBCCAABCB BCBADADABABCCCBCDDBAAACCDACCCDACBCCAABDB BCBCDADABABCCABCCDCBAABDDACCCDBCCCAAABDB AABABADBCBBCDDBCBDCCAABBDACCCBACCCACABBB BCBADADABABCCABCCBAAAABBDACCCDCCCCAAABCB BABCDCDBAACCDACCCBCACABBDABCCDACCDBAABCB BCBCCADACADCCABACDADAABBDAACCBBCACAAABDB 13 .

Sign up to vote on this title
UsefulNot useful