Seminar Nasional Teknologi Informasi 2005 1

PENERAPAN METODE ACTIVE LEARNING PADA

KLASIFIKASI POLA BERBASIS CONTOH
Setyo Nugroho 1) Agus Harjoko 2)
1)
Jurusan Teknik Informatika, STMIK STIKOM Balikpapan
Jl. Kapten P Tendean 2A, Balikpapan 76111 Indonesia
email : setyo.n@gmail.com
2)
Program Pascasarjana Ilmu Komputer, Universitas Gadjah Mada
Yogyakarta, Indonesia
email : aharjoko@ugm.ac.id

ABSTRACT
Pada pengklasifikasi pola hasil pembelajaran berbasis
contoh, kelengkapan training data set (contoh data
pelatihan) memegang peran penting dalam menentukan
kualitas pengklasifikasi pola yang dihasilkan. Salah satu
kesulitan dalam sistem pembelajaran berbasis contoh ini
adalah memilih data mana yang akan digunakan sebagai
training data set dari sejumlah besar data contoh yang
tersedia.
Metode active learning dapat membantu mengatasi hal
ini dengan cara melakukan seleksi secara otomatis data
mana yang akan digunakan sebagai bagian dari training
data set. Dengan demikian jumlah data yang digunakan
untuk pelatihan dapat diminimalkan dan hanya data yang
benar-benar perlu saja yang akan digunakan sebagai
training data set untuk proses pembelajaran.
Pada penelitian ini dilakukan eksperimen untuk
menerapkan metode active learning pada jaringan syaraf
tiruan yang disusun untuk menghasilkan sistem pendeteksi
wajah manusia pada citra digital. Hasil eksperimen
menunjukkan bahwa metode active learning dapat
mengurangi jumlah data yang diperlukan untuk proses
training.
Key words
active learning, deteksi wajah, jaringan syaraf tiruan,
klasifikasi pola
1. Pendahuluan
Pada pengklasifikasi pola yang diperoleh dari
pembelajaran dengan berbasis contoh (example-based
learning), kelengkapan contoh data pelatihan (training
data set) memegang peranan yang sangat penting dalam
menentukan kualitas pengklasifikasi pola yang dihasilkan.
Salah satu kesulitan yang dihadapi dalam sistem
pembelajaran berbasis contoh ini adalah memilih data
mana yang akan digunakan sebagai training data set dari
sejumlah besar data contoh yang tersedia. Semakin
lengkap data contoh yang digunakan semakin bagus juga
sistem yang diperoleh. Namun semakin besar jumlah
training data set, semakin besar juga waktu dan biaya
komputasi yang diperlukan untuk pelatihan.
Pada penelitian ini dilakukan eksperimen untuk
menerapkan metode active learning pada jaringan syaraf
tiruan yang dilatih dengan menggunakan algoritma
Quickprop untuk menghasilkan sistem pendeteksi wajah
manusia pada citra digital.
2. Klasifikasi Pola
Tujuan dari klasifikasi pola adalah untuk memberikan
keputusan terhadap suatu pola masukan untuk
diklasifikasikan ke dalam salah satu kelas yang ada.
Deteksi wajah dapat dipandang sebagai masalah
klasifikasi pola dimana dengan input berupa citra masukan
akan ditentukan output berupa label kelas dari citra
tersebut. Dalam hal ini terdapat dua label kelas, yaitu
wajah dan non-wajah [12].
2.1 Active Learning
Penelitian tentang metode active learning antara lain
telah dilakukan oleh Hasenjager [6], Plutowski dan White
[7], Cohn, Atlas, dan Ladner [2], Zhang [15], Adejumo
dan Engelbrecht [1], Sung [12] dan Vijayakumar[13].
Sedangkan penelitian tentang penerapan metode active
learning untuk deteksi wajah telah dilakukan oleh Sung
[12] dan Rowley [8].
Dalam active learning atau query learning, pelajar
(student) ikut berperan aktif dalam memilih contoh data
yang akan digunakan untuk training, sedangkan dalam
pelatihan tradisional atau passive learning pelajar hanya
menerima contoh data secara pasif. Tujuan dari active
learning adalah untuk menghasilkan training data set yang
Seminar Nasional Teknologi Informasi 2005
sesedikit mungkin namun memiliki nilai informasi yang
tinggi. Hal ini sangat berguna dalam keadaan di mana
tersedia data contoh yang jumlahnya sangat banyak,
sedangkan sebagian data tersebut mungkin bersifat
redundan, sehingga membuat proses training menjadi tidak
efisien [6].
2.2 Supervised Learning dengan Multi-Layer
Perceptron
Salah satu metode yang banyak digunakan untuk
klasifikasi pola adalah dengan menggunakan jaringan
syaraf tiruan. Jaringan syaraf tiruan adalah suatu sistem
pemrosesan informasi yang cara kerjanya memiliki
kesamaan tertentu dengan jaringan syaraf biologis [5].
Multi-Layer Perceptron adalah jaringan syaraf tiruan
feed-forward yang terdiri dari sejumlah neuron yang
dihubungkan oleh bobot-bobot penghubung. Neuron-
neuron tersebut disusun dalam lapisan-lapisan yang terdiri
dari satu lapisan input (input layer), satu atau lebih lapisan
tersembunyi (hidden layer), dan satu lapisan output
(output layer). Lapisan input menerima sinyal dari luar,
kemudian melewatkannya ke lapisan tersembunyi pertama,
yang akan diteruskan sehingga akhirnya mencapai lapisan
output.
Setiap neuron i di dalam jaringan adalah sebuah unit
pemrosesan sederhana yang menghitung nilai aktivasinya
yaitu si terhadap input eksitasi yang juga disebut net input
neti.
net i = ∑ s j wij − θ i
j∈ pred (i )
(1)
dimana pred(i) melambangkan himpunan predesesor dari
unit i, wij melambangkan bobot koneksi dari unit j ke unit
i, dan θ i adalah nilai bias dari unit i.
Tujuan dari pembelajaran supervised learning adalah
untuk menentukan nilai bobot-bobot koneksi di dalam
jaringan sehingga jaringan dapat melakukan pemetaan
(mapping) dari input ke output sesuai dengan yang
diinginkan. Pemetaan ini ditentukan melalui satu set pola
contoh atau data pelatihan (training data set).
Setiap pasangan pola p terdiri dari vektor input xp dan
vektor target tp. Setelah selesai pelatihan, jika diberikan
masukan xp seharusnya jaringan menghasilkan nilai output
tp. Besarnya perbedaan antara nilai vektor target dengan
output aktual diukur dengan nilai error yang disebut juga
dengan cost function:
1 sudah termasuk bias. Jaringan ini lebih sederhana
E= ∑∑
2 p∈P n
(t np − s np ) 2 (2)
di mana n adalah banyaknya unit pada output layer.
Tujuan dari training ini pada dasarnya sama dengan
mencari suatu nilai minimum global dari E.
Salah satu algoritma pelatihan jaringan syaraf tiruan
yang banyak dimanfaatkan dalam bidang pengenalan pola
2
adalah backpropagation. Algoritma ini umumnya
digunakan pada jaringan syaraf tiruan yang berjenis multi-
layer feed-forward, yang tersusun dari beberapa lapisan
dan sinyal dialirkan secara searah dari input menuju
output. Secara matematis, ide dasar dari algoritma
backpropagation ini sesungguhnya adalah penerapan dari
aturan rantai (chain rule) untuk menghitung pengaruh
masing-masing bobot terhadap fungsi error [9].
Algoritma Quickprop merupakan pengembangan dari
algoritma backpropagation yang diusulkan oleh Fahlman
[4]. Pada algoritma Quickprop dilakukan pendekatan
dengan asumsi bahwa kurva fungsi error terhadap masing-
masing bobot penghubung berbentuk parabola yang
terbuka ke atas, dan gradien dari kurva error untuk suatu
bobot tidak terpengaruh oleh bobot-bobot yang lain.
Dengan demikian perhitungan perubahan bobot hanya
menggunakan informasi lokal pada masing-masing bobot.
Eksperimen dengan masalah XOR dan encoder/decoder
oleh Fahlman [4], dan eksperimen dari Schiffmann [10]
menunjukkan bahwa algoritma Quickprop dapat
meningkatkan kecepatan training.
3. Cara Penelitian
Dalam penelitian ini digunakan data yang terdiri dari
satu set citra untuk pelatihan (training data set) dan satu
set citra untuk pengujian (testing data set). Untuk data
pelatihan digunakan citra wajah berukuran 20x20 pixel
sebanyak 3000 buah. Sedangkan untuk citra non-wajah
diperoleh dari file-file citra yang tidak terdapat wajah
manusia di dalamnya.
Sistem ini menggunakan jaringan syaraf tiruan (JST)
dengan arsitektur yang diadaptasi dari penelitian Rowley
[8], namun lebih disederhanakan. Lapisan input terdiri dari
400 unit input, yang menerima masukan dari nilai
grayscale pixel 20x20 dari subcitra yang akan dideteksi.
Lapisan output terdiri dari sebuah unit dengan nilai
keluaran berkisar antara –1 dan 1. Pada training data set
didefinisikan nilai 1 untuk data wajah dan –1 untuk data
non-wajah.
Lapisan tersembunyi (hidden layer) terdiri dari total
25+16=41 unit. Bagian pertama terhubung dengan lapisan
input yang membentuk 25 area berukuran 4x4 pixel.
Bagian kedua terhubung dengan lapisan input yang
membentuk 16 area berukuran 5x5 pixel. Secara
keseluruhan jaringan ini memiliki 883 bobot penghubung,
dibandingkan dengan sistem [8] yang jumlah bobot
penghubungnya mencapai 4357.
3.1 Pelatihan dengan Metode Active Learning
Pelatihan dilakukan secara bertahap dengan
menggunakan metode active learning seperti yang
Seminar Nasional Teknologi Informasi 2005
digunakan oleh Sung [12] dan Rowley [8]. Selama
pelatihan digunakan semua data wajah yang ada sebanyak
3000 data wajah. Namun karena data non-wajah yang
tersedia sangat banyak, mencapai lebih dari satu milyar
data, maka dilakukan seleksi secara bertahap terhadap data
non-wajah.
Pada tahap pertama training digunakan 1000 data non-
wajah yang dipilih secara random. Pada setiap tahap
berikutnya, data training non-wajah ditambah sebanyak
200 data. Data tambahan tersebut diseleksi hanya untuk
data non-wajah yang belum dapat dideteksi dengan benar
oleh detektor hasil training tahap sebelumnya, yaitu data
non-wajah yang dideteksi sebagai wajah (false positive).
Dengan cara ini jumlah data training yang digunakan
untuk jaringan syaraf tiruan tidak terlalu besar, sehingga
memori yang diperlukan untuk pelatihan lebih kecil dan
waktu yang diperlukan untuk proses training juga lebih
singkat. Gambar 2 menunjukkan metode active learning
yang digunakan untuk sistem pendeteksi wajah.
3.2 Detektor Wajah
Bagian detektor wajah menggunakan arsitektur
jaringan syaraf yang sama dengan yang digunakan untuk
training. Bobot penghubung yang digunakan diambil dari
bobot terakhir yang dihasilkan pada proses training. Hasil
deteksi akan diputuskan sebagai wajah jika output dari
JST lebih dari 0, dan diputuskan sebagai non-wajah jika
output JST kurang dari atau sama dengan 0.
Posisi wajah bisa berada di mana saja pada citra yang
akan dideteksi. Untuk itu digunakan window berukuran
20x20 pixel yang akan digeser melalui seluruh daerah
citra. Daerah citra yang dilewati oleh window tersebut
akan diperiksa satu persatu apakah ada wajah atau tidak di
area tersebut.
Untuk mengantisipasi ukuran wajah yang bervariasi di
dalam citra yang dideteksi, citra diperkecil secara bertahap
dengan skala perbandingan 1:1,2 sebagaimana dilakukan
pada [8]. Pada setiap ukuran citra yang diperkecil, window
20x20 pixel akan digeser melalui seluruh area citra.
Sebelum digunakan sebagai training data set, citra
akan melalui tahap-tahap preprocessing berupa histogram
equalization untuk memperbaiki kontras citra, masking,
untuk menghilangkan bagian sudut-sudut citra dengan
tujuan mengurangi variasi citra sehingga memperkecil
dimensi data. Setelah itu dilakukan normalisasi pada nilai
intensitas grayscale citra sehingga memiliki range antara
-1 sampai dengan 1. Tahap-tahap preprocessing yang sama
juga dilakukan pada saat pendeteksian wajah. Gambar 3
menunjukkan contoh citra wajah yang telah mengalami
preprocessing.
3
4. Hasil Percobaan
Untuk mengukur unjuk kerja detektor wajah,
digunakan dua parameter, yaitu detection rate dan false
positive rate [14]. Detection rate adalah perbandingan
antara jumlah wajah yang berhasil dideteksi dengan
jumlah seluruh wajah yang ada. False positive rate adalah
banyaknya subcitra non-wajah yang dideteksi sebagai
wajah.
Pengujian dilakukan dengan data uji citra yang berasal
dari Massachusetts Institute of Technology (MIT) yang
terdiri dari 23 file citra yang secara keseluruhan berisi 149
wajah (data uji MIT-23). Kumpulan citra ini pertama kali
dipublikasikan pada [12]. Contoh hasil deteksi dapat
dilihat pada gambar 4. Pada data uji ini diperoleh hasil
detection rate sebesar 71,14% dan false positives
sebanyak 62. Hasil ini diperoleh dari training yang
menggunakan 3000 data wajah dan 5200 data non-wajah
yang diperoleh melalui metode active learning.
Tabel 1 dan gambar 5 menunjukkan pengaruh
banyaknya data training yang digunakan terhadap hasil
deteksi. Tabel ini berdasarkan hasil deteksi pada suatu
citra berisi 15 wajah dan memiliki total 790.797 window
yang dideteksi. Terlihat bahwa semakin banyak data
training non-wajah yang digunakan, semakin kecil angka
false positive yang dihasilkan. Hal ini menunjukkan bahwa
dengan data yang semakin lengkap, hasil belajar sistem
akan semakin baik.
Tabel 2 menunjukkan perbandingan antara hasil
training yang menggunakan metode active learning untuk
memilih contoh data non-wajah, dengan hasil training
yang menggunakan data yang dipilih secara random untuk
data non-wajah. Pada eksperimen pertama digunakan 3000
data wajah dan 3000 data non-wajah. Sedangkan pada
eksperimen kedua digunakan 3000 data wajah dan 5200
data non-wajah. Terlihat bahwa teknik active learning
memberikan hasil yang lebih baik.
5. Kesimpulan dan Saran
Dari penelitian ini dapat diambil kesimpulan bahwa
pada sistem pendeteksi wajah, metode active learning
dapat digunakan untuk memilih data contoh yang lebih
tepat, sehingga meminimalkan jumlah data training yang
digunakan.
Pada penelitian ini seleksi data training hanya
dilakukan pada contoh data non wajah karena jumlahnya
jauh lebih banyak daripada contoh data wajah. Untuk
penelitian selanjutnya seleksi data training mungkin dapat
digunakan juga pada contoh data wajah.
Seminar Nasional Teknologi Informasi 2005 4

REFERENSI Setyo Nugroho, memperoleh gelar ST dari ITS (Institut

[1] A. Adejumo, A.P. Engelbrecht, 1999, “A Comparative Teknologi Sepuluh Nopember) Surabaya di bidang Teknik
Study of Neural Network Active Learning Algorithms”, Elektro - Komputer pada tahun 1998, dan MKom dari UGM
Proceedings of the International Conference on Artificial (Universitas Gadjah Mada) Yogyakarta di bidang Ilmu
Intelligence, 32-35. Komputer pada tahun 2004. Saat ini sebagai staf pengajar di
[2] D. A. Cohn, L. Atlas, R.E. Ladner, ”Improving Jurusan Teknik Informatika, STMIK STIKOM Balikpapan.
generalization with active learning", 1994, Machine
Learning 15(2), 201-221. Agus Harjoko, memperoleh gelar Drs dari UGM (Universitas
[3] A. P. Engelbrecht, 2001, “Selective Learning for Multilayer Gadjah Mada) Yogyakarta dalam bidang Elektronika dan
Feedforward Neural Networks”, International Work- Instrumentasi pada tahun 1986. Gelar M.Sc. dan Ph.D. diperoleh
Conference on Artificial and Natural Neural Networks, pada tahun 1990 dan 1996 dari University of New Brunswick,
IWANN 2001: 386-393. Canada dalam bidang Computer Science. Saat ini bekerja
[4] S.E. Fahlman, 1988, “An Empirical Study of Learning sebagai staff akademik pada program studi Elektronika dan
Speed in Back-Propagation Networks”, Technical Report Instrumentasi, Universitas Gadjah Mada, Yogyakarta.
CMU-CS-88-162, Carnegie Mellon University, USA.
[5] L. Fausett, 1994, “Fundamentals of Neural Networks:
Architectures, Algorithms, and Applications”, Prentice-Hall
Tabel 1 Pengaruh Jumlah Data Training
Inc., USA.
pada Unjuk Kerja Deteksi Wajah
[6] M. Hasenjager, H. Ritter, 2002, “Active Learning in Neural
Networks”, New Learning Paradigms in Soft Computing,
Springer, Berlin. Jumlah data training Detect
False
[7] M. Plutowski, H. White, 1993, “Selecting concise training non- ion
wajah total Positive
sets from clean data”, IEEE Transactions on Neural wajah Rate
Networks, 4, 305-318 (1993). 1000 1000 2000 15/15 42
[8] H. Rowley, S. Baluja, T. Kanade, 1998, “Neural Network- 1000 1200 2200 15/15 32
Based Face Detection”, IEEE Trans. Pattern Analysis and
Machine Intelligence, vol. 20, no. 1. 1000 1400 2400 15/15 31
[9] D.E. Rumelhart, G.E. Hinton, R.J. Williams, 1986, 1000 1600 2600 15/15 24
“Learning Internal Representations by Error Propagation”, 1000 1800 2800 15/15 23
Parallel Distributed Processing, chapter 8, MIT Press, 1000 2000 3000 15/15 19
Cambridge, MA. 1000 2200 3200 15/15 10
[10] W. Schiffmann, M. Joost, R. Werner, 1993, “Comparison
of Optimized Backpropagation Algorithms”, Proc. of the 1000 2400 3400 15/15 5
European Symposium on Artificial Neural Networks 1000 2600 3600 15/15 4
(ESANN) ’93, Brussels. 1000 2800 3800 15/15 2
[11] K.K. Sung, 1996, “Learning and Example Selection for 1000 3000 4000 15/15 2
Object and Pattern Detection”, AITR 1572, Massachusetts 1000 3200 4200 15/15 2
Institute of Technology AI Lab.
1000 3400 4400 15/15 2
[12] K.K. Sung, T. Poggio, 1994, “Example-Based Learning for
View-Based Human Face Detection”, Technical Report AI 1000 3600 4600 15/15 1
Memo 1521, Massachusetts Institute of Technology AI Lab. 1000 3800 4800 15/15 1
[13] S. Vijayakumar, H. Ogawa, February 1999, “Improving 1000 4000 5000 15/15 1
generalization ability through active learning”, IEICE
Transactions on Information and Systems, Vol. E82D No.2,
480-487. Tabel 2 Hasil Kinerja Metode Active Learning
[14] M.H. Yang, D. Kriegman, N. Ahuja, 2002, “Detecting
Faces in Images: A Survey”, IEEE Trans. Pattern Analysis Seleksi Data
and Machine Intelligence, vol. 24, no. 1. Jumlah Seleksi Data secara dengan Active
[15] B. T. Zhang, 1994, “Accelerated Learning by Active Data Random Learning
Example Selection”, International Journal of Neural Training Detection False Detection False
Systems, 5(1), 67-75. Rate Positive Rate Positive
6000 62,42% 1160 71,14% 201
8200 63,76% 732 71,14% 62
 Seminar Nasional Teknologi Informasi 2005 5

Input Hidden
Layer Layer
grid
5x5 pixel

Output
input
20x20
pixel

grid
4x4

Gambar 1 Arsitektur jaringan syaraf tiruan untuk sistem pendeteksi wajah

Koleksi Contoh Koleksi Contoh

Data Non-Wajah Data Wajah

Pilih Data Training

random untuk JST

Training
JST

Bobot JST
Hasil Training

JST Gambar 4 Contoh hasil deteksi

Detektor
Wajah
45
40
False Positive
35
Hasil Deteksi
False Positive

30
25
Gambar 2 Teknik active learning untuk sistem pendeteksi wajah
20
15
10
5
0
1000

1200
1400

1600

1800

2000
2200

2400
2600

2800

3000
3200

3400

3600
3800

4000

Jum lah data non-w ajah

Gambar 5 Grafik false positive terhadap

jumlah contoh data non-wajah dari tabel 1
Gambar 3 Contoh citra wajah yang telah mengalami proses
resizing, histogram equalization, dan masking