P. 1
Penerapan Metode Active Learning pada Klasifikasi Pola Berbasis Contoh

Penerapan Metode Active Learning pada Klasifikasi Pola Berbasis Contoh

4.25

|Views: 5,119|Likes:
Published by Setyo Nugroho
Penerapan Metode Active Learning pada Klasifikasi Pola Berbasis Contoh , Setyo Nugroho dan Agus Harjoko.
Seminar Nasional Teknologi Informasi (SNTI) 2005, 1 Oktober 2005, Fakultas Teknologi Informasi, Universitas Tarumanagara, Jakarta .

ABSTRACT
Pada pengklasifikasi pola hasil pembelajaran berbasis
contoh, kelengkapan training data set (contoh data
pelatihan) memegang peran penting dalam menentukan
kualitas pengklasifikasi pola yang dihasilkan. Salah satu
kesulitan dalam sistem pembelajaran berbasis contoh ini
adalah memilih data mana yang akan digunakan sebagai
training data set dari sejumlah besar data contoh yang
tersedia.
Metode active learning dapat membantu mengatasi hal
ini dengan cara melakukan seleksi secara otomatis data
mana yang akan digunakan sebagai bagian dari training
data set. Dengan demikian jumlah data yang digunakan
untuk pelatihan dapat diminimalkan dan hanya data yang
benar-benar perlu saja yang akan digunakan sebagai
training data set untuk proses pembelajaran.
Pada penelitian ini dilakukan eksperimen untuk
menerapkan metode active learning pada jaringan syaraf
tiruan yang disusun untuk menghasilkan sistem pendeteksi
wajah manusia pada citra digital. Hasil eksperimen
menunjukkan bahwa metode active learning dapat
mengurangi jumlah data yang diperlukan untuk proses
training.
Key words
active learning, deteksi wajah, jaringan syaraf tiruan,
klasifikasi pola
Penerapan Metode Active Learning pada Klasifikasi Pola Berbasis Contoh , Setyo Nugroho dan Agus Harjoko.
Seminar Nasional Teknologi Informasi (SNTI) 2005, 1 Oktober 2005, Fakultas Teknologi Informasi, Universitas Tarumanagara, Jakarta .

ABSTRACT
Pada pengklasifikasi pola hasil pembelajaran berbasis
contoh, kelengkapan training data set (contoh data
pelatihan) memegang peran penting dalam menentukan
kualitas pengklasifikasi pola yang dihasilkan. Salah satu
kesulitan dalam sistem pembelajaran berbasis contoh ini
adalah memilih data mana yang akan digunakan sebagai
training data set dari sejumlah besar data contoh yang
tersedia.
Metode active learning dapat membantu mengatasi hal
ini dengan cara melakukan seleksi secara otomatis data
mana yang akan digunakan sebagai bagian dari training
data set. Dengan demikian jumlah data yang digunakan
untuk pelatihan dapat diminimalkan dan hanya data yang
benar-benar perlu saja yang akan digunakan sebagai
training data set untuk proses pembelajaran.
Pada penelitian ini dilakukan eksperimen untuk
menerapkan metode active learning pada jaringan syaraf
tiruan yang disusun untuk menghasilkan sistem pendeteksi
wajah manusia pada citra digital. Hasil eksperimen
menunjukkan bahwa metode active learning dapat
mengurangi jumlah data yang diperlukan untuk proses
training.
Key words
active learning, deteksi wajah, jaringan syaraf tiruan,
klasifikasi pola

More info:

Categories:Types, School Work
Published by: Setyo Nugroho on Aug 17, 2008
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

07/29/2013

pdf

text

original

Seminar Nasional Teknologi Informasi 2005

1

PENERAPAN METODE ACTIVE LEARNING PADA KLASIFIKASI POLA BERBASIS CONTOH
Setyo Nugroho 1) Agus Harjoko 2)
1)

Jurusan Teknik Informatika, STMIK STIKOM Balikpapan Jl. Kapten P Tendean 2A, Balikpapan 76111 Indonesia
email : setyo.n@gmail.com

2)

Program Pascasarjana Ilmu Komputer, Universitas Gadjah Mada Yogyakarta, Indonesia
email : aharjoko@ugm.ac.id

ABSTRACT
Pada pengklasifikasi pola hasil pembelajaran berbasis contoh, kelengkapan training data set (contoh data pelatihan) memegang peran penting dalam menentukan kualitas pengklasifikasi pola yang dihasilkan. Salah satu kesulitan dalam sistem pembelajaran berbasis contoh ini adalah memilih data mana yang akan digunakan sebagai training data set dari sejumlah besar data contoh yang tersedia. Metode active learning dapat membantu mengatasi hal ini dengan cara melakukan seleksi secara otomatis data mana yang akan digunakan sebagai bagian dari training data set. Dengan demikian jumlah data yang digunakan untuk pelatihan dapat diminimalkan dan hanya data yang benar-benar perlu saja yang akan digunakan sebagai training data set untuk proses pembelajaran. Pada penelitian ini dilakukan eksperimen untuk menerapkan metode active learning pada jaringan syaraf tiruan yang disusun untuk menghasilkan sistem pendeteksi wajah manusia pada citra digital. Hasil eksperimen menunjukkan bahwa metode active learning dapat mengurangi jumlah data yang diperlukan untuk proses training.

mana yang akan digunakan sebagai training data set dari sejumlah besar data contoh yang tersedia. Semakin lengkap data contoh yang digunakan semakin bagus juga sistem yang diperoleh. Namun semakin besar jumlah training data set, semakin besar juga waktu dan biaya komputasi yang diperlukan untuk pelatihan. Pada penelitian ini dilakukan eksperimen untuk menerapkan metode active learning pada jaringan syaraf tiruan yang dilatih dengan menggunakan algoritma Quickprop untuk menghasilkan sistem pendeteksi wajah manusia pada citra digital.

2. Klasifikasi Pola
Tujuan dari klasifikasi pola adalah untuk memberikan keputusan terhadap suatu pola masukan untuk diklasifikasikan ke dalam salah satu kelas yang ada. Deteksi wajah dapat dipandang sebagai masalah klasifikasi pola dimana dengan input berupa citra masukan akan ditentukan output berupa label kelas dari citra tersebut. Dalam hal ini terdapat dua label kelas, yaitu wajah dan non-wajah [12].

2.1 Active Learning Key words
active learning, deteksi wajah, jaringan syaraf tiruan, klasifikasi pola

1. Pendahuluan
Pada pengklasifikasi pola yang diperoleh dari pembelajaran dengan berbasis contoh (example-based learning), kelengkapan contoh data pelatihan (training data set) memegang peranan yang sangat penting dalam menentukan kualitas pengklasifikasi pola yang dihasilkan. Salah satu kesulitan yang dihadapi dalam sistem pembelajaran berbasis contoh ini adalah memilih data

Penelitian tentang metode active learning antara lain telah dilakukan oleh Hasenjager [6], Plutowski dan White [7], Cohn, Atlas, dan Ladner [2], Zhang [15], Adejumo dan Engelbrecht [1], Sung [12] dan Vijayakumar[13]. Sedangkan penelitian tentang penerapan metode active learning untuk deteksi wajah telah dilakukan oleh Sung [12] dan Rowley [8]. Dalam active learning atau query learning, pelajar (student) ikut berperan aktif dalam memilih contoh data yang akan digunakan untuk training, sedangkan dalam pelatihan tradisional atau passive learning pelajar hanya menerima contoh data secara pasif. Tujuan dari active learning adalah untuk menghasilkan training data set yang

Seminar Nasional Teknologi Informasi 2005

2

sesedikit mungkin namun memiliki nilai informasi yang tinggi. Hal ini sangat berguna dalam keadaan di mana tersedia data contoh yang jumlahnya sangat banyak, sedangkan sebagian data tersebut mungkin bersifat redundan, sehingga membuat proses training menjadi tidak efisien [6].

2.2 Supervised Learning dengan Multi-Layer Perceptron
Salah satu metode yang banyak digunakan untuk klasifikasi pola adalah dengan menggunakan jaringan syaraf tiruan. Jaringan syaraf tiruan adalah suatu sistem pemrosesan informasi yang cara kerjanya memiliki kesamaan tertentu dengan jaringan syaraf biologis [5]. Multi-Layer Perceptron adalah jaringan syaraf tiruan feed-forward yang terdiri dari sejumlah neuron yang dihubungkan oleh bobot-bobot penghubung. Neuronneuron tersebut disusun dalam lapisan-lapisan yang terdiri dari satu lapisan input (input layer), satu atau lebih lapisan tersembunyi (hidden layer), dan satu lapisan output (output layer). Lapisan input menerima sinyal dari luar, kemudian melewatkannya ke lapisan tersembunyi pertama, yang akan diteruskan sehingga akhirnya mencapai lapisan output. Setiap neuron i di dalam jaringan adalah sebuah unit pemrosesan sederhana yang menghitung nilai aktivasinya yaitu si terhadap input eksitasi yang juga disebut net input neti. net i = s j wij − θ i (1)

adalah backpropagation. Algoritma ini umumnya digunakan pada jaringan syaraf tiruan yang berjenis multilayer feed-forward, yang tersusun dari beberapa lapisan dan sinyal dialirkan secara searah dari input menuju output. Secara matematis, ide dasar dari algoritma backpropagation ini sesungguhnya adalah penerapan dari aturan rantai (chain rule) untuk menghitung pengaruh masing-masing bobot terhadap fungsi error [9]. Algoritma Quickprop merupakan pengembangan dari algoritma backpropagation yang diusulkan oleh Fahlman [4]. Pada algoritma Quickprop dilakukan pendekatan dengan asumsi bahwa kurva fungsi error terhadap masingmasing bobot penghubung berbentuk parabola yang terbuka ke atas, dan gradien dari kurva error untuk suatu bobot tidak terpengaruh oleh bobot-bobot yang lain. Dengan demikian perhitungan perubahan bobot hanya menggunakan informasi lokal pada masing-masing bobot. Eksperimen dengan masalah XOR dan encoder/decoder oleh Fahlman [4], dan eksperimen dari Schiffmann [10] menunjukkan bahwa algoritma Quickprop dapat meningkatkan kecepatan training.

3. Cara Penelitian
Dalam penelitian ini digunakan data yang terdiri dari satu set citra untuk pelatihan (training data set) dan satu set citra untuk pengujian (testing data set). Untuk data pelatihan digunakan citra wajah berukuran 20x20 pixel sebanyak 3000 buah. Sedangkan untuk citra non-wajah diperoleh dari file-file citra yang tidak terdapat wajah manusia di dalamnya. Sistem ini menggunakan jaringan syaraf tiruan (JST) dengan arsitektur yang diadaptasi dari penelitian Rowley [8], namun lebih disederhanakan. Lapisan input terdiri dari 400 unit input, yang menerima masukan dari nilai grayscale pixel 20x20 dari subcitra yang akan dideteksi. Lapisan output terdiri dari sebuah unit dengan nilai keluaran berkisar antara –1 dan 1. Pada training data set didefinisikan nilai 1 untuk data wajah dan –1 untuk data non-wajah. Lapisan tersembunyi (hidden layer) terdiri dari total 25+16=41 unit. Bagian pertama terhubung dengan lapisan input yang membentuk 25 area berukuran 4x4 pixel. Bagian kedua terhubung dengan lapisan input yang membentuk 16 area berukuran 5x5 pixel. Secara keseluruhan jaringan ini memiliki 883 bobot penghubung, sudah termasuk bias. Jaringan ini lebih sederhana dibandingkan dengan sistem [8] yang jumlah bobot penghubungnya mencapai 4357.

j∈ pred (i )

dimana pred(i) melambangkan himpunan predesesor dari unit i, wij melambangkan bobot koneksi dari unit j ke unit i, dan θ i adalah nilai bias dari unit i. Tujuan dari pembelajaran supervised learning adalah untuk menentukan nilai bobot-bobot koneksi di dalam jaringan sehingga jaringan dapat melakukan pemetaan (mapping) dari input ke output sesuai dengan yang diinginkan. Pemetaan ini ditentukan melalui satu set pola contoh atau data pelatihan (training data set). Setiap pasangan pola p terdiri dari vektor input xp dan vektor target tp. Setelah selesai pelatihan, jika diberikan masukan xp seharusnya jaringan menghasilkan nilai output tp. Besarnya perbedaan antara nilai vektor target dengan output aktual diukur dengan nilai error yang disebut juga dengan cost function: 1 p E= (t np − s n ) 2 (2) 2 p∈P n

∑∑

di mana n adalah banyaknya unit pada output layer. Tujuan dari training ini pada dasarnya sama dengan mencari suatu nilai minimum global dari E. Salah satu algoritma pelatihan jaringan syaraf tiruan yang banyak dimanfaatkan dalam bidang pengenalan pola

3.1 Pelatihan dengan Metode Active Learning
Pelatihan dilakukan secara bertahap dengan menggunakan metode active learning seperti yang

Seminar Nasional Teknologi Informasi 2005

3

digunakan oleh Sung [12] dan Rowley [8]. Selama pelatihan digunakan semua data wajah yang ada sebanyak 3000 data wajah. Namun karena data non-wajah yang tersedia sangat banyak, mencapai lebih dari satu milyar data, maka dilakukan seleksi secara bertahap terhadap data non-wajah. Pada tahap pertama training digunakan 1000 data nonwajah yang dipilih secara random. Pada setiap tahap berikutnya, data training non-wajah ditambah sebanyak 200 data. Data tambahan tersebut diseleksi hanya untuk data non-wajah yang belum dapat dideteksi dengan benar oleh detektor hasil training tahap sebelumnya, yaitu data non-wajah yang dideteksi sebagai wajah (false positive). Dengan cara ini jumlah data training yang digunakan untuk jaringan syaraf tiruan tidak terlalu besar, sehingga memori yang diperlukan untuk pelatihan lebih kecil dan waktu yang diperlukan untuk proses training juga lebih singkat. Gambar 2 menunjukkan metode active learning yang digunakan untuk sistem pendeteksi wajah.

4. Hasil Percobaan
Untuk mengukur unjuk kerja detektor wajah, digunakan dua parameter, yaitu detection rate dan false positive rate [14]. Detection rate adalah perbandingan antara jumlah wajah yang berhasil dideteksi dengan jumlah seluruh wajah yang ada. False positive rate adalah banyaknya subcitra non-wajah yang dideteksi sebagai wajah. Pengujian dilakukan dengan data uji citra yang berasal dari Massachusetts Institute of Technology (MIT) yang terdiri dari 23 file citra yang secara keseluruhan berisi 149 wajah (data uji MIT-23). Kumpulan citra ini pertama kali dipublikasikan pada [12]. Contoh hasil deteksi dapat dilihat pada gambar 4. Pada data uji ini diperoleh hasil detection rate sebesar 71,14% dan false positives sebanyak 62. Hasil ini diperoleh dari training yang menggunakan 3000 data wajah dan 5200 data non-wajah yang diperoleh melalui metode active learning. Tabel 1 dan gambar 5 menunjukkan pengaruh banyaknya data training yang digunakan terhadap hasil deteksi. Tabel ini berdasarkan hasil deteksi pada suatu citra berisi 15 wajah dan memiliki total 790.797 window yang dideteksi. Terlihat bahwa semakin banyak data training non-wajah yang digunakan, semakin kecil angka false positive yang dihasilkan. Hal ini menunjukkan bahwa dengan data yang semakin lengkap, hasil belajar sistem akan semakin baik. Tabel 2 menunjukkan perbandingan antara hasil training yang menggunakan metode active learning untuk memilih contoh data non-wajah, dengan hasil training yang menggunakan data yang dipilih secara random untuk data non-wajah. Pada eksperimen pertama digunakan 3000 data wajah dan 3000 data non-wajah. Sedangkan pada eksperimen kedua digunakan 3000 data wajah dan 5200 data non-wajah. Terlihat bahwa teknik active learning memberikan hasil yang lebih baik.

3.2 Detektor Wajah
Bagian detektor wajah menggunakan arsitektur jaringan syaraf yang sama dengan yang digunakan untuk training. Bobot penghubung yang digunakan diambil dari bobot terakhir yang dihasilkan pada proses training. Hasil deteksi akan diputuskan sebagai wajah jika output dari JST lebih dari 0, dan diputuskan sebagai non-wajah jika output JST kurang dari atau sama dengan 0. Posisi wajah bisa berada di mana saja pada citra yang akan dideteksi. Untuk itu digunakan window berukuran 20x20 pixel yang akan digeser melalui seluruh daerah citra. Daerah citra yang dilewati oleh window tersebut akan diperiksa satu persatu apakah ada wajah atau tidak di area tersebut. Untuk mengantisipasi ukuran wajah yang bervariasi di dalam citra yang dideteksi, citra diperkecil secara bertahap dengan skala perbandingan 1:1,2 sebagaimana dilakukan pada [8]. Pada setiap ukuran citra yang diperkecil, window 20x20 pixel akan digeser melalui seluruh area citra. Sebelum digunakan sebagai training data set, citra akan melalui tahap-tahap preprocessing berupa histogram equalization untuk memperbaiki kontras citra, masking, untuk menghilangkan bagian sudut-sudut citra dengan tujuan mengurangi variasi citra sehingga memperkecil dimensi data. Setelah itu dilakukan normalisasi pada nilai intensitas grayscale citra sehingga memiliki range antara -1 sampai dengan 1. Tahap-tahap preprocessing yang sama juga dilakukan pada saat pendeteksian wajah. Gambar 3 menunjukkan contoh citra wajah yang telah mengalami preprocessing.

5. Kesimpulan dan Saran
Dari penelitian ini dapat diambil kesimpulan bahwa pada sistem pendeteksi wajah, metode active learning dapat digunakan untuk memilih data contoh yang lebih tepat, sehingga meminimalkan jumlah data training yang digunakan. Pada penelitian ini seleksi data training hanya dilakukan pada contoh data non wajah karena jumlahnya jauh lebih banyak daripada contoh data wajah. Untuk penelitian selanjutnya seleksi data training mungkin dapat digunakan juga pada contoh data wajah.

Seminar Nasional Teknologi Informasi 2005

4

REFERENSI
[1] A. Adejumo, A.P. Engelbrecht, 1999, “A Comparative Study of Neural Network Active Learning Algorithms”, Proceedings of the International Conference on Artificial Intelligence, 32-35. [2] D. A. Cohn, L. Atlas, R.E. Ladner, ”Improving generalization with active learning", 1994, Machine Learning 15(2), 201-221. [3] A. P. Engelbrecht, 2001, “Selective Learning for Multilayer Feedforward Neural Networks”, International WorkConference on Artificial and Natural Neural Networks, IWANN 2001: 386-393. [4] S.E. Fahlman, 1988, “An Empirical Study of Learning Speed in Back-Propagation Networks”, Technical Report CMU-CS-88-162, Carnegie Mellon University, USA. [5] L. Fausett, 1994, “Fundamentals of Neural Networks: Architectures, Algorithms, and Applications”, Prentice-Hall Inc., USA. [6] M. Hasenjager, H. Ritter, 2002, “Active Learning in Neural Networks”, New Learning Paradigms in Soft Computing, Springer, Berlin. [7] M. Plutowski, H. White, 1993, “Selecting concise training sets from clean data”, IEEE Transactions on Neural Networks, 4, 305-318 (1993). [8] H. Rowley, S. Baluja, T. Kanade, 1998, “Neural NetworkBased Face Detection”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 20, no. 1. [9] D.E. Rumelhart, G.E. Hinton, R.J. Williams, 1986, “Learning Internal Representations by Error Propagation”, Parallel Distributed Processing, chapter 8, MIT Press, Cambridge, MA. [10] W. Schiffmann, M. Joost, R. Werner, 1993, “Comparison of Optimized Backpropagation Algorithms”, Proc. of the European Symposium on Artificial Neural Networks (ESANN) ’93, Brussels. [11] K.K. Sung, 1996, “Learning and Example Selection for Object and Pattern Detection”, AITR 1572, Massachusetts Institute of Technology AI Lab. [12] K.K. Sung, T. Poggio, 1994, “Example-Based Learning for View-Based Human Face Detection”, Technical Report AI Memo 1521, Massachusetts Institute of Technology AI Lab. [13] S. Vijayakumar, H. Ogawa, February 1999, “Improving generalization ability through active learning”, IEICE Transactions on Information and Systems, Vol. E82D No.2, 480-487. [14] M.H. Yang, D. Kriegman, N. Ahuja, 2002, “Detecting Faces in Images: A Survey”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 24, no. 1. [15] B. T. Zhang, 1994, “Accelerated Learning by Active Example Selection”, International Journal of Neural Systems, 5(1), 67-75.

Setyo Nugroho, memperoleh gelar ST dari ITS (Institut Teknologi Sepuluh Nopember) Surabaya di bidang Teknik Elektro - Komputer pada tahun 1998, dan MKom dari UGM (Universitas Gadjah Mada) Yogyakarta di bidang Ilmu Komputer pada tahun 2004. Saat ini sebagai staf pengajar di Jurusan Teknik Informatika, STMIK STIKOM Balikpapan. Agus Harjoko, memperoleh gelar Drs dari UGM (Universitas Gadjah Mada) Yogyakarta dalam bidang Elektronika dan Instrumentasi pada tahun 1986. Gelar M.Sc. dan Ph.D. diperoleh pada tahun 1990 dan 1996 dari University of New Brunswick, Canada dalam bidang Computer Science. Saat ini bekerja sebagai staff akademik pada program studi Elektronika dan Instrumentasi, Universitas Gadjah Mada, Yogyakarta.

Tabel 1 Pengaruh Jumlah Data Training pada Unjuk Kerja Deteksi Wajah

Jumlah data training nonwajah total wajah 1000 1000 2000 1000 1200 2200 1000 1400 2400 1000 1600 2600 1000 1800 2800 1000 2000 3000 1000 2200 3200 1000 2400 3400 1000 2600 3600 1000 2800 3800 1000 3000 4000 1000 3200 4200 1000 3400 4400 1000 3600 4600 1000 3800 4800 1000 4000 5000

Detect ion Rate 15/15 15/15 15/15 15/15 15/15 15/15 15/15 15/15 15/15 15/15 15/15 15/15 15/15 15/15 15/15 15/15

False Positive 42 32 31 24 23 19 10 5 4 2 2 2 2 1 1 1

Tabel 2 Hasil Kinerja Metode Active Learning

Jumlah Data Training 6000 8200

Seleksi Data secara Random

Seleksi Data dengan Active Learning

Detection False Detection False Rate Positive Rate Positive 62,42% 1160 71,14% 201 63,76% 732 71,14% 62

Seminar Nasional Teknologi Informasi 2005

5

Input Layer grid 5x5 pixel

Hidden Layer

Output input 20x20 pixel

grid 4x4

Gambar 1 Arsitektur jaringan syaraf tiruan untuk sistem pendeteksi wajah

Koleksi Contoh Data Non-Wajah

Koleksi Contoh Data Wajah

Pilih random

Data Training untuk JST

Training JST

Bobot JST Hasil Training

JST Detektor Wajah
45 40 35
False Positive

Gambar 4 Contoh hasil deteksi

False Positive Hasil Deteksi Gambar 2 Teknik active learning untuk sistem pendeteksi wajah

30 25 20 15 10 5 0
1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 3200 3400 3600 3800 4000

Jum lah data non-w ajah

Gambar 5 Grafik false positive terhadap jumlah contoh data non-wajah dari tabel 1 Gambar 3 Contoh citra wajah yang telah mengalami proses resizing, histogram equalization, dan masking

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->