Professional Documents
Culture Documents
PKB - Antonie
Biological Inspiration
• Animals are able to react adaptively to
changes in their external and internal
environment, and they use their nervous
system to perform these behaviours.
• The nervous system is build by relatively
simple units, the neurons, so copying their
behavior and functionality should be the
solution.
Human Brain
• Bertugas untuk memproses informasi
• Seperti prosesor sederhana
• Masing-masing cell tersebut berinteraksi
mendukung kinerja otak
• Setiap sel (neuron) memiliki satu nukleus
(soma), bertugas memproses informasi,
informasi diterima oleh dendrit, dan disebarkan
melalui akson
• Pertemuan informasi antar syaraf berada di
sinapsis
Human Brain
• Manusia memiliki krg lbh 10^12 neuron! Dan
6x10^18 sinapsis!
• Informasi yang dikirimkan berupa rangsangan
dengan sebuah batas ambang (threshold)
– Pada batas tertentu, syaraf lain akan teraktifasi dan
merespon
• Hubungan antar syaraf terjadi secara dinamis
• Otak manusia memiliki kemampuan untuk
belajar dan beradaptasi
– Mampu mengenali pola, wajah, mengkontrol organ
tubuh!
Human Neuron
Dendrites
Axon
Human Neuron (Detail)
axon dendrites
synapses
Human Brain
• Neuron merupakan sistem yang fault
tolerance
– Dapat mengenali sinyal input yang berbeda
dari sebelumnya
• Dapat mengenali orang yg blm pernah ditemui
hanya dengan melihat dari foto
• Dapat mengenali orang yang berubah krn tua
misalnya
– Tetap dapat bekerja walau beberapa
neuronnya rusak, neuron lain dapat tumbuh
dan dilatih
Learning in biological systems
The young animal learns that the green fruits are sour,
while the yellowish/reddish ones are sweet. The learning
happens by adapting the fruit picking behavior.
n
X1 Y1
W1 z wi xi ; y H ( z )
i 1
X2
Y2
W2
Fungsi aktivasi
X3 W3 Y3
Bobot
Masukkan Keluaran
• Competitive Layer /
Recurrent
Pengelompokkan JST
• JST Feed Forward
– Tidak mempunyai loop
– Contoh: single layer perceptron, mutilayer
perceptron, radial basis function
• JST Feed Backward (Recurrent)
– Memiliki loop, lapisan output akan memberi
input lagi bagi lapisan input
– Contoh: competitive networks, kohonen,
hopfield, ART
Paradigma pembelajaran
• Supervised Learning
– Kumpulan input berusaha membentuk target output yang sudah
diketahui sebelumnya
– Perbedaan antara output yang masih salah dengan output yang
diharapkan harus sekecil mungkin
– Biasanya lebih baik daripada unsupervised
– Kelemahan: pertumbuhan waktu komputasi eksponensial, data
bnyk berarti semakin lambat
• Unsupervised Learning
– JST mengorganisasikan dirinya untuk membentuk vektor-vektor
input yang serupa tanpa menggunakan data atau contoh-contoh
pelatihan, biasanya ke dalam suatu kategori/kelompok2 tertentu
• Hibrida Learning
– Gabungan antara unsupervised dan supervised
Algoritma Pembelajaran Umum
• Dimasukkan n data pelatihan
• Inisialisasi bobot-bobot jaringan, set i = 1
• Masukkan contoh ke-i ke dalam input
• Cari tingkat aktivasi unit output menggunakan
algoritma yang ditetapkan
– If memenuhi kriteria output then exit
else:
• Update bobot2 menggunakan fungsi galat error,
Bobot baru = bobot lama + delta
• If i=n then reset i=1, else i=i+1
JST dan Aplikasi
• Klasifikasi: ADALINE, Backpropagation
• Pengenalan Pola: ART, Backpropagation
• Peramalan: ADALINE, MADALINE,
Backpropagation
• Optimasi: ADALINE, Hopfield, Boltzman,
Backpropagation
Fungsi Aktivasi
• Fungsi undak biner (hard limit)
Fungsi Aktivasi
• Fungsi bipolar
X1 X2 Y
1 1 1
1 0 0
0 1 0
0 0 0
Jawab
X1 X2 net Y, 1 jika net >=2, 0 jika net < 2
1 1 1.1+1.1=2 1
X
1 0 1.1+0.1=1 0 1 1
0 1 0.1+1.1=1 0 Y
2
0 0 0.1+0.1=0 0 X
2 1
0 1 0.1+1.1=1 1 Y
1
0 0 0.1+0.1=0 0 X2
1
0 1 0.2+1.-1=-1 0 Y
0 0 0.2+0.-1=0 0
2
X2
-1
1 0 1
0 1 1
0 0 0
F(0,0) = 0 F(1,0) = 1
GAGAL!
Solusi
• XOR = (x1 ^ ~x2) V (~x1 ^ x2)
• Ternyata dibutuhkan sebuah layer
tersembunyi
2
2
X1 Z1
1
-1
Y 1
-1
1
X2 Z2
2
Tabel
Jaringan HEBB
• Menggunakan iterasi untuk menghitung bobot dan bias
• Dalam setiap iterasi, bobot dan bias diubah berdasarkan
rumus tertentu
• W = bobot
• Wbaru = Wlama + X1Y1
• Algoritma:
– Init, semua bobot wi = 0
– Untuk semua input:
• Set fungsi aktivasi xi = si
• Set output y=t
• Perbaiki bobot: w(baru) = w(lama) + delta w, dengan delta w = xi*y
• Perbaiki bias, b(baru) = b(lama) + y
To Be Continued
• Jaringan HEBB
• Jaringan Perceptron
• Jaringan Back Propagation
• Hybrid JST