Jaringan Syaraf Tiruan

PKB - Antonie

Biological Inspiration
‡ Animals are able to react adaptively to changes in their external and internal environment, and they use their nervous system to perform these behaviours. ‡ The nervous system is build by relatively simple units, the neurons, so copying their behavior and functionality should be the solution.

Human Brain
‡ Bertugas untuk memproses informasi ‡ Seperti prosesor sederhana ‡ Masing-masing cell tersebut berinteraksi mendukung kinerja otak ‡ Setiap sel (neuron) memiliki satu nukleus (soma), bertugas memproses informasi, informasi diterima oleh dendrit, dan disebarkan melalui akson ‡ Pertemuan informasi antar syaraf berada di sinapsis

Human Brain
‡ Manusia memiliki krg lbh 10^12 neuron! Dan 6x10^18 sinapsis! ‡ Informasi yang dikirimkan berupa rangsangan dengan sebuah batas ambang (threshold)
± Pada batas tertentu, syaraf lain akan teraktifasi dan merespon

‡ Hubungan antar syaraf terjadi secara dinamis ‡ Otak manusia memiliki kemampuan untuk belajar dan beradaptasi
± Mampu mengenali pola, wajah, mengkontrol organ tubuh!

Human Neuron Dendrites Soma (cell body) Axon .

Human Neuron (Detail) axon dendrites synapses .

neuron lain dapat tumbuh dan dilatih .Human Brain ‡ Neuron merupakan sistem yang fault tolerance ± Dapat mengenali sinyal input yang berbeda dari sebelumnya ‡ Dapat mengenali orang yg blm pernah ditemui hanya dengan melihat dari foto ‡ Dapat mengenali orang yang berubah krn tua misalnya ± Tetap dapat bekerja walau beberapa neuronnya rusak.

The learning happens by adapting the fruit picking behavior. and building new ones. . while the yellowish/reddish ones are sweet. At the neural level the learning happens by changing of the synaptic strengths.Learning in biological systems Learning = learning by adaptation The young animal learns that the green fruits are sour. eliminating some synapses.

juicy fruits that make its stomach full.. . E. and makes it feel happy. or in general to achieve a closer to optimal state.Learning as optimisation The objective of adapting the responses on the basis of the information received from the environment is to achieve a better state.g. the animal likes to eat many energy rich. In other words. the objective of learning in biological organisms is to optimise the amount of available resources. happiness.

JST ‡ Suatu sistem pemrosesan informasi yang mencoba meniru kinerja otak manusia ‡ Merupakan generalisasi model matematis dengan asumsi: ± Pemrosesan informasi terjadi pada elemen sederhana (=neuron) ± Sinyal dikirimkan diantara neuron-neuron melalui penghubung (=dendrit dan akson) ± Penghubung antar elemen memiliki bobot yang akan menambah atau mengurangi sinyal ± Untuk menentukan output. setiap neuron memiliki fungsi aktivasi (biasanya non linier) yang dikenakan pada semua input ± Besar output akan dibandingkan dengan threshold .

JST ‡ Baik tidaknya suatu model JST ditentukan oleh: ± Pola antar neuron (arsitekur jaringan) ± Metode untuk menentukan dan mengubah bobot (disebut metode learning) ± Fungsi aktivasi ‡ JST disebut juga: brain metaphor. parallel distributed processing . computational neuroscience.

JST ‡ JST dapat belajar dari pengalaman! ‡ Biasanya berhubungan dengan angka (numerik) sehingga data yang tidak numerik harus dibuat ke numerik ‡ Tidak ada rumus yang tetap (fixed) sehingga disebut dengan free-estimator! ‡ JST disebut black box atau tidak transparan karena tidak mampu menjelaskan bagaimana suatu hasil didapatkan! ‡ JST mampu menyelesaikan permasalahan yang tidak terstruktur dan sulit didefinisikan! .

Kelebihan JST ‡ Mampu mengakuisisi pengetahuan walau tidak ada kepastian ‡ Mampu melakukan generalisasi dan ekstraksi dari suatu pola data tertentu ‡ JST dapat menciptakan suatu pola pengetahuan melalui pengaturan diri atau kemampuan belajar (self organizing) ‡ Memiliki fault tolerance. gangguan dapat dianggap sebagai noise saja ‡ Kemampuan perhitungan secara paralel sehingga proses lebih singkat .

JST mampu: ‡ Klasifikasi: memilih suatu input data ke dalam kategori tertentu yang sudah ditetapkan ‡ Asosiasi: menggambarkan suatu obyek secara keseluruhan hanya dengan bagian dari obyek lain ‡ Self organizing: kemampuan mengolah datadata input tanpa harus mempunyai target ‡ Optimasi: menemukan suatu jawaban terbaik sehingga mampu meminimalisasi fungsi biaya .

Kelemahan JST ‡ Kurang mampu untuk melakukan operasi operasi numerik dengan presisi tinggi ‡ Kurang mampu melakukan operasi algoritma aritmatik. operasi logika dan simbolis ‡ Lamanya proses training yang mungkin terjadi dalam waktu yang sangat lama untuk jumlah data yang besar .

suara.Aplikasi JST ‡ Pengenalan pola (pattern recognition) ± Huruf. tanda tangan. gambar yang sudah sedikit berubah (mengandung noise) ± Identifikasi pola saham ± Pendeteksian uang palsu. kanker ‡ Signal Processing ± Menekan noise pada saluran telepon ‡ Peramalan ± Peramalan saham ‡ Autopilot dan simulasi ‡ Kendali otomatis otomotif .

. ‡ deciding the category of potential food items (e. ‡ recognizing a visual object (e. a familiar face).Aplikasi JST Tasks to be solved by artificial neural networks: ‡ controlling the movements of a robot based on selfperception and other information (e. visual information). .g. ‡ predicting where a moving object goes. edible or non-edible) in an artificial world..g. when a robot wants to catch it..g.

Werbos memperkenalkan algoritma backpropagation untuk perceptron banyak lapisan .Sejarah ‡ Model JST formal pertama diperkenalkan oleh McCulloch dan Pitts (1943) ‡ 1949. Hebb mengusulkan jaringan Hebb ‡ 1958. Rosenblatt mengembangkan perceptron untuk klasifikasi pola ‡ 1960. Widrow dan Hoff mengembangkan ADALINE dengan aturan pembelajaran Least Mean Square (LMS) ‡ 1974.

Sejarah ‡ 1982. ART2. dikembangkan Radial Basis Function . dikembangkan BAM (Bidirectional Associative Memory) ‡ 1988. Kohonen mengembangkan learning unsupervised untuk pemetaan ‡ 1982. ART3) ‡ 1982. Algoritma Boltzmann untuk jaringan syaraf probabilistik ‡ 1987. Hopfield mengembangkan jaringan Hopfield untuk optimasi ‡ 1985. Grossberg dan Carpenter mengembangkan Adaptive Resonance Theory (ART.

y ! H ( z ) i !1 Y1 X2 Y2 W2 Fungsi aktivasi X3 W3 Bobot Keluaran Y3 Masukkan Y1 = X1.W3.W1 + X2.Model Neuron JST X1 W1 n z ! § wi x i . dst« .W2 + X3.

neuron-neuron akan dikumpulkan dalam lapisan lapisan yang disebut dengan layers ‡ Neuron dalam satu lapisan akan dihubungkan dengan neuron pada lapisan lainnya ‡ Kadang muncul juga layer tersembunyi (hidden layer) untuk menambah keakuratan pelatihan ‡ Informasi tersebut bisa dirambatkan secara forward ataupun backward .Model Neuron ‡ Pada JST.

atau unsupervised learning . ± Fungsi aktivasi sederhana adalah mengakalikan input dengan bobotnya dan kemudian menjumlahkannya (disebut penjumlahan sigma) ± Berbentuk linier atau tidak linier. kumpulan neuron yang saling berhubungan dan membentuk lapisan ‡ Input: sebuah nilai input yang akan diproses menjadi nilai output ‡ Output: solusi dari nilai input ‡ Hidden layer: lapisan yang tidak terkoneksi secara langsung dengan lapisan input atau output. memperluas kemampuan JST ‡ Bobot: nilai matematis dari sebuah koneksi antar neuron ‡ Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilai bobot per-iterasi dari semua nilai input.Istilah dalam JST ‡ Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST ‡ Jaringan: bentuk arsitektur JST. supervised learning. dan sigmoid ‡ Paradigma pembelajaran: bentuk pembelajaran.

JST dengan 3 layer .

satu atau lebih lapisan output. ± Langsung menerima input dan mengolahnya menjadi output tanpa menggunakan hidden layer ‡ Multi Layer ± Memiliki satu atau lebih lapisan input.Arsitektur Jaringan ‡ Single Layer ± Hanya memiliki satu lapisan dengan bobot-bobot terhubung. dan lapisan tersembunyi ± Dapat menyelesaikan masalah yang lebih kompleks karena lebih akurat ± Fungsi pembelajarannya lebih rumit ‡ Kompetitive Model / Recurrent Model ± Hubungan antar neuron tidak diperlihatkan secara langsung pada arsitektur ± Hubungan antar neuron dapat digambarkan sebagai jaring yang rumit .

Model JST ‡ Single Layer ‡ Multi Layer ‡ Competitive Layer / Recurrent .

Pengelompokkan JST ‡ JST Feed Forward ± Tidak mempunyai loop ± Contoh: single layer perceptron. kohonen. ART . lapisan output akan memberi input lagi bagi lapisan input ± Contoh: competitive networks. radial basis function ‡ JST Feed Backward (Recurrent) ± Memiliki loop. hopfield. mutilayer perceptron.

biasanya ke dalam suatu kategori/kelompok2 tertentu ‡ Hibrida Learning ± Gabungan antara unsupervised dan supervised . data bnyk berarti semakin lambat ‡ Unsupervised Learning ± JST mengorganisasikan dirinya untuk membentuk vektor-vektor input yang serupa tanpa menggunakan data atau contoh-contoh pelatihan.Paradigma pembelajaran ‡ Supervised Learning ± Kumpulan input berusaha membentuk target output yang sudah diketahui sebelumnya ± Perbedaan antara output yang masih salah dengan output yang diharapkan harus sekecil mungkin ± Biasanya lebih baik daripada unsupervised ± Kelemahan: pertumbuhan waktu komputasi eksponensial.

set i = 1 Masukkan contoh ke-i ke dalam input Cari tingkat aktivasi unit output menggunakan algoritma yang ditetapkan ± If memenuhi kriteria output then exit else: ‡ Update bobot2 menggunakan fungsi galat error. else i=i+1 .Algoritma Pembelajaran Umum ‡ ‡ ‡ ‡ Dimasukkan n data pelatihan Inisialisasi bobot-bobot jaringan. Bobot baru = bobot lama + delta ‡ If i=n then reset i=1.

JST dan Aplikasi ‡ Klasifikasi: ADALINE. MADALINE. Backpropagation . Backpropagation ‡ Pengenalan Pola: ART. Boltzman. Backpropagation ‡ Optimasi: ADALINE. Hopfield. Backpropagation ‡ Peramalan: ADALINE.

Fungsi Aktivasi ‡ Fungsi undak biner (hard limit) ‡ Fungsi undak biner (threshold) U .

Fungsi Aktivasi ‡ Fungsi bipolar ‡ Fungsi bipolar dengan threshold .

Fungsi Aktivasi ‡ Fungsi Linier (identitas) ‡ Fungsi Sigmoid biner .

McCulloch Pitts ‡ Fungsi aktivasi biner ‡ Besar bobotnya sama ‡ Memiliki threshold yang sama Contoh buat fungsi logika ³and´. dan Y = 1 jika dan hanya jika inputan 1 X1 1 1 0 0 X2 1 0 1 0 Y 1 0 0 0 . input X1 dan X2.

1=1 0.1=1 0. 0 jika net < 2 1 0 0 0 X 1 1 Y 2 X 2 1 Ternyata BERHASIL mengenali pola .1+1. 1 jika net >=2.Jawab X1 1 1 0 0 X2 1 0 1 0 net 1.1+0.1=0 Y.1+0.1=2 1.1+1.

1+1.1=1 0.1+0.1=2 1.1=1 0. 0 jika net < 1 1 1 1 0 X1 1 Y 1 X2 1 Ternyata BERHASIL mengenali pola .Problem ³OR´ X1 1 1 0 0 X2 1 0 1 0 net 1.1+0. 1 jika net >=1.1+1.1=0 Y.

-1=2 1 0.2+1. 0 jika net < 2 1.-1=-1 0 0.2+1.Problem ³X1 and not(X2)´ X1 1 1 0 0 X2 1 0 1 0 net Y.2+0.2+0.-1=1 0 1.-1=0 0 X1 2 Y 2 X2 -1 Ternyata BERHASIL mengenali pola . 1 jika net >=2.

1) = 0 F(0.0) = 0 F(1.Problem ³XOR´ X1 1 1 0 0 X2 1 0 1 0 Y 0 1 1 0 F(0.1) = 1 F(1.0) = 1 GAGAL! .

Solusi ‡ XOR = (x1 ^ ~x2) V (~x1 ^ x2) ‡ Ternyata dibutuhkan sebuah layer tersembunyi 2 2 X1 Z1 1 -1 -1 1 X2 Z2 Y 1 2 2 .

Tabel .

bobot dan bias diubah berdasarkan rumus tertentu ‡ W = bobot ‡ Wbaru = Wlama + X1Y1 ‡ Algoritma: ± Init. dengan delta w = xi*y Perbaiki bias.Jaringan HEBB ‡ Menggunakan iterasi untuk menghitung bobot dan bias ‡ Dalam setiap iterasi. b(baru) = b(lama) + y . semua bobot wi = 0 ± Untuk semua input: ‡ ‡ ‡ ‡ Set fungsi aktivasi xi = si Set output y=t Perbaiki bobot: w(baru) = w(lama) + delta w.

To Be Continued ‡ ‡ ‡ ‡ Jaringan HEBB Jaringan Perceptron Jaringan Back Propagation Hybrid JST .

Sign up to vote on this title
UsefulNot useful