Jaringan Syaraf Tiruan

Inspirasi biologis

• Hewan dapat bereaksi secara adaptif terhadap perubahan lingkungan eksternal dan internal mereka, dan mereka menggunakan sistem saraf mereka untuk melakukan perilaku ini. 

• Sistem saraf dibangun oleh unit yang relatif sederhana, neuron, sehingga menyalin perilaku dan fungsinya harus menjadi solusinya

Human Brain

• Bertugas untuk memproses informasi

• Seperti prosesor sederhana

• Masing-masing cell tersebut berinteraksi mendukung kinerja otak

• Setiap sel (neuron) memiliki satu nukleus (soma), bertugas memproses informasi, informasi diterima oleh dendrit, dan disebarkan melalui akson

• Pertemuan informasi antar syaraf berada di sinapsis

• Manusia memiliki krg lbh 10^12 neuron! Dan 6x10^18 sinapsis!

• Informasi yang dikirimkan berupa rangsangan dengan sebuah batas ambang (threshold)

–Pada batas tertentu, syaraf lain akan teraktifasidan merespon

• Hubungan antar syaraf terjadi secara dinamis

• Otak manusia memiliki kemampuan untuk belajar dan beradaptasi

–Mampu mengenali pola, wajah, mengkontrolorgan tubuh!

Human Neuron

 Human Neuron (Detail)

Human Brain

• Neuron merupakan sistem yang fault tolerance

–Dapat mengenali sinyalinput yang berbeda dari sebelumnya

• Dapat mengenali orang yg blm pernah ditemui hanya dengan melihat dari foto

• Dapat mengenali orang yang berubah krn tua misalnya

–Tetap dapat bekerja walau beberapaneuronnya rusak, neuron lain dapat tumbuh dan dilatih

Learning in biological systems

Learning = learning by adaptation

The young animal learns that the green fruits are sour, while the yellowish/reddish ones are sweet. The learning happens by adapting the fruit picking behavior.

At the neural level the learning happens by changing of the synaptic strengths, eliminating some synapses, and building new ones.

Learning as optimisation

The objective of adapting the responses on the basis of the information received from the environment is to achieve a better state. E.g., the animal likes to eat many energy rich, juicy fruits that make its stomach full, and makes it feel happy.

In other words, the objective of learning in biological organisms is to optimise the amount of available resources, happiness, or in general to achieve a closer to optimal state.

JST

• Suatu sistem pemrosesan informasi yang mencoba meniru kinerja otak manusia

• Merupakan generalisasi model matematis dengan asumsi:

–Pemrosesaninformasi terjadi pada elemen sederhana (=neuron)

–Sinyal dikirimkan diantaraneuron-neuron melalui penghubung(=dendrit dan akson)

–Penghubungantar elemen memiliki bobot yang akan menambahatau mengurangisinyal

–Untuk menentukan output, setiap neuron memiliki fungsi aktivasi (biasanyanon linier) yang dikenakan pada semua input

–Besaroutput akan dibandingkandengan threshold

• Baik tidaknya suatu model JST ditentukan oleh:

–Pola antar neuron (arsitekur jaringan)

–Metode untuk menentukandan mengubahbobot (disebut metode learning)

–Fungsi aktivasi

• JST disebut juga: brain metaphor, computational neuroscience, parallel distributed processing

• JST dapat belajar dari pengalaman!

• Biasanya berhubungan dengan angka (numerik) sehingga data yang tidak numerik harus dibuat ke numerik

• Tidak ada rumus yang tetap (fixed) sehingga disebut dengan free-estimator!

• JST disebutblack box atau tidak transparan karena tidak mampu menjelaskanbagaimana suatu hasil didapatkan!

• JST mampu menyelesaikanpermasalahanyang tidak terstrukturdan sulit didefinisikan!

Kelebihan JST

• Mampu mengakuisisi pengetahuan walau tidak ada kepastian

• Mampu melakukan generalisasi dan ekstraksi dari suatu pola data tertentu

• JST dapat menciptakansuatu pola pengetahuanmelalui pengaturan diri atau kemampuan belajar(self organizing)

• Memiliki fault tolerance, gangguan dapat dianggap sebagainoise saja

• Kemampuan perhitungan secara paralel sehingga proses lebih singkat

JST mampu:

• Klasifikasi: memilih suatuinput data ke dalam kategori tertentu yang sudah ditetapkan

• Asosiasi: menggambarkansuatu obyek secara keseluruhanhanya dengan bagian dari obyek lain

• Self organizing: kemampuan mengolahdata-data input tanpa harus mempunyai target

• Optimasi: menemukan suatu jawaban terbaik sehingga mampu meminimalisasifungsi biaya

Kelemahan JST

• Kurang mampu untuk melakukan operasi operasi numerik dengan presisi tinggi

• Kurang mampu melakukan operasi algoritma aritmatik, operasi logika dan simbolis

• Lamanya prosestraining yang mungkin terjadi dalam waktu yang sangat lama untuk jumlah data yang besar

Aplikasi JST

• Pengenalan pola (pattern recognition)

–Huruf, tanda tangan, suara, gambar yang sudah sedikit berubah (mengandungnoise)

–Identifikasipola saham

–Pendeteksianuang palsu, kanker

• Signal Processing

–Menekannoise pada saluran telepon

• Peramalan

–Peramalan saham

• Autopilot dan simulasi

• Kendali otomatis otomotif

Tasks to be solved by artificial neural networks:

• controlling the movements of a robot based on self-perception and other information (e.g., visual information);

• deciding the category of potential food items (e.g., edible or non-edible) in an artificial world;

• recognizing a visual object (e.g., a familiar face);

• predicting where a moving object goes, when a robot wants to catch it.

Sejarah

• Model JST formal pertama diperkenalkanolehMcCulloch danPitts (1943)

• 1949, Hebb mengusulkanjaringan Hebb

• 1958, Rosenblatt mengembangkanperceptron untuk klasifikasipola

• 1960, Widrow dan Hoff mengembangkanADALINE dengan aturan pembelajaranLeast Mean Square (LMS)

• 1974, Werbos memperkenalkanalgoritma backpropagationuntuk perceptron banyak lapisan

• 1982, Kohonen mengembangkanlearning unsupervised untuk pemetaan

• 1982, Grossberg danCarpenter mengembangkanAdaptive Resonance Theory (ART, ART2, ART3)

• 1982, Hopfield mengembangkanjaringanHopfield untuk optimasi

• 1985, AlgoritmaBoltzmann untuk jaringan syaraf probabilistik

• 1987, dikembangkanBAM (Bidirectional Associative Memory)

• 1988, dikembangkanRadial Basis Function

Model Neuron JST

 Model Neuron

• Pada JST, neuron-neuron akan dikumpulkan dalam lapisan lapisan yang disebut dengan layers

• Neuron dalam satu lapisan akan dihubungkan dengan neuron pada lapisan lainnya

• Kadang muncul jugalayer tersembunyi(hidden layer) untuk menambah keakuratan pelatihan

• Informasi tersebut bisa dirambatkansecaraforward ataupunbackward

Istilah dalam JST

• Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST

• Jaringan: bentuk arsitektur JST, kumpulanneuron yang saling berhubungandan membentuk lapisan

• Input: sebuah nilai input yang akan diproses menjadi nilai output

• Output: solusi dari nilai input

• Hidden layer: lapisan yang tidak terkoneksi secara langsung dengan lapisan input atau output, memperluas kemampuan JST

• Bobot: nilai matematis dari sebuah koneksi antarneuron

• Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilaibobot per-iterasi dari semua nilaiinput.

–Fungsi aktivasi sederhanaadalah mengakalikaninput dengan bobotnyadan kemudianmenjumlahkannya (disebut penjumlahan sigma)

–Berbentuklinier atau tidaklinier, dan sigmoid

• Paradigma pembelajaran: bentuk pembelajaran, supervised learning, atau unsupervised learning

JST dengan 3 layer

 Arsitektur Jaringan

• Single Layer

–Hanya memiliki satu lapisan dengan bobot-bobot terhubung.

–Langsung menerima input dan mengolahnya menjadioutput tanpa menggunakanhidden layer

• Multi Layer

–Memiliki satu atau lebih lapisaninput, satu atau lebih lapisanoutput, dan lapisan tersembunyi

–Dapat menyelesaikan masalah yang lebih komplekskarena lebih akurat

–Fungsi pembelajarannya lebih rumit

• Kompetitive Model / Recurrent Model

–Hubungan antar neuron tidak diperlihatkansecara langsungpada arsitektur

–Hubungan antar neuron dapat digambarkansebagai jaring yang rumit

Model JST
 

 
 Terima Kasih dan Semangat Belajar :)