Top Banner
Pengenalan Pola PTIIK - 2013 Klasifikasi – Naïve Naïve Bayes Bayes
23

Slide 04 - Klasifikasi - Naive Bayes.pdf

Jan 02, 2016

Download

Documents

nasi_balap

Naive bayes
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Slide 04 - Klasifikasi - Naive Bayes.pdf

Pengenalan Pola

PTIIK - 2013

Klasifikasi – Naïve Naïve BayesBayes

Page 2: Slide 04 - Klasifikasi - Naive Bayes.pdf

Course Contents

Naïve Bayes Classifier1

Fase Training2

Fase Testing3

Studi Kasus dan Latihan4

Page 3: Slide 04 - Klasifikasi - Naive Bayes.pdf

Naïve Bayes Classifier Metode klasifikasi ini diturunkan dari penerapan

teorema Bayes dengan asumsi independence(saling bebas)

Naive Bayes Classifier adalah metodepengklasifikasian dengan model peluang, dimana diasumsikan bahwa setiap atribut contoh(data sampel) bersifat saling lepas satu samalain berdasarkan atribut kelas.

Page 4: Slide 04 - Klasifikasi - Naive Bayes.pdf

Naïve Bayes ClassifierNaïve Bayes Classifier Apa yang dapat kita lakukan apabila data kita yaitu d

mempunyai beberapa atribut atau fitur? Asumsi Naïve Bayes : Atribut yang mendeskripsikan

contoh data adalah independen pada hipotesis klasifikasi

Asumsi penyerderhanaan, kemungkinan tidak sesuai realita Namun bekerja dengan baik secara praktis

Beberapa aplikasi: Diagnosa medis Klasifikasi Teks

P(d | h) P(a1,...,aT | h) P(at | h)t

Page 5: Slide 04 - Klasifikasi - Naive Bayes.pdf

AsumsikanAsumsikan diantaradiantara fiturfitur AAi i adalahadalah independenindependen padapada suatusuatukelaskelas::

Page 6: Slide 04 - Klasifikasi - Naive Bayes.pdf

Fase Training

Pada setiap kelas C: Estimasikan prior P(C) −> untuk setiap fitur A

Untuk setiap nilai fitur vi dari A: Estimasikan P( A=v | C )

Page 7: Slide 04 - Klasifikasi - Naive Bayes.pdf

Fase Testing

Beberapa fitur (v1, v2, ..., , vk) Pilih kelas yang memaksimalkan:

Page 8: Slide 04 - Klasifikasi - Naive Bayes.pdf

Naïve Naïve BayesBayes -- Data Data KontinyuKontinyu

Naive bayes classifier untuk menangani atributbertipe kontinyu, salah satu caranya adalahmenggunakan distribusi Gaussian.

Distribusi ini dikarakterisasi dengan duaparameter yaitu mean (μ), dan variansi(σ2).

Untuk setiap kelas yj, peluang kelas bersyaratuntuk atribut Xi dinyatakan dengan persamaandistribusi Gaussian.

Page 9: Slide 04 - Klasifikasi - Naive Bayes.pdf

Fungsi densitas mengekspresikan probabilitasrelatif.

Data dengan mean μ dan standar deviasi σ, fungsidensitas probabilitasnya adalah:

μ dan σ dapat diestimasi dari data, untuk setiapkelas.

Gunakan untuk P(X | C)

Naïve Naïve BayesBayes -- Data Data KontinyuKontinyu

Page 10: Slide 04 - Klasifikasi - Naive Bayes.pdf
Page 11: Slide 04 - Klasifikasi - Naive Bayes.pdf

StudiStudi KasusKasus 1 : 1 : Mutu Buah Jeruk

Mengumpulkan informasi tentang jeruk. Menganalisa dan merancang perangkat lunak

yang digunakan untuk menentukan mutu buahjeruk manis berdasarkan warna RGB dandiameter dengan menggunakan metode naive bayes.

Page 12: Slide 04 - Klasifikasi - Naive Bayes.pdf

Untuk menghitung peluang, langkah-langkah yang dilakukan sebagai berikut : Membuat image menjadi skala keabuan (gray- scale). Binarisasi. Pada tahap ini berguna untuk merubah nilai

piksel image menjadi 0 dan 1. Nilai 0 untukmenggambarkan latar belakang, nilai 1 untuk objekbuah jeruk.

Max Filter. Tahap ini diperlukan untuk menghilangkannilai piksel 1 tetapi bukan bagian dari buah jeruk.

Temukan Parameter. Tahap ini digunakan menghitungnilai rata-rata red, green, blue, dan menghitungdiameter buah jeruk.

Page 13: Slide 04 - Klasifikasi - Naive Bayes.pdf

Penentuan Mutu Buah Jeruk. Bila parameter rata-rata R,G,B dan diameter

D sudah diketahui, maka untuk menentukanmutu buah jeruk memiliki langkah-langkahsbb: • p1:Hitung Peluang (R,G,B,D) pada kelas A• p2:Hitung Peluang (R,G,B,D) pada kelas B• p3:Hitung Peluang (R,G,B,D) pada kelas C• p4:Hitung Peluang (R,G,B,D) pada kelas BS

Page 14: Slide 04 - Klasifikasi - Naive Bayes.pdf

if ((p1>=p2) and (p1>=p3) and (p1>=p4)) then Output 'Quality A with probability p1’

if ((p2>=p1) and (p2>=p3) and (p2>=p4)) then Output 'Quality B with probability p2’

if ((p3>=p1) and (p3>=p2) and (p3>=p4)) then Output 'Quality C with probability p3'

if ((p4>=p1) and (p4>=p2) and (p4>=p3)) then Output 'Quality BS with probability p4'

Page 15: Slide 04 - Klasifikasi - Naive Bayes.pdf
Page 16: Slide 04 - Klasifikasi - Naive Bayes.pdf

Keterangan : Display vektor pembelajaran Display gambar jeruk yang akan diuji mutunya. Pada gambar tersebut terdapat dua garis vertikal yang

digunakan untuk menghitung diameter buah jeruk (jarakantara dua garis vertikal).

Display untuk mengetahui mutu jeruk yang sedangditampilkan. Pada image yang ditampilkan, mutu yang dihasilkan adalah BS.

Page 17: Slide 04 - Klasifikasi - Naive Bayes.pdf
Page 18: Slide 04 - Klasifikasi - Naive Bayes.pdf

StudiStudi KasusKasus 2 2 : : BermainBermain TenisTenisDay Outlook Temperature Humidity Wind Play

Tennis

Day1 Sunny Hot High Weak NoDay2 Sunny Hot High Strong No

Day3 Overcast Hot High Weak Yes

Day4 Rain Mild High Weak Yes

Day5 Rain Cool Normal Weak Yes

Day6 Rain Cool Normal Strong No

Day7 Overcast Cool Normal Strong Yes

Day8 Sunny Mild High Weak No

Day9 Sunny Cool Normal Weak Yes

Day10 Rain Mild Normal Weak Yes

Day11 Sunny Mild Normal Strong Yes

Day12 Overcast Mild High Strong Yes

Day13 Overcast Hot Normal Weak Yes

Day14 Rain Mild High Strong No

Page 19: Slide 04 - Klasifikasi - Naive Bayes.pdf

Klasifikasi fakta baru berupa x=(a1,…aT) sebagaimana:

Untuk melakukannya berdasarkan pada sampel pelatihan, kitaperlu untuk mengestimasi parameter-parameter dari sampelpelatihan: Untuk setiap kelas (hypothesis) h

Untuk setiap nilai fitur at dari setiap contoh fakta

)( estimate:)(ˆ hPhP

)|( estimate:)|(ˆ haPhaP tt

t

thh

BayesNaive haPhPhPhPh )|()(maxarg)|()(maxarg x

Page 20: Slide 04 - Klasifikasi - Naive Bayes.pdf

Berdasarkan pada contoh tabel klasifikasi fakta x berikut :x=(Outl=Sunny, Temp=Cool, Hum=High, Wind=strong) That means: Play tennis or not?

Working:

)|()|()|()|()(maxarg

)|()(maxarg)|()(maxarg

],[

],[],[

hstrongWindPhhighHumidityPhcoolTempPhsunnyOutlookPhP

haPhPhPhPh

noyesh

tt

noyeshnoyeshNB

x

noxPlayTennisanswernostrongPnohighPnocoolPnosunnyPnoP

yesstrongPyeshighPyescoolPyessunnyPyesPetc

noPlayTennisstrongWindPyesPlayTennisstrongWindP

noPlayTennisPyesPlayTennisP

)(:)|()|()|()|()(

0053.0)|()|()|()|()(.

60.05/3)|(33.09/3)|(

36.014/5)(64.014/9)(

0.0206

Page 21: Slide 04 - Klasifikasi - Naive Bayes.pdf

TugasTugas KelompokKelompok

Coba Lakukan Tes Data : X = (refund = no, marital status = divorced, income = 120k)masuk kelas “evade” No atau Yes?

Gunakan formula berikut untukmenghitung likelihood data Kuantitatif (continue)

Page 22: Slide 04 - Klasifikasi - Naive Bayes.pdf

Tugas Individu Buatlah aplikasi pengenalan pola dari data UCI yang

kalian kerjakan sebelumnya Minimal menggunakan MS Excel Dengan metode Naïve Bayes Classifier

Data terdiri dari 25 data training untuk setiap kelas dan 5 data testing untuk setiap kelas (menggunakan data sebelumnya)

Munculkan keluaran sesuai dengan tahapan-tahapanpenyelesaian: Sheet1 Data Sheet2 Likelihood untuk setiap Fitur, Prior, Posterior,

dan Hasil Klasifikasi

Page 23: Slide 04 - Klasifikasi - Naive Bayes.pdf

[email protected] 331 834 734 / 088 160 127 40