Fingertip Detection

LOGO

Arif Akbarul Huda

S1 Final Project @ Elektronika dan Insturmentasi FMIPA UGM - 2011

ALGORITMA DETEKSI UJUNG JARI REAL-TIME

MENGGUNAKAN WEBCAM

LATAR BELAKANG

Now!!

LATAR BELAKANG

Teknologi masa depan berbasisTeknologi Computer Vision

LATAR BELAKANG

Perkembangan teknologi pada komputer Perkembangan teknologi computer vision pada sistem cerdas Mengembangkan teknologi computer vision di Indonsesia

LATAR BELAKANG

Deteksi ujung jari adalah bagiankecil cara untuk mendukungperkembangan teknologi berbasiscomputer vision.

Algoritma deteksi ujung jaridifungksikan agar komputer bisamengetahui letak ujung jarisebuah tangan.

Deteksi Ujung Jari dapat dimanfaatkan untuk

Interaksi manusia dengan komputer

Interaksi manusia dengan robot / sistem cerdas

Interaksi manusia dengan tv interaktif masa depan

Algoritma ini dipakai untuk menggerakkan kursor

LATAR BELAKANG

Merancang algoritma deteksi ujung jari secara

Real Time Akurat Cepat

TUJUAN

BATASAN

MASALAH

1. Latar belakang citra tidak bermotif atau polos.

2. Latar belakang memiliki kontras warna yang berbeda

dari warna kulit.

3. Membatasi area tangan dan lengan dengan

menggunakan baju lengan panjang.

4. Segmentasi citra dari webcam langsung diarahkan ke

tangan.

Landasan Teori

Suatu citra didefinisikan sebagai fungsi f(x,y) berukuran Mbaris dan N kolom, dengan x dan y adalah koordinatspasial dan nilai f di titik koordinat x,y dinamakanintensitas atau tingkat keabuan dari citra tersebut.

Citra

Landasan Teori

Macam Citra Berdasar Ruang Warna

Citra Biner Citra Grayscale Citra RGB Citra YCbCr

Landasan Teori

Segmentasi Tangan Berdasarkan Warna Kulit

Pada ruang warna YCbCr, warna kulit dihitung berdasar

kombinasi komponen krominan Cr dan Cb dari citra.

Dengan metode Chai dan Ngan, warna kulit manusia

secara umum berada pada kisaran nilai

77< Cb < 127 dan 133 < Cr < 173

Dalam rangka menyesuaikan warna kulit, Penulis

memodifikasi kisaran nilai diatas menjadi

133<Cr<153 dan 106<Cb<126

Landasan Teori

Segmentasi Tangan Berdasarkan Warna Kulit

Citra RGB

Citra YCbCr Threshold warna kulit

Citra Biner

Vektor

Landasan Teori

Vektor

Dot Product Cross Product

Tahapan umum

Rancangan

webcam

Frame

(masukan)Smoothing

Konversi RGB ke

YCbCr

Segmentasi kulit

Deteksi Ujung

Jari

Penghilangan

Derau

Mengakses

kursor

Frame (keluaran)

Deteksi Ujung Jari

Rancangan

Metode Menentukan Ujung Jari

Misalkan kontur tangan disebut C mempunyai n titik dan setiap titik dinamakanCi maka titik yang disiapkan adalah Ci-k, Ci, dan Ci+k . Titik ini membentukpasangan vektor [Ci-k, Ci] dan [Ci ,Ci+k]. Kombinasi cross product dan dotproduct pasangan vektor ini dipakai untuk menemukan letak ujung jari.

Dalam program ini, ujung jari ditentukan oleh sudut yang besarnya200<sudut<500 dan mempunyai nilai hasil cross product positif.

mulai

Frame Biner

Menghitung jumlah objek

Mencari titik tengah

setiap objek

Memberi label pada

setiap objek

Memberi batas setiap

objek

C adalah batas objek

mempunyai n titik

piksel dan setiap titik

dinamakan Ci

Membuat vektor U[Ci-14, Ci]

dan V [Ci, Ci+14]

Menghitung sudut vektor U(i)

dan V(i) menggunakan operasi

dot product

Membuat vektor Z(i) dari vektor

U(i) dan V(i) menggunakan

cross product

Menampilkan

ujung jari

selesai

Rancangan

Flowchart algoritma deteksi ujung jari

Pengujian dan Hasil

No Nama SampelJari

terbuka Jumlah Jari terdeteksi

Total waktu (detik)

Kecepatanrata-rata perframe

(detik/frame)Akurasi (%)

1 Tangan 1 0 0 35,0532 0,3437 1002 Tangan 2 1 2 35,0274 0,3434 03 Tangan 3 3 3 39,5190 0,3874 1004 Tangan 4 5 5 39,8486 0,3907 1005 Tangan 5 5 5 39,7236 0,3894 1006 Tangan 6 0 0 35,0808 0,3439 1007 Tangan 7 1 1 35,0497 0,3436 1008 Tangan 8 3 3 35,1150 0,3443 1009 Tangan 9 5 5 35,1476 0,3446 10010 Tangan 10 5 5 34,9594 0,3427 10011 Tangan 11 0 0 35,0252 0,3434 10012 Tangan 12 1 1 31,8027 0,3118 10013 Tangan 13 3 3 35,1706 0,3448 10014 Tangan 14 5 5 35,0075 0,3432 10015 Tangan 15 5 5 34,9195 0,3423 10016 Tangan 16 0 0 30,5029 0,2990 10017 Tangan 17 1 1 30,4576 0,2986 10018 Tangan 18 3 3 30,6121 0,3031 10019 Tangan 19 5 5 34,7454 0,3406 10020 Tangan 20 5 4 34,6363 0,3396 8021 Tangan 21 0 0 30,5630 0,2996 10022 Tangan 22 1 1 30,6201 0,3062 10023 Tangan 23 3 1 30,5873 0,2999 3324 Tangan 24 5 2 30,5994 0,3030 4025 Tangan 25 5 0 30,3878 0,2979 0

Rata-rata 34,0065 0,3339 86,12

Sampel.pdf

Pengujian dan Hasil

Hasil terbaik

(d) sampel Tangan 19

(a) sampel Tangan 10 (b) sampel Tangan 15

(c) sampel Tangan 16

Pengujian dan Hasil

Hasil Tercepat

Tampilan sampel tangan 25

Jarak +70cm dari webcam, tangan bergoyang, jari terbuka 5.Kecepatan olah perframe 0,2979 detik/frame. Namun sama sekali tidak mendeteksi ujung jari

Pengujian dan Hasil

Jarak +30cm dari webcam, tangan tidak bergoyang, jari terbuka 5.Kecepatan olah perframe 0,3907 detik/frame.

Akurasi 100% mendeteksi ujung jari.

Hasil Terlama

Tampilan sampel tangan 4

Pengujian dan Hasil

Pada jarak berapapun,Selama tangan tidak utuh berada didalam area

Hasil Kesalahan Deteksi

Pengujian dan Hasil

Tampilan saat menggerakkan kursor

1. Metode ini dapat mendeteksi ujung jari secara baik,cepat dan akurat dengan akurasi 86,12% dari 25sampel pengujian dan kecepatan rata-rata pemrosesanpaada tiap frame sebesar 0,3339 detik/frame.

2. Pada pencahayaan cukup terang, performa algoritmadeteksi ujung jari ini sangat bagus pada jarak tangandari webcam +40 - 60 cm dengan tingkat akurasi100%.

3. Semakin banyak jari tangan yang dibuka, kecepatanproses tiap frame akan menurun.

4. Akurasi dipengaruhi oleh keutuhan objek tangan dalamsatu frame, jarak tangan dari webcam serta gerakantangan.

Kesimpulan

Demo