Analisis Eigenvector, Analisis Komponen Utama dan Analisis Komponen IndependenEigen berasal dari kata Jerman sebagai 'sendiri', 'khas', 'karakteristik' atau 'individu'. Untuk memahami vektor eigen kita perlu memahami fungsi operasional dasar dari sebuah matriks. Secara umum, matriks linier mengubah arah dan besaran vektor di mana mereka beroperasi. Eigenanalysis berguna dalam aplikasi seperti diagonalisation dari korelasi matriks, adaptif penyaringan, pemrosesan sinyal radar, ekstraksi fitur, pengenalan pola, coding sinyal, estimasi model order, estimasi kebisingan, dan pemisahan biomedis campuran atau sinyal komunikasi.Sebuah aplikasi utama eigenanalysis dalam analisis komponen utama (PCA). PCA secara luas digunakan untuk ekstraksi fitur dan pengurangan dimensi dengan membuang fitur yang memiliki varians tidak signifikan atau sangat rendah signal-to-noise rationya. PCA memungkinkan transformasi dan representasi dari sinyal dalam hal koefisien dari satu set vektor eigen ortonormal, sehingga komponen utama (yaitu komponen yang paling signifikan) sesuai dengan ukuran utama yang memiliki nilai eigen terbesar (atau variasi) dan paling signifikan.Komponen analisis independen (ICA) merupakan perluasan dari PCA untuk sinyal yang memiliki statistik orde tinggi. ICA biasanya melibatkan penentuan satu set parameter yang diagonal orde kedua (kovarians) dan orde keempat (kurtosis) statistik dari sinyal. ICA sering digunakan sebagai add-on untuk PCA untuk pengolahan non-Gaussian sinyal seperti suara, gambar dan sinyal biomedis. ICA sangat berguna untuk pemisahan sinyal campuran dalam multi-sumber multi-sensor sistem medis dan multi-input multi-output (MIMO) sistem komunikasi.12.1 Pendahuluan - Sistem Linear dan EigenanalysisSuatu persyaratan umum dalam pemrosesan sinyal adalah transformasi linear dari sinyal dimensi M vektor ke sinyal dimensi N output vektor Melalui N M dimensimatriks sistem A,seperti y=Ax (1.1)Hasil dari Vektor y dapat dinyatakan sebagai kombinasi dari kolom vektor
(1.2)
Dimana adalah N dimensi ith dari kolom A. Perhatikan bahwa semua penyaringan dan metode transformation sinyal linier dapat diubah ke dalam bentuk persamaan (1.1).MatriksAadalah sistem yang mengubah sinyal inputvector x menjadi sinyal keluaran vektory,maka metode analisis strukturAdan pengembangan untuk representasi dan penerapanAadalah kepentingan tertentu dalam pemrosesan sinyal dan analisis sistem.Eigenanalysis adalah metode representasi dari suatu sistem linear, seperti matriks kovarians, dalam suatu eigenvectors ortonormal dan eigenvalues yang sesuai.Eigenvalue mewakili varians atau kekuatan dari proses eigenvektor yang sesuai. Besar Eigenvalue lebih signifikan dari eigenvektor yang sesuai. Intinya adalah komponen ortonormal eigen meminjamkan diri agar pengolahan independen dan manipulasi lebih mudah dan interpretasi.Keuntungan utama dari eigenanalysis sebagai berikut:(1) Eigenvektor dari matriks membentuk suatu vektor basis ortonormal dalam hal ini matriks dapat dinyatakan dan diterapkan.(2) Eigenanalysis digunakan dalam analisis komponen utama untuk ekstraksi fitur dalam pengkodean dan pola pengenalan dalam aplikasi seperti berbicara, pengolahan gambar dan pemrosesan sinyal radar.(3) Proses eigenvektor dari matriks kovarians dapat digunakan untuk mengubah dan proses pra- whitening dan diagonalise matriks kovariansi nya.Pra-whitening berguna untuk banyak aplikasi seperti untuk konvergensi lebih cepat dari filter adaptif dalam gema dan untuk kemudahan perhitungan dari invers matriks kovariansi yang sering diperlukan dalam estimasi probabilitas.(4) Eigenvalues dapat digunakan untuk estimasi dimensi dari suatu sistem linear.Hal ini dimungkinkan untuk mengurangi dimensi dari matriks atau proses untuk eigenvalues yang paling signifikan dan eigenvektor.(5) Untuk white noise, ketika dimensi dari matriks kovarians dari proses acak melebihi diperlukan dimensi untuk pemodelan sinyal (misalnya suara atau gambar), maka eigenvalue terkecil sesuai dengan kekuatan noise.Contoh 1.1eigenvektor dari matriks 'flip / balik'Gambar 1.1 menggambarkan transformasi matriks yang sangat sederhana yang membalik sebuah vector [xy] terhadap poros sumbu y, [0y]T , adalah eigenvector dari transformasi suatu direksi vector [0y] yang tidak mengakibatkan transformasi.
Gambar 1.1Ilustrasi transformasi vektor.Dalam contoh sederhana komponen vertikal vector tidak dipengaruhi akibatnya vektor [0 1]T adalah eigenvector dari matriks A.
Contoh 1.2eigenvector dari dan transformasi lingkaran olehA.Gambar 1.2 menunjukkan hasil transformasi lingkaran dengan matriksA.Perubahan bentuk transformasi lingkaran dan juga putaran titik-titik pada lingkaran.Misalnya, setelah transformasi, titik pada lingkaran menjadi . Eigenvector dari matriks yang ditumpangkan pada diagram.Perhatikan bahwa setelah transformasi yang diputar elips berbentuk kurva diposisikan dengan arah utamanya dalam arah eigenvektor dari transformasi matriks Aseperti yang digambarkan.
Gambar 12.2Lingkaran berubah (menjadi bentuk elips) oleh matriks .Eigenvektor dari matriks adalah dimensi utama dari kurva perubahan.Eigenvektor adalah [0.7071 0.7071]T dan [-0.7071 0.7071]T .
Gambar 12.3(a) proses dua-dimensi acak, (b) setelah transformasi oleh matriks .Perhatikan di (b) bahwa eigenvektor dari matriksAmembentuk dimensi ortogonal baru dari proses transformasi.Contoh 12.3eigen dari dan transformasi suatu proses acak oleh matriksAGambar 12.3 (a) menunjukkan diagram pencar untuk proses dua-dimensi acak.Gambar 12.3 (b) menunjukkan proses setelah transformasi linear denganmatriks A.Nilai-nilai koefisien individu aij , dari matriksAjuga ditampilkan.Pada Gambar 12.3 (b) eigenvektor dari matriks transformasiAadalah ditumpangkan pada diagram pencar proses peubah.Perhatikan bahwa eigenvektor dari matriks membentuk dimensi baru utama ortogonal setelah proses transformasi.Contoh 12,4eigen dari matriks rotasiRSebagai contoh lagi mempertimbangkanrotasi matriks R didefinisikan sebagai (12.3)Sebuah matriks rotasiRdapat digunakan untuk memutar vektor dengan sudut.Sudut rotasi dapat dipilih sedemikian rupa sehingga pada setiap elemen satu rotasi vektor diatur ke nol, properti ini digunakan dalam metode transformasi Givens untuk proses diagonalise matriks kovarians.Gambar 12.4 menunjukkan elips diputar berlawanan arah jarum jam dengan rotasi matriks dengan sudut Perhatikan bahwa sejak rotasi matriks berputar arah semua nyata bernilai vektor karena itu tidak memiliki harga eigenvector yang arahnya akan terpengaruh oleh transformasi.Vektor eigen dari rotasi matriks bernilai kompleks.
Matlab fungsi Circle ()Menghasilkan lingkaran dan transformasi linier.Eigenanalysis digunakan untuk orthogonalise yang mengubah lingkaran dan mengubah bentuknya kembali ke lingkaran!Hasil sebelum dan sesudah transformasi ditampilkan.Hal ini menunjukkan bahwa eigenvektor dari transformasi membentuk dimensi utama ortogonal dari distribusi berubah.Matlab fungsi GaussianDoughnut ()Menghasilkan sinyal acak dengan distribusi dua-dimensi berbentuk donat.Itu Sinyal ini kemudian berubah secara linier.Analisis eigenvalue menunjukkan bahwa eigenvektor dari transformasi membentuk dimensi utama ortogonal dari distribusi berubah.Matlab fungsi MatrixRotation ()Menghasilkan elips dan berputar dengan sudut theta menggunakan rotasi matriks.Eigen-analisis yang digunakan untuk menunjukkan bahwa eigenvektor diselaraskan dengan prinsip dimensi orthogonal dari sinyal diputar.Vektor eigen yang digunakan untuk mengubah elips diputar kembali.
Sebuah catatan tentang Ketentuan Orthogonal, Ortonormal dan IndependenIni berguna untuk mendefinisikan istilah ortogonal, ortonormal dan independen.Orthogonalberarti bahwa dua vektor yang tegak lurus geometris atau statistik berkorelasi dalam dua atau lebih statistik.vektor Ortonormal adalah ortogonal dan memiliki besaran satu.Ini harus mencatat bahwa ada perbedaan antara istilahuncorrelateddanindependen.Kemerdekaan konsep yang lebih ketat dan memerlukan sinyal untuk menjadi probabilistically mandiri dan karenanya uncor-terkait tidak hanya dalam orde kedua statistik tetapi juga disemuatingkat tinggi statistik, sedangkan kontras istilah uncorrelated dan ortogonal umumnya mengacu pada orde kedua statistik dan dasarnya menyiratkan bahwa dua vektor memiliki korelasi nol atau bahwa proses vektor memiliki diagonal matriks kovariansi.Hal ini diuraikan kemudian dalam bab ini dalam studi komponen independen analisis.
Gambar 12.4Sebuah elips diputar oleh rotasi matriks
12.2 Eigenvector dan EigenvaluesEigenvector dan eigenvalue digunakan untuk analisis matriks persegi (N N) seperti matriks kovarians.Untuk kasus yang lebih umum dari N M dimensi matriks dekomposisi nilai singular (SVD) metode yang digunakan.Secara umum, dua vektor eigen didefinisikan untuk matriks, eigenvector kanan dan eigenvektor kiri.Himpunan vektor eigen kanan matriks didefinisikan sebagai 12.4di mana setiap eigenvector memiliki besaran atau norma 1 .Persamaan (12.4) mengungkapkan ciri khas utama dari vektor eigen: ketika vektor eigenvi dari matriksAditransformasikan melalui matriks, arah dari eigenvector tidak berubah dan hanya besarnya eigenvector dipengaruhi, ini menjelaskanmaknaeigenberarti 'khas', atau 'Karakteristik' atau 'sendiri' (dari matriks).Sebagai contoh sederhana dari sebuah eigenvector, catatan bahwa operasi diferensial hanya mempengaruhi besarnya eksponensial, , Maka fungsi eksponensial adalah vektor eigen dari Operator diferensial.Dari Persamaan (12.4) kita dapat menulis (dengan menambahkan persamaan untuk eigenvektor yang berbeda dan nilai-nilai) (12.5)Oleh karena itu kita harus
12.6atau dalam notasi matriks
(12.7)di mana matriksVR adalah himpunanvektor eigenkanan dan adalah matriks diagonal nilai eigen.Dari Persamaan (12.7) maka itu (melalui pos-mengalikan kedua sisi dengan). 12.8Demikian pula, kita dapat mendefinisikan satu setvektor eigenkiriseperti 12.9
Pra-mengalikan Persamaan (12.7) olehVL dan pasca-mengalikan Persamaan (12.9) dengan VR kita memperoleh (12.10) (12.11)Dengan menyamakan sisi kanan Persamaan (12.10) dan (12.11), menjadi berikut ini (12.12)
Persamaan (12.12) adalah dalam bentuk di mana.Oleh karena itu berikut bahwa adalah diagonal maka untuk Persamaan (12.12) berubah menjadi kasus umum,VL VR juga harus identitas diagonal matriks.Oleh karena itu,VL dan VR adalah ortonormal: (12.13)Catatan dari Persamaan (12.13) bahwa dan.Posting-mengalikan kedua sisi persamaan (12,7) olehVL kita memiliki (12.14)Menggunakan Persamaan (12.13) dalam (12.14) kita memperoleh (12.15)Perhatikan bahwa untuk matriks simetris, seperti matriks autocovariance,.Oleh karena itu untuk matriks simetris yang kita pakai (12.16)Perhatikan bahwa matriksAdapat digambarkan dalam hal penjumlahan dari sebuah sub-matriks ortogonal terbentuk dari perkalian vektor eigen kiri dan kanan, , seperti (12.17)Dimana untuk i j.Perhatikan bahwa (12.18)Karenanya dapat disebuteigenmatrixA.Oleh karena itu dalam Persamaan (12.17) matriksAdinyatakan dalam hal matriks eigen nya.
Untuk meringkas sejauh ini: penentuan vektor eigen dan nilai eigen dari matriks sangat penting dalam pemrosesan sinyal untuk diagonalisation matriks.Setiap eigenvector dipasangkan dengan eigen-nilai yang sesuai.Secara matematis, dua jenis vektor eigen perlu dibedakan: eigenvektor kiri dan vektor eigen yang kanan.Namun, untuk banyak masalah itu sudah cukup untuk mempertimbangkan hanya vektor eigen yang tepat dan merubah urutan.Gambar 12.5 menunjukkan dua vektor eigen dari matriks 2x2.Perhatikan bahwa seperti yang digambarkan memiliki vektor eigen besar dan ortogonal (tegak lurus) satu sama lain.
12.2.1 Matrix Teorema SpektralDalam Persamaan (12.17) matriksAyang dinyatakan dalam satu 'matriks eigen' ortonormal.Spektral Teorema menyatakan bahwa suatu transformasi linear dari vektorxdengan matriksAdapat dinyatakan dalam jumlah satu ortogonal (subruang) transformasi oleh matriks eigen sebagai (12.19)Dalam Persamaan (12.19)vector x diuraikan dalam proyeksi ortogonal ke subspaces(Eigen matriks) dariA.
Gambar 12.5Sebuah gambaran dari dua vektor eigen ortogonal dari 2 2 matriks.Contoh 12,5Transformasi suatu vektorxmasukan menjadi vektor eigen dari matriksA pertimbangkan peringkat penuh N N matriksA. N vektor eigen vi dari bentuk matriks ortogonal N dimensi ruang N-dimensi.Oleh karena itu setiap N-dimensi vektorxdapat dinyatakan sebagai kombinasi linier vektor eigen dariAsebagai (12.20)di mana bi adalah bobot kombinasi.Sekarang transformasi vektorxdengan matriksAdapat dinyatakan sebagai (12.21)
Melewati vektorxmelalui matriksAbesar n hasil kali dalam (12.22)di mana diasumsikan bahwa adalah eigenvalue terbesar.Perhatikan bahwa sebagai vektorxdilewatkan melalui matriksAuntuk sejumlah kali itu berubah menjadi eigenvector dariAterkait dengan besar eigenvalue.Perhatikan bahwa pendekatan dalam Persamaan (12.21) tidak berlaku jika sinyal memiliki dua atau eigenvalues lebih dengan besaran yang sama.
12.2.2 Perhitungan Nilai Eigen dan eigenSebuah eigenvalue dari matriksAdapat diperoleh dari polinomial karakteristik dariAseperti yang dijelaskan di bawah ini.Mengatur ulang Persamaan (12.4) kita dapatkan (12.23)Oleh karena itu kita harus (12.24)Determinan, det() dari persamaan matriks memberikan karakteristik polinomial dari segi eigenvalues.Misalnya mempertimbangkan matriks 2x2 (12.25)Nilai karakteristik matriks ini diperoleh dari (12.26)Atau (12.27)
Persamaan polinomial karakteristik dari eigenmatrix diberikan oleh (12.28)Untuk matriks besar nilai eigen yang diperoleh dengan menggunakan solusi iteratif akar-menemukan numerik. Setelah nilai eigen dari matriks diperoleh, vektor eigen yang sesuai dapat diperoleh dengan memecahkan persamaan linear berikut (12.29)di mana untuk setiap nilai eigen kita memiliki sebuah persamaan linier sebagai vektor yang berisi nilai-nilai yang harus ditentukan.
12.3 Analisis Komponen Utama (PCA)Analisis komponen utama (PCA), Gambar 12.6, adalah metode analisis data yang populer digunakan untuk tujuan sebagai kompresi sinyal, fitur ekstraksi, estimasi model ketertiban dan sinyal dan pemisahan noise.
Gambar 12.6Sebuah ilustrasi diagram blok dari proses PCA.
PCA juga disebutKarhunen-Loeve Transform(KLT atau, dinamai Kari Karhunendan Michael Loeve) atautransformasi Hotelling(setelah Harold Hotelling).Komponen-komponen utama (PC) dari proses sinyal adalah seperangkat komponen ortogonal diperoleh dari eigenanalysis matriks kovariansi nya.Tujuan dari PCA adalah untuk mengubah sinyal, seperti suara atau gambar, dan menyajikannya dalam himpunan ortogonal dari komponen utama. Proses PCA akan mengungkapkan struktur uncorrelated signifikan dari proses sinyal, dalam pengertian bahwa (principal) yang paling penting komponen sinyal sepanjang dimensi dengan nilai-nilai kovarians terbesar.Selain itu, karena dimensi PC ortogonal, sinyal sepanjang masing-masing dimensi dapat diproses secara independen.PCA mencapai berikut:(1) PCA mengubah proses sedemikian rupa sehingga data yang diwakili sepanjang dimensi orthogonal dengan matriks kovarians diagonal.(2) Koefisien PC dengan varians terbesar adalah komponen utama pertama, koefisien PC dengan varians terbesar kedua adalah kedua yang paling penting dan seterusnya.(3) PC berubah tidak berkorelasi dan dapat diproses secara independen.(4) Untuk proses over-model, yaitu dimana dimensi matriks korelasi M lebih besardari jumlah sebenarnya dari komponen yang signifikan dari sinyal (N), N lalu - M principal komponen mewakili varians noise.
12.3.1 Perhitungan PCAAsumsikan kita memilikisampelLdari proses vektor N-dimensix(0), x(1), . . . , x(L-1). Vektor ini mungkin frame suara atau sub-blok dari suatu gambar.Langkah pertama dalam analisis PCA adalah untuk mendapatkan perkiraan rata-rata dari vektor sinyal seperti (12.30)Perkirakan matriks kovarians dari vektor sinyal kemudian diperoleh sebagai (12.31)
Langkah berikutnya dalam PCA merupakan eigenanalysis dari matriks kovariansiCxx.Matriks kovarians dinyatakan dalam vektor eigen dan nilai eigen sebagai (12.32)Perhatikan bahwa sejak matriks kovarians adalah nyata dan simetris eigen yang nyata dan ortonormal. Dari Persamaan (12.32) dapat ditunjukkan bahwa proses transformasivektorx dengan matriks dari vektor eigenVdiagonalises matriks kovarians sebagai (12.33) (12.34)
dimana Operator E () merupakan operasi harapan danVTV =VVT = I. Jika kita ingin'sphere a process',yaitu untuk diagonalisedanjuga menormalkan proses matriks kovarians dari, maka kita perlu mengubah sinyal sebagai (12.35)
(12.36)Seperti disebutkan, proses diagonalising dan menyamakan matriks kovarians dari sebuah proses yang dikenal sebagai sphereing.
Matlab function PCA ()Menunjukkan analisis PCA dari jumlah dua sinyal independen.Sinyal yang dihasilkan secara independen dan kemudian dicampur.Eigenanalysis digunakan untuk menghitung eigen-nilai dan vektor eigen dan orthogonalise sinyal.Diagram pencar dari sinyal sebelum dan sesudah orthogonalisation yang diplot sebagai nilai eigen, original sinyal, sinyal campuran dan sinyal demixed.
12.3.2 Analisis PCA Gambar: Eigen-Gambar RepresentasiAnalisis PCA dapat digunakan untuk menguraikan gambar ke dalam satu set komponen utama gambar ortogonal juga dikenal sebagai eigen-gambar.Eigen-gambar dapat digunakan untuk coding gambar, denoising gambar, atau sebagaifitur untuk klasifikasi citra.Misalnya gambar sub-blok dapat direkonstruksi sebagai tertimbang fungsi pokok eigen-gambar.Untuk mendapatkan sebuah eigen-gambar[Eij] untuk gambar yang diberikanAdengan ukuran r0 x c0 pixels, gambar pertama dibagi menjadisub-gambarL(sub-blok)Ak dengan ukuran r c (biasanya 8 8 atau 16 16).Mean darisub-gambar diperoleh sebagai (12.37)Mean gambar kemudian dihapus dari setiap sub- gambar sebagai (12.38)Sebuah r r matriks kovarians untuk baris dari sub-gambar diperoleh (12.39)
Demikian pula, sebuah c c matriks kovarians untuk kolom dari sub-gambar diperoleh (12.40)Baris dan kolom matriks kovarians kemudian mengalami eigenanalysis untuk menghasilkan vektor eigen r baris [ ri ; 1ir ] dan kolom vektor eigen [ cj ; 1jc ].Sebuah r c eigen-imageEij didefinisikan sebagai produk dari setiap baris eigenvector dengan setiap kolom eigenvektor sebagai (12.41)Gambar 12.7 menunjukkan contoh eigen-gambar untuk gambar .Gambar 12.8 menunjukkan aslinya Otak gambar scan dan gambar direkonstruksi dari gambar eigen-pokok.
Gambar 12.764 eigen-gambar ukuran 8 x 8 dalam urutan nilai eigen terkait.Gambar eigen yang diperoleh dari gambar scan otak.
Gambar 12.8(a) Scan gambar asli dari otak, (b) direkonstruksi dari empat paling signifikan eigen-gambar terkait dengan sub-blok 8 x 8.Perhatikan bahwa gambar blok ukuran 8 x 8 memiliki 64 eigen-gambar.Digunakan dengan izin.
MATLAB fungsi PCA_NoisySpeech ()Analisis suara berisik dan merekonstruksi suara menggunakan prinsip komponen yang paling signifikan dengan SNRs tinggi.Suara tersegmentasi menjadi frame panjang N sampel. Menggunakan sinyal dalam setiap frame matriks kovarians dihitung untuk sub-frame M panjang sampel.Matriks kovarians yang eigenanalysed dan P yang paling signifikan eigenvalues dan vektor eigen terkait yang digunakan untuk merekonstruksi suara.
12.3.3 Analisis PCA suara dalam NoiseAnalisis PCA dapat digunakan untuk menguraikan sinyal suara berisik, mempertahankan sinyal komponen paling signifikan yang 'di atas' ambang signal-to-noise rasio yang diinginkan dan kemudian membuang sisa komponen noise.Dalam metode ini PCA dari matriks korelasi sinyal suara bising dilakukan.Pertama suara tersegmentasi menjadi frame sampel N.Untuk setiap frame matriks korelasi sinyal diperoleh. Matriks korelasi ini kemudian diuraikan menjadi matriks vektor eigen dan eigenvalues.Komponen sinyal yang paling signifikan, sesuai dengan nilai eigen terbesar dari matriks autokorelasi, dipertahankan sedangkan komponen bising dengan eigenvalues terkecil dibuang.Sinyal tersebut kemudian dinyatakan sebagai kombinasi dari PC yang paling signifikan vektor eigen dimana faktor kombinasi diperoleh sebagai cross-korelasi normalisasi sinyal dan masing-masing PC eigenvector.Perhatikan bahwa untuk white noise dengan asumsi bahwa dimensi dari matriks korelasi yang lebih besar yang dimensi korelasi yang signifikan tertinggal dalam sinyal (katakanlah
