A PCA során a bemeneti térben keresünk főkomponenseket úgy, hogy a bemenetek megfelelő lineáris transzformációját végezzük. A kernel PCA ezzel szemben nem a bemeneti térben keres főkomponenseket, hanem előbb a bemeneti vektorokat nemlineáris transzformációval egy ún. jellemzőtérbe transzformálja, és itt keres főkomponenseket.

Az eljárás bemutatásához a következő jelölésekből induljunk ki. Jelöljük a bemeneti térből a jellemzőtérbe való nemlineáris transzformációt Φ-vel. A bemeneti tér lehet pl. a valós szám N-esek tere, ${ℝ}^N$ , ekkor a nemlineáris transzformáció ${ℝ}^{N\text{}}$ -ből egy F jellemzőtérbe képez le:

$\Phi :R^N\to F,x\mapsto X=\Phi \text{(}x\text{)}$ (10.59)

Az F jellemzőtér tetszőlegesen sokdimenziós, akár végtelen dimenziós tér is lehet. Tételezzük fel, hogy az F térben is fennáll, hogy ${\displaystyle \sum {}_{k=1}^P\Phi \left(x_k\right)=0}$ , ahol P a bemeneti vektorok száma. Becsüljük a jellemzőtérbeli kovarianciamátrixot a véges számú mintapont (jellemzőtérbeli vektor) alapján:

$\overline{C}=\frac{1}{P}{\displaystyle \sum _{j=1}^P\Phi \left(x_j\right)\Phi {\left(x_j\right)}^T}$ (10.60)

A jellemzőtérbeli főkomponensek meghatározásához először most is meg kell határoznunk a kovarianciamátrix nemnulla sajátértékeit és a megfelelő sajátvektorokat, melyek kielégítik a szokásos sajátvektor-sajátérték egyenletet:

$\lambda V=\overline{C}V$ , (10.61)

majd a jellemzőtérbeli főkomponenseket a $\Phi \text{(}x\text{)}$ jellemzőtérbeli vektorok és az egységnyi hosszúságúra normált V sajátvektorok skalár szorzataként kapjuk.

A sajátértékek és a sajátvektorok meghatározásához hasznos, ha felhasználjuk, hogy a $\overline{C}$ kovarianciamátrix sajátvektorai a jellemzőtérbeli vektorok által kifeszített térben vannak:

$V={\displaystyle \sum _{i=1}^P{\alpha }_i\Phi \left(x_i\right)}$ , (10.62)

tehát léteznek olyan ${\alpha }_i$ (i=1,…,P) együtthatók, melynek segítségével a sajátvektorok előállíthatók a bemeneteket a jellemzőtérben reprezentáló vektorok súlyozott összegeiként. A (10.62) összefüggés felhasználásával azonban meg tudjuk mutatni, hogy a jellemzőtérbeli főkomponensek anélkül is meghatározhatók, hogy a bemeneti vektorok jellemzőtérbeli reprezentációját meghatároznánk.

Ennek érdekében tekintsük a következő egyenletet:

$\lambda {\Phi }^T\left(x_k\right)V={\Phi }^T\left(x_k\right)\overline{C}V$ , k=1,…,P (10.63)

Helyettesítsük ebbe az egyenletbe $\overline{C}$ (10.60) és V (10.62) összefüggését. Ekkor minden k=1,…,P-re a következőt kapjuk:

$\lambda {\displaystyle \sum _{i=1}^P{\alpha }_i{\Phi }^T\left(x_k\right)\Phi \left(x_i\right)=\frac{1}{P}{\displaystyle \sum _{i=1}^P{\alpha }_i{\Phi }^T\left(x_k\right){\displaystyle \sum _{j=1}^P\Phi \left(x_j\right){\Phi }^T\left(x_j\right)\Phi \left(x_i\right)}}}$ (10.64)

Vegyük észre, hogy ebben az összefüggésben a jellemzőtérbeli $\Phi \text{(}x\text{)}$ vektorok mindig csak skalár szorzat formájában szerepelnek.

Definiáljunk egy $P\times P$ méretű K kernel mátrixot, melynek (i,j)-edik eleme:

$K_{ij}=K\left(x_i,x_j\right)={\Phi }^T\left(x_i\right)\Phi \left(x_j\right)$ . (10.65)

Ezzel a (10.64) összefüggés az alábbi tömör formában is felírható:

$P\lambda K\alpha =K^2\alpha$ , (10.66)

ahol az $\alpha$ oszlopvektor az ${\alpha }_i$ i=1,…,P együtthatókból áll. K szimmetrikus mátrix, és ha megoldjuk a következő sajátvektor-sajátérték problémát:

$P\lambda \alpha =K\alpha$ , (10.67)

ahol az $\alpha$ vektorok K sajátvektorai és a Pλ értékek a sajátértékek, a megoldás kielégíti a (10.66) egyenletet is. Jelöljük K nemnulla sajátértékeit nagyság szerint sorbarendezve ${\lambda }_1\le {\lambda }_2\le \mathrm{...}\le {\lambda }_P$ -vel, a hozzájuk tartozó sajátvektorokat pedig ${\alpha }^{\left(1\right)},\mathrm{...},{\alpha }^{\left(P\right)}$ -vel, és legyen ${\lambda }_r$ az első (legkisebb) nemnulla sajátérték. (Ha feltételezzük, hogy $\Phi \text{(}x\text{)}$ nem azonosan 0, akkor mindig léteznie kell egy ilyen ${\lambda }_r$ -nek.) Normalizáljuk az ${\alpha }^{\left(r\right)},\mathrm{...},{\alpha }^{\left(P\right)}$ sajátvektorokat, hogy az F térben a következő egyenlőség teljesüljön k=r,…,P–re :

$V^{\left(k\right)}{}^T{V}^{\left(k\right)}=1$ (10.68)

Ez a következő normalizálási feltételt szabja az $\alpha$ sajátvektorokra:

$\begin{array}{l}\begin{array}{c}1={\displaystyle \sum _{i,j=1}^P{\alpha }_i^{\left(k\right)}{\alpha }_j^{\left(k\right)}{\Phi }^T\left(x_i\right)\Phi \left(x_j\right)}\\ \\ ={\displaystyle \sum _{i,j=1}^P{\alpha }_i^{\left(k\right)}{\alpha }_j^{\left(k\right)}{K}_{ij}={\alpha }^{\left(k\right)}{}^{T}K{\alpha }^{\left(k\right)}}\end{array}\\ ={\lambda }_k{\alpha }^{\left(k\right)}{}^T{\alpha }^{\left(k\right)}\end{array}$ (10.69)

A főkomponensek meghatározása után szükségünk van még a jellemzőtérbeli vektorok sajátvektorok szerinti vetítésére. Legyen x egy tesztpont, $\Phi \left(x\right)$ képpel F-ben, ekkor

$V^{\left(k\right)}{}^T\Phi \left(x\right)={\displaystyle \sum _{i=1}^P{\alpha }_i^{\left(k\right)}{\Phi }^T\left(x_i\right)\Phi \left(x\right)}={\displaystyle \sum _{i=1}^P{\alpha }_i^{\left(k\right)}K\left(x_i,x\right)}$ (10.70)

A jellemzőtérbeli főkomponens tehát a közvetlenül a kernel értékek függvényében kifejezhető, anélkül, hogy a $\Phi \left(x\right)$ nemlineáris leképezéseket meg kéne határozni. Tehát itt is a kernel trükköt alkalmazhatjuk, ha a nemlineáris PCA számítását nem a $\Phi \left(x\right)$ nemlineáris leképezések rögzítésével, hanem a K mátrix (a kernel függvény) megválasztásával végezzük. A kernel PCA-nál tehát nem a $\Phi \left(x\right)$ nemlineáris leképezésekből, hanem a kernel függvényből indulunk ki. A kernel függvény implicit módon definiálja a jellemzőtérbeli leképezést.

Összefoglalva a következő teendőink vannak a főkomponensek meghatározása során. Először meg kell választanunk a kernel függvényt, majd meg kell határoznunk a K mátrixot. Ennek a mátrixnak kell kiszámítanunk az ${\alpha }^{\left(k\right)}$ sajátvektorait. A sajátvektorok normalizálását követően határozhatjuk meg a bemeneti vektorok jellemzőtérbeli főkomponenseit a (10.70) összefüggés felhasználásával.

Az eljárás fő előnye abban rejlik, hogy a $\Phi \left(x\right)$ függvény ismeretére nincs szükségünk, továbbá, hogy míg az eredeti PCA során a kovarianciamátrix mérete a bemeneti dimenziótól függ, addig itt a K mátrix méretét a tanítópontok száma határozza meg. Lineáris PCA-nál legfeljebb N sajátvektort és így N főkomponenst találunk, ahol N a bemeneti vektorok dimenziója. Kernel PCA-nál maximum P nemnulla sajátértéket kaphatunk, ahol P a mintapontok száma.

A nulla várhatóérték biztosítása a jellemzőtérben

A korábbiakban tényéként kezeltük, hogy az F térben igaz a ${\displaystyle \sum {}_{k=1}^P\Phi \left(x_k\right)=0}$ megállapítás. Ez nyilvánvalóan nem lehet igaz minden $\Phi \left(x\right)$ függvényre, így szükségünk van arra, hogy a $\Phi \left(x\right)$ jellemzőtérbeli vektorokat is 0 átlagértékűvé transzformáljuk. Ez megoldható, ha a vektorokból kivonjuk az átlagukat:

$\tilde{\Phi }\left(x_i\right)=\Phi \left(x_i\right)-\frac{1}{P}{\displaystyle \sum _{k=1}^P\Phi \left(x_k\right)}$ (10.71)

Az eddigi megállapítások szerint most ez alapján kell meghatározni a kovarianciamátrixot, illetve a

${\tilde{K}}_{ij}={\tilde{\Phi }}^T\left(x_i\right)\cdot \tilde{\Phi }\left(x_j\right)$ (10.72)

mátrixot az F térben. Az így kapott $\tilde{K}$ mátrix sajátérték-sajátvektor rendszerét kell meghatároznunk:

$\tilde{\lambda }\tilde{\alpha }=\tilde{K}\tilde{\alpha }$ (10.73)

ahol $\tilde{\alpha }$ a sajátvektorok együtthatóit tartalmazza a következő formában:

$\tilde{V}={\displaystyle {\sum }_{i=1}^P{\tilde{\alpha }}_i}\tilde{\Phi }\left(x_i\right)$ . (10.74)

A $\tilde{K}$ mátrix kiszámítása a definíciós összefüggés szerint azonban nem lehetséges a módosított jellemzőtérbeli vektorok ismerete nélkül. Lehetőségünk van viszont arra, hogy a $\tilde{K}$ mátrixot K-val kifejezzük.

Használjuk a következő jelöléseket: $K_{ij}=\left({\Phi }^T\left(x_i\right)\cdot \Phi \left(x_j\right)\right)$ , $1_{ij}=1$ minden i, j-re és ${\left(1_P\right)}_{ij}=1/P$ . Ezek után $\tilde{K}$ számítása:

$\begin{array}{l}{\tilde{K}}_{ij}=\left(\left(\Phi \left(x_i\right)-\frac{1}{P}{\displaystyle \sum _{p=1}^P\Phi \left(x_p\right)}\right)\cdot \left(\Phi \left(x_j\right)-\frac{1}{P}{\displaystyle \sum _{k=1}^P\Phi \left(x_k\right)}\right)\right)=\\ \\ =K_{ij}-\frac{1}{P}{\displaystyle \sum _{p=1}^P{1}_{ip}{K}_{pj}-\frac{1}{P}{\displaystyle \sum _{k=1}^P{K}_{ik}{1}_{kj}}}+\frac{1}{P^2}{\displaystyle \sum _{p,k=1}^P{1}_{ip}{K}_{pk}{1}_{kj}=}\\ \\ ={\left(K-1_{P}K+K{1}_P+1_{P}K{1}_P\right)}_{ij}\end{array}$ (10.75)

Ezután számíthatók ki a sajátértékek és a sajátvektorok, a főkomponensek számítása pedig ugyanaz, mint a nem központosított adatok esetében.

Jelvisszaállítás

Láttuk, hogy a kernel PCA a jellemzőtérben határoz meg főkomponenseket, ezért a főkomponensekből szintén a jel jellemzőtérbeli reprezentációját tudnánk előállítani. Azt is láttuk ugyanakkor, hogy a kernel trükk miatt valójában nem is dolgozunk a jellemzőtérben, hiszen a jellemzőtérbeli vetületeket is meg tudjuk határozni a kerneltérbeli reprezentáció segítségével. Ha azt szeretnénk tudni, hogy mi a jellemzőtérbeli közelítő reprezentáció hatása a bemeneti térben, akkor a jellemzőtérbeli főkomponensekből vissza kell állítanunk a jelet a bemeneti térben. Ez a feladat egyáltalán nem triviális, sőt nem is feltétlenül egyértelmű. A jelvisszaállításra Sebastian Mika [Mik99] és munkatársai javasoltak közvetett eljárást. E szerint a bemeneti térben keresünk olyan vektort, amelynek jellemzőtérbeli főkomponensei minél inkább hasonlóak a visszaállítandó jel főkomponenseihez.

Jelöljük az eredeti jel m főkomponens alapján kapott jellemzőtérbeli közelítő reprezentációját ${\widehat{X}}_m$ -mel. Ekkor

${\widehat{X}}_m={\displaystyle \sum _{k=1}^m{\beta }_k{V}^{\left(k\right)}}$ , (10.76)

vagyis a közelítő reprezentáció a jellemzőtérbeli sajátvektorok lineáris kombinációjaként állítható elő. A jelvisszaállításhoz olyan bemenetet keresünk, melynek a jellemzőtérbeli képe minél kisebb mértékben tér el ${\widehat{X}}_m$ -től. E mögött az a feltevés áll, hogy ha két jel jellemzőtérbeli reprezentációja között az eltérés kicsi, akkor a bemeneti térben is kicsi a köztük lévő eltérés. Négyzetes hibakritériumot alkalmazva ez azt jelenti, hogy keressük azt az $\widehat{x}$ bemeneti vektort, melyre

$C\text{(}\widehat{x}\text{)}={\Vert \Phi \left(\widehat{x}\right)-{\widehat{X}}_m\Vert }^2$ $$ (10.77)

minimális. Behelyettesítve (10.77)-be (10.76)-ot és V^(k) (10.62) összefüggését, az eltérésre a következőt kapjuk:

$C\text{(}\widehat{x}\text{)}=K\left(\widehat{x},\widehat{x}\right)-2{\displaystyle \sum _{k=1}^m{\beta }_k{\displaystyle \sum _{i=1}^P{\alpha }_i^{\left(k\right)}K\left(\widehat{x},x_i\right)}}+\Omega$ $$ (10.78)

ahol Ω függtelen $\widehat{x}$ -től. A (10.78) kritérium minimumát biztosító $\widehat{x}$ gradiens eljárással megkereshető, ha rögzítettük a kernel függvényt.

10.1 példa

A kernel PCA működését egy egyszerű példán illusztráljuk [Sch96c]. Egy kétdimenziós adathalmaz főkomponenseit keressük, ahol az adatok generálása a következő módon történt: egy mintapont x₁ komponense a [-1,1] intervallumba egyenletes eloszlású véletlen szám, x₂ komponensét pedig az alábbi kapcsolat alapján határozhatjuk meg $x_2=x_{{}_1}^2+\xi$ ahol ξ egy nulla várható értékű σ=0,2 szórású normális eloszlású véletlen zaj.

Válasszunk a feladat megoldásához polinomiális kernelt:

$K\text{(}{x}_i,x\text{)}=\left(x_{{{}_i}^{}}^{T}x\right){}^q$

A 10.10 ábra különböző q értékekre mutatja a főkomponens analízis eredményét. Balról jobbra az egyes oszlopok rendre q=1, 2, 3 és 4 érték melletti polinomiális kernellel született eredményeket mutatnak olyan módon, hogy az egyes oszlopokban a három legnagyobb sajátértéknek megfelelő eredmény látható. Az ábrán a vonalak a konstans főkomponensek kontúr vonalai.

A bal szélső oszlop a q=1 esethez tartozik, ami valójában a lineáris PCA. Látható, hogy itt csak két sajátérték lesz nullától különböző, ami triviális is kétdimenziós bemenetek esetében. Lineáris PCA-nál a sajátvektorok az ábra vonalaira merőleges irányúak és nyilvánvalóan egymásra is merőlegesek. Az első oszlop ábráiból az is látható, hogy az adott példában a lineáris PCA főkomponensei nem tükrözik az adatok struktúráját.

10.10. ábra - Egy egyszerű példa a kernel PCA működésének illusztrálására [Sch96c]. (dr. Klaus-Robert Müller hozzájárulásával).

A magasabb fokszámú esetekre a főkomponensek már visszaadnak valamit az adatok struktúrájából. Ez jól látszik a három utolsó oszlop legfelső, a legfontosabb jellemzőtérbeli sajátértékekhez tartozó ábráiból. A magasabb fokszámú esetekben a jellemzőtér dimenziója nagyobb, mint a bemeneti tér dimenziója, így itt a várakozásnak megfelelően kettőnél több nemnulla sajátérték lehet. A második oszlopban (q=2) a harmadik főkomponens − ami a legkisebb sajátértékhez tartozik − az additív Gauss zaj szerepét mutatja.

Ez utóbbi megfigyelés arra is utal, hogy a kisebb sajátértékekhez tartozó főkomponensek sok esetben az adatokat terhelő zajhoz köthetők. Ilyenkor ezeknek a főkomponenseknek az elhagyása elsősorban nem a dimenzióredukciót, hanem a zajszűrést, az adatok „zajtalanítását” (denoising) szolgálja. A PCA eljárások mind lineáris mind nemlineáris esetben eredményezhetnek zajtalanítást. Ezt illusztrálja a következő példa.

10.2 példa

A kernel PCA zajtalanító hatását egy éles feladatra való alkalmazáson mutatjuk be. A feladat kézzel írott számjegyek felismeréséhez kapcsolódik [Mik99]. A kiinduló minták 16×16 pixeles szürkeárnyalatos képek, melyeket különböző tulajdonságú additív zaj terhel. A feladatban a kernel PCA alkalmazása azt illusztrálja, hogy a kernel térben a legfontosabb főkomponensek meghagyása és a kisebb sajátértékekhez tartozó főkomponensek elhagyása alkalmas lehet a képek zajszűrésére. A példa ugyanakkor azt is illusztrálja, hogy az adott feladatban a lineáris PCA a zajszűrést megfelelő minőségben nem tudja megoldani.

A 10.11 ábra mind a kiinduló, mind a kétfajta zajjal (nulla várható értékű, σ=0,5 szórású Gauss zaj, illetve pontszerű zaj, ahol egy pixel 0,2 valószínűséggel változik fekete vagy fehér pixellé) terhelt karakterek képeit mutatja (az ábra első két sora), valamint bemutatja a lineáris PCA és a kernel PCA adott számú főkomponenséből visszaállított karakterképeket is. Minthogy az eredeti képek 256 pixelből állnak, lineáris PCA esetében maximum 256 főkomponens lehetséges. Kernel PCA mellett azonban a jellemzőtér dimenziója a választott kernel függvénytől függően ennél jóval nagyobb is lehet, a sajátvektorok számát pedig a mintapontok száma határozza meg. A példában Gauss kernel függvényt és 300 tanítómintát használtak.

Az ábrából látható, hogy lineáris PCA mellett, ha nem az összes főkomponenst használjuk, az additív zaj mérsékelhető ugyan, de a képek is jelentősen torzulnak, ami a későbbi felismerést nehezíti. A kernel PCA-nál a többdimenziós jellemzőtér biztosítja, hogy a zajt úgy mérsékeljük, hogy közben a képek minősége alig változik.

Természetesen adódik a gondolat, hogy használjuk ki a megfelelő neurális hálózatok azon képességét, hogy lényegében tetszőleges folytonos nemlineáris leképezés közelítésére megtaníthatók. Ugyancsak fontos tulajdonság, hogy a tanítás a kívánt választól való átlagos négyzetes eltérés minimalizálását végzi. Ha tehát megfelelő többrétegű nemlineáris leképezésre alkalmas hálót a lineáris adattömörítő MLP-hez hasonlóan autoasszociatív módon tanítunk, várható, hogy a háló nemlineáris adattömörítésreképes lesz [Mal96].

10.11. ábra - A kernel PCA zajtalanító hatása [Mik99]. (dr. Klaus-Robert Müller hozzájárulásával)

Nemlineáris adattömörítést úgy valósíthatunk meg, hogy olyan 5 rétegű (4 aktív rétegű) hálót alkalmazunk (10.12 ábra), amelynek első és harmadik rejtett rétege nemlineáris − ezt f jelöli az ábrán −, második rejtett rétege és kimeneti rétege pedig l-lel jelölt lineáris neuronokból épül fel. A hálót most is a szokásos hibavisszaterjesztéses eljárással tanítjuk, így a megtanított háló kimenete átlagos négyzetes értelemben a legkisebb hibájú közelítése a bemenetnek. Mint utaltunk rá, egy rejtett rétegű hálózat akár lineáris, akár nemlineáris rejtett neuronokat tartalmaz csak lineáris adattömörítésre alkalmas. Nemlineáris adattömörítés csak legalább három rejtett rétegű hálózattal lehetséges. Bár ez a háló nem tartozik sem a PCA hálócsaládba, sem a nemellenőrzött tanítású hálók közé, mégis itt említjük, mivel a háló által megoldott feladat rokon az előbb említettekkel.

A nemlineáris rejtett rétegbeli neuronok számát alapvetően a szükséges leképezés "nemlinearitásának mértéke" határozza meg. A középső, lineáris rejtett réteg − amelyben a bemeneti komponensek számánál kevesebb neuron található − kimenetén nyerjük a tömörített reprezentációt. A nemlineáris adattömörítő MLP tehát abban különbözik a lineáris tömörítést végző, a 10.8 ábrán bemutatott változattól, hogy kiegészül két nemlineáris rejtett réteggel, melyek alapvetően felelősek a nemlineáris leképezésért, és a tömörítést, illetve a visszaállítást hivatottak biztosítani. Az l-lel jelölt neuronoknál is alkalmazhatunk nemlineáris aktivációs függvényeket, bár a megfelelő működéshez erre valójában nincs szükség. A bemutatott nemlineáris hálózat − hasonlóan lineáris megfelelőjéhez − nem feltétlenül a nemlineáris főkomponenseket, hanem az M nemlineáris főkomponens által meghatározott altérbe eső vetületet határozza meg.

10.12. ábra - Nemlineáris adattömörítő MLP hálózat

A független komponens analízis (independent component analysis, ICA) olyan statisztikai módszer, amely adatokban (véletlen változókban, mérési eredményekben vagy akár időfüggvényekben) rejtve meglévő komponensek meghatározására szolgál. A független komponens analízis a megfigyelt többváltozós adatok generálásának egy modelljét definiálja. E modell szerint a rendelkezésre álló többdimenziós adatok egyes komponensei valamilyen ismeretlen változók lineáris vagy nemlineáris „keverékei”, súlyozott összegei, ahol a keverő rendszer szintén ismeretlen. A független komponens analízis feladata ezen rejtett változók meghatározása, feltéve, hogy a rejtett változók statisztikailag függetlenek egymástól.

A független komponens analízis a főkomponens analízis (PCA) kiterjesztésének is tekinthető, amennyiben a megfigyelt adatokban, jelekben itt is valamilyen kitüntetett komponenseket keresünk. A független komponens analízis számos gyakorlati feladat kapcsán felmerül. Ha például időfüggvények független komponensekre való szétválasztása a feladat, szokás vak forrás szeparálásról (blind source separation, BSS) beszélni. Ilyenkor a rendelkezésünkre álló megfigyelt időfüggvények valamilyen források időfüggvényeinek súlyozott összegeiként állnak elő és a megfigyelésekből az eredeti időfüggvényeket szeretnénk visszaállítani. Bár nem időfüggvényekre történő szétbontásról van szó, mégis hasonló feladatról beszélhetünk, ha pl. képek (vagy tetszőleges többdimenziós jelek) keveréke áll rendelkezésünkre, melyekből az eredeti képeket (komponenseket) szeretnénk visszakapni.

Egy komplex jel független komponensekre bontása későbbi feldolgozó lépések (pl. felismerési, osztályozási feladatok) elvégzést is megkönnyítheti. Ilyenkor a független komponens analízis eljárásokat lényegkiemelő eljárásoknak (feature extraction) tekinthetjük. További fontos gyakorlati alkalmazás az ún. vak dekonvolúció (blind deconvolution). Ebben az esetben általában csak egyetlen megfigyelt és egyetlen forrás jelünk van, melyek tipikusan időfüggvények. A megfigyelt jel a forrás jel valamilyen szűrt változata. Lineáris szűrőt feltételezve a megfigyelt jel a forrás jel és a szűrő súlyfüggvényének konvolúciójaként nyerhető, tehát a megfigyelt jel adott időpillanatbeli értéke a forrás jel régebbi értékeinek súlyozott összegeként áll elő. A megfigyelt (szűrt) jelből a forrásjel visszaállítása dekonvolúciós feladat. Amennyiben a szűrő együtthatóit nem ismerjük a jelvisszaállítást vakon kell elvégeznünk. Megfelelő feltételek fennállta esetén a vak dekonvolúció is értelmezhető független komponens analízis feladatként.

A független komponens analízis feladatot egy hétköznapi vak forrás szeparálási feladat kapcsán, az ún. koktélparti probléma kapcsán fogjuk pontosabban definiálni. A koktélparti probléma során beszédjelek keverékéből szeretnénk az egyes beszédjeleket szétválasztani.

Képzeljük el, hogy egy olyan teremben vagyunk, ahol többen beszélnek egyszerre. Amit hallunk az a sok beszéd keveréke. Ebből a beszédkeverékből szeretnénk az egyes különálló beszédjeleket elkülöníteni, hogy megértsük az egyes beszélőket.

Általánosabban a problémát a következőképpen fogalmazhatjuk meg. Adott N skalár értékű, nulla várható értékű, statisztikailag kölcsönösen független jelünk (időfüggvényünk): $s_1\left(t\right),s_2\left(t\right),...,s_N\left(t\right)$ , ahol t jelöli az időt. Ezek a jelek lehetnek pl. beszéd hullámforma időfüggvények, ahol minden egyes időfüggvény más-más beszélőtől származik. Az $s_i\left(t\right)$ jeleket közvetlenül nem tudjuk megfigyelni, hanem helyette egy $x_1\left(t\right),x_2\left(t\right)$ ,…, $x_L\left(t\right)$ jelkészletet figyelhetünk meg, pl. L különböző helyen elhelyezett mikrofon felhasználásával. Minden egyes megfigyelt $x_j\left(t\right)$ jel (mikrofonjel) az egyes beszédjelek súlyozott összegeként áll elő:

$x_i\left(t\right)={\displaystyle \sum _{j=1}^N{a}_{ij}}{s}_j\left(t\right),i=\mathrm{1,}\mathrm{2,}\mathrm{...},L$ (10.79)

ahol az a_ij együtthatók a súlyozó értékek, melyek pl. a beszélők és a mikrofonok közötti távolságok függvényei. A kevert mikrofonjelekből szeretnénk az eredeti beszédjeleket visszaállítani, vagy legalább becsülni anélkül, hogy az a_ij együtthatókat ismernénk.

Amennyiben ezen jelek mintavételezett értékeivel dolgozunk, az $x_j\left(k\right)$ , j=1, 2, …, L megfigyelési sorozatokból szeretnénk az $s_i\left(k\right)$ , i=1, 2, …, N független jelsorozatokat visszaállítani, ahol k a diszkrét időindex. Ekkor a jelmodell vektoros formában is felírható:

$x\left(k\right)=As\left(k\right)+n\left(k\right)={\displaystyle \sum _{j=1}^N{a}_j}{s}_j\left(k\right)+n\left(k\right)$ . (10.80)

ahol A a „keverő” mátrix, $a_j={\text{[}{a}_{1j},a_{2j},...,a_{Lj}\text{]}}^T$ a mátrix j-edik oszlopa., $s\left(k\right)={\left[s_1\left(k\right),s_2\left(k\right),...,s_N\left(k\right)\right]}^T$ pedig a keresett független jelforrások jeleiből álló vektor. A (10.80) összefüggéssel megadott feladat annyiban általánosabb, mint a (10.79) összefüggés, hogy itt feltételeztük, hogy a megfigyeléseinket még egy n(k) additív zaj is terheli. Általában feltételezhető, hogy L ≥ N, tehát legalább annyi megfigyelt jelünk van, mint amennyi a független komponensek száma. Bár az általános feladatnál az additív zaj jelenlétével is kell számolni, a továbbiakban zajmentes esetet tételezünk fel.

A fenti alkalmazási példák mindegyike mögött ott húzódik a következő alapprobléma. Adottak az $x_1,x_2,...,x_N$ valószínűségi változók, melyek az $s_1,s_2,...,s_N$ valószínűségi változók lineáris kombinációiként modellezhetők:

$x_i=a_{i1}{s}_1+a_{i2}{s}_2+\dots +a_{iN}{s}_N$ , i=1,2,…N, (10.81)

ahol az $a_{ij}$ együtthatók valamilyen valós értékű konstansok és ahol feltételezzük, hogy az $s_1,s_2,...,s_N$ valószínűségi változók statisztikailag kölcsönösen függetlenek egymástól. A független komponens analízis feladatoknál mindig feltételezzük, hogy mind az eredeti $s_i$ valószínűségi változók, mind az $x_i$ kevert (megfigyelt) valószínűségi változók nulla várható értékűek. A független komponensek és a megfigyelések közötti kapcsolatot vektorosan felírva:

$x=As$ . (10.82)

ahol A a keverési mátrix, $s={\text{[}{s}_1,s_2,...,s_N\text{]}}^T$ a független komponensek vektora és $x={\text{[}{x}_1,x_2,...,x_N\text{]}}^T$ a megfigyelések vektora. Az alapproblémánál tehát feltételezzük, hogy a megfigyeléseink zajmentesek, továbbá azt is, hogy pontosan annyi megfigyelésünk van, mint ahány független komponensünk (L=N). Ez utóbbiból következik, hogy A kvadratikus mátrix. A továbbiakban még azt is feltételezzük, hogy A invertálható. Ezekkel az egyszerűsítő feltételezésekkel a független komponensek meghatározása valójában $A^{-1}$ meghatározását igényli. Ha ismernénk A-t, kiszámíthatnánk az inverzét, amivel a független komponensek közvetlenül meghatározhatók lennének:

$s=A^{-1}x$ . (10.83)

A probléma legegyszerűbb változatánál a megfigyelések a független komponensekből lineáris transzformáció útján származnak és a jelvisszaállítás is egy lineáris transzformáció. A független komponens analízis tehát a jelvisszaállító transzformáció $A^{-1}$ mátrixának a meghatározását igényli.

A független komponens feladat megoldásánál tehát olyan lineáris transzformációt keresünk, mely minél jobban közelíti az $A^{-1}$ mátrixot. A nehézséget az okozza, hogy A-t nem ismerjük. Számos valós feladatnál további nehézségeket okoz, hogy a fentiekben megfogalmazott egyszerűsítő feltételezések sem érvényesek.

A fejezetben csak az alapesetre térünk ki, a problémakör általános tárgyalására itt nincs mód. Az általánosabb esetekkel, illetve a nagyon speciális esetekkel a bőséges irodalom pl. [Jut88], [Car94], [Com94], [Kar94], [Bel95], [Ama95], [Gir96], [Kar97], [Kar98], [Hyv00], [Hyv01], [Hyv06] foglalkozik.

A fenti feltételeken túl egy további általános feltételnek is eleget kell tenni: a független komponensek nem lehetnek Gauss eloszlású valószínűségi változók. Ennek a feltételnek az a magyarázata, hogy a független komponens analízis eljárások olyan kritériumok alapján dolgoznak, melyek csak nem Gauss eloszlású valószínűségi változókra alkalmazhatók. Itt érdemes utalni a főkomponens analízis problémára. Míg a főkomponens analízis egy többdimenziós jelet korrelálatlan komponensekre bontja szét, addig a független komponens analízis összetett jelek kölcsönösen független komponenseit próbálja megtalálni, vagy legalább olyan komponenseket keres, amelyek a lehető legnagyobb mértékben függetlenek egymástól. A korrelálatlan komponensekre bontáshoz a bemenet első és másodrendű statisztikai jellemzőinek felhasználása elegendő, az ICA a magasabbrendű statisztikákat is felhasználja.

Gauss eloszlás jellemzésére a magasabbrendű statisztikák alkalmazása nem szükséges, hiszen az első és másodrendű statisztikai jellemzők a Gauss valószínűségi változók teljes statisztikai leírását megadják. Továbbá egy x Gauss eloszlású valószínűségi vektorváltozóra az is igaz, hogy x lineáris transzformációja, (pl. az (10.83) jelvisszaállításnak megfelelő transzformációval) szintén Gauss eloszlású lesz, melyet várhatóérték vektorával és kovariancia mátrixával teljes mértékben tudunk jellemezni. Ennek következménye, hogy a standard független komponens analízis eljárások képtelenek a keverő, illetve a visszaállító mátrixot identifikálni. Ugyanakkor meg kell jegyezni, hogy ha a független komponensek között csak egyetlen Gauss eloszlású található, a feladat megoldható. Azt is mondhatjuk, hogy a független komponens analízis feladat úgy is megfogalmazható, hogy az x valószínűségi vektorváltozók olyan lineáris transzformációját, olyan vetületeit keressük, melyek a lehető legkevésbé Gauss eloszlásúak. A független komponens analízis eljárásoknál ezért a statisztikai függetlenség és a „nemgauss-ság” felcserélhető fogalmak.

A fentiek indokolják a független komponens analízis eljárások formális megfogalmazásait. Olyan eljárásokat keresünk, melyek eredményeképpen kapott komponensek kielégítik a statisztikai függetlenség valamelyik definícióját, vagy melyek eredményeképp kapott komponensek a lehető legkevésbé Gauss eloszlásúak.

Mindkét megközelítés alapján számos eljárást dolgoztak ki. A statisztikai függetlenség mérésére a függetlenség definíciójából indulhatunk ki. A statisztikai függetlenség a valószínűség sűrűségfüggvények vagy eloszlásfüggvények segítségével definiálható. Legyen pl. y₁ és y₂ két skalár értékű valószínűségi változó és jelölje $p\left(y_1\right)$ illetve $p\left(y_2\right)$ a megfelelő valószínűség sűrűségfüggvényeket. A két valószínűségi változó független, ha a $p\left(y_1,y_2\right)$ együttes valószínűségi sűrűségfüggvényük a két sűrűségfüggvény szorzataként felírható:

$p\left(y_1,y_2\right)=p\left(y_1\right)p\left(y_2\right)$ (10.84)

Ennek felhasználásával könnyen belátható, hogy független valószínűségi változókra fennáll a következő összefüggés is:

$E\left\{h_1\left(y_1\right),h_2\left(y_2\right)\right\}=E\left\{h_1\left(y_1\right)\right\}E\left\{h_2\left(y_2\right)\right\}$ (10.85)

ahol $h_1$ és $h_2$ tetszőleges abszolút integrálható függvény lehet.

A függetlenség megállapítása a fentieken túl a valószínűségi változók statisztikai jellemzőinek (pl. momentumainak), illetve számos az információelmélet alapján származtatott mennyiségnek az alapján is lehetséges [Hyv01]. Ilyen mennyiségek pl. az entrópia és a kölcsönös információ vagy a Kullback-Leibler divergencia. A nemgauss-ságon alapuló eljárások egyrészt a magasabbrendű momentumokat, elsősorban a kurtózist alkalmazzák, de a nemgauss-ság mérésére is használhatók egyes információelméleti fogalmak, mint pl. a negentrópia. A különböző függetlenség vagy nemgauss-ság mértékek eltérő eljárásokat eredményeznek. Ezen eljárások közül itt csak néhányat mutatunk be. Olyan eljárásokat, melyek neuronháló architektúrával, mintapontokból való iteratív tanulással oldják meg a független komponens analízis feladatot.

A következőkben előbb egy magasabbrendű momentumokon alapuló eljárást, majd az egyik legsikeresebb független komponens meghatározó algoritmust, az ún. FastICA eljárást mutatjuk be. Végül olyan megoldásra is mutatunk példát, ahol a neurális PCA hálózatok nemlineáris változatával becsülhetők a független komponensek. A bemutatott eljárásoknál mindig feltételezzük, hogy mind a kiinduló adatok, mind az eredményként kapott adatok nulla várható értékűek.

Független komponens analízis nemlineáris PCA alkalmazásával

Az eddigiek alapján látható, hogy a független komponensekre bontás a (fehérített) megfigyelések lineáris transzformációjával lehetséges, ahol a transzformáló mátrix meghatározása nemlineáris feldolgozó lépéseket is igényel. Ez veti fel azt a gondolatot, hogy érdemes a PCA algoritmus nemlineáris változatával próbálkozni.

A (10.88) összefüggés szerint egy olyan B mátrixot keresünk, amely a fehérített megfigyelésekből visszaállítja az eredeti független komponenseket. Konstruáljunk ezért egy olyan egyrétegű neurális hálót, melynek súlyvektorait a PCA hálózatoknál alkalmazott Oja altér szabály nemlineáris változatával tanítjuk. A súlymódosító összefüggésünk ennek megfelelően legyen a következő:

$W\left(k+1\right)=W\left(k\right)+\mu \left(k\right)\left[v\left(k\right)-W\left(k\right)g\left(y\left(k\right)\right)\right]g\left(y^T\left(k\right)\right)$ (10.94)

Itt W a többkimenetű háló összes súlyvektorából, mint sorvektorból felépített súlymátrix, v a fehérített megfigyelésvektor, y a háló kimeneti vektora, g(y) pedig egy olyan vektort jelöl, melynek i-edik komponense g(y_i), ahol g(.) egy megfelelő nemlineáris függvény. Megmutatható, hogy a (10.94) összefüggés egy olyan sztochasztikus gradiens algoritmus, amely a ${\displaystyle {\sum }_{i=1}^{M}E\left\{f\left(y_i\right)\right\}}$ kritérium szélső értékét keresi, azzal a feltétellel, hogy W ortonormált (M a kimenetek száma). Ha f(t)=t⁴/4, a kritérium a negyedik momentumok összegét jelenti, és minthogy a sztochasztikus gradiens eljárás miatt g(t) az f(t) függvény deriváltja, g(t)=t³. A nemlineáris függvény ilyen megválasztása mellett (10.94) valóban a negyedik momentumok összegének szélsőértékét biztosító, ortonormált W-t eredményezne, de az algoritmus nem stabil. Stabil algoritmust nyerünk, ha pl. a g(t)=tanh(t) függvényt választjuk, amelynek Taylor-soros közelítésében a t³ tag domináns lehet.

Fehérített jelek és ortogonális szeparáló mátrix mellett igaz, hogy $E\left\{y_i{}^2\right\}=1$ , ezért, ha a negyedik momentumok összegét, ${\displaystyle {\sum }_{i=1}^{M}E\left\{y_i{}^4\right\}}$ -t minimalizáljuk a szub-Gauss jelekre, ill. maximalizáljuk a szuper-Gauss jelekre, akkor a

$C\left(y\right)={\displaystyle \sum _{i=1}^M\left|E\left\{y_i{}^4\right\}-3E^2\left\{y_i{}^2\right\}\right|}$ (10.95)

kritériumfüggvény maximumát biztosító megoldást kapunk, vagyis most is a kurtózis alapján dolgozó algoritmust nyertünk.

A nemlineáris PCA háló tehát egy Oja altér hálóhoz hasonló felépítésű azzal az eltéréssel, hogy nemlineáris neuronokból épül fel, ahol a nemlinearitást célszerűen a szokásos tangens hiperbolikusz függvényre kell választani. A háló azonban csak a tanulási fázisban működik nemlineáris hálóként, hiszen a független komponenseket a fehérített adatok lineáris transzformációjával nyerhetjük. A visszaállító mátrix meghatározása azonban nemlineáris művelet, ezért a tanulási fázisban szükség van a nemlineáris neuronokra.

A nemlineáris PCA hálózatoknak is több változatát dolgozták ki. Ezek között említést érdemel az ún. bigradiens algoritmus, mely egyszerűsítést jelent az Oja nemlineáris PCA szabályhoz képest. A bigradiens algoritmus súlymódosító összefüggése a következő [Wan96b]:

$W\left(k+1\right)=W\left(k\right)+\mu \left(k\right)g\left(W\left(k\right)v\left(k\right)\right)v{\left(k\right)}^T+\alpha \left(I-W\left(k\right)W{\left(k\right)}^T\right)W\left(k\right)$ (10.96)

ahol α egy konstans együttható, melynek értékét a [0,5, 1] intervallumból kell választani, a g függvénykapcsolat pedig azt jelöli, hogy egy g függvényt a Wv vektor komponenseire külön-külön alkalmazzuk.

A bigradiens algoritmus előnye, hogy az (10.94) összefüggésben szereplő $W\left(k\right)g\left(y\left(k\right)\right)$ számítását nem igényli.

A nemlineáris PCA algoritmuson alapuló megoldás, mint kétlépéses szeparáló algoritmus neurális architektúrával is megvalósítható. A háló két rétegből áll (10.13 ábra). Az első, lineáris réteg a fehérítést végzi, ennek a rétegnek a súlyait a

$V\left(k+1\right)=V\left(k\right)-\mu \left(k\right)\left(V\left(k\right)x\left(k\right)x{\left(k\right)}^{T}V{\left(k\right)}^T-I\right)V\left(k\right)$ . (10.97)

összefüggés szerinti tanítással határozhatjuk meg [Plu93], ahol x a tényleges bemeneti adat. A második réteg, melynek súlyait a (10.94) vagy a (10.97) összefüggés szerinti nemlineáris Hebb szabállyal tanítjuk, a fehérített v vektorokon dolgozik.

A független komponens analízis működését két példán illusztráljuk. Az első példa (10.14 ábra) három időfüggvény lineárisan súlyozott keverékeiből indul ki. Az ábrán a három kiinduló időfüggvényt, ezen időfüggvények keverékeit, valamint a három visszaállított jelet láthatjuk. A 10.15 ábra kétdimenziós jelek (képek) független komponenseinek meghatározására mutat példát.

10.13. ábra - Független komponens analízis hálózat

Mindkét példa jól illusztrálja a független komponens analízis eljárások két „hiányosságát”. Egyrészt nem tudjuk megmondani, hogy az eljárások milyen sorrendben állítják elő a független komponenseket. Másrészt az eredmények csak egy skalár szorzótényezőtől eltekintve lesznek egyértelműek. A független komponensként egy eredeti jel valamilyen skalárszorosát kaphatjuk. Ha rögzítjük a jelek varianciáját például egységnyire, még akkor is visszakaphatjuk az egyes eredeti komponensek (−1)-szeresét. Ezt figyelhetjük meg a 10.14 ábrán a második időfüggvénynél, valamint a képvisszaállításnál a fatörzs esetében, ahol az eredeti kép helyett annak negatívját kaptuk eredményül.

10.14. ábra - A független komponens analízis alkalmazása időfüggvényekre (beszédjelekre)

A független komponens analízis feladat megoldására a fentiekben röviden bemutatott eljárásokon túl számos egyéb javaslat született. Ezek az eljárások általában a feladat más megfogalmazásából származtathatók. További olyan változatokat is kidolgoztak, melyek az itt bemutatott alapfeladaton túl általánosabb eseteket próbálnak megoldani. Ilyen eset lehet, ha a megfigyeléseinket zaj terheli, továbbá, ha a keverőmátrix nem konstans. A független komponens analízis eljárásoknak kidolgozták olyan változatait is, melyek valamilyen mértékben kezelni tudják azon eseteket is, amikor kevesebb megfigyelésünk van, mint ahány független komponens szeretnénk meghatározni.

10.15. ábra - Független komponens analízis alkalmazása képekre

Feladatok

10.1 Mutassa meg, hogy a Kohonen hálónál alkalmazott tanítási összefüggés (10.5 egyenlet) a normalizált Hebb szabály.

10.2 A [0,5 3,5] × [0,5 3,5] tartományon egyenletes eloszlású, kétdimenziós adathalmaz feldolgozására topologikus leképezést biztosító Kohonen hálót alkalmazunk. A háló − kétdimenziós rácsban elhelyezve − 9 neuront tartalmaz az [i, j] pozíciókban, ahol i,j=0,1,2. Milyen súlyvektorok kialakulása várható a háló tanítása után?

10.3 Milyen súlyvektorokat kapunk a tanítás végén, ha az előző feladat adathalmazát egy 9 neuront lineáris elrendezésben tartalmazó Kohonen hálónak tanítjuk. A neuronok pozíciói: 1, 2, 3, . . . , 9.

10.4 Mutassa meg, hogy az Oja szabállyal tanított háló súlyvektora egyensúlyi helyzetben a bemenet autokovariancia mátrixának sajátvektora.

10.5 A GHA (Sanger) háló csak előrecsatoló összeköttetéseket használ. Ezzel szemben az APEX algoritmus mind előrecsatoló, mind oldalirányú kapcsolatokkal rendelkezik. Mutassa meg, hogy a két eltérő hálózat-architektúra a megfelelő tanulási algoritmussal azonos súlyvektorokhoz (w_i) konvergál.

10.6 Miért van szükség minimum 5 rétegű hálózatra, ha nemlineáris adattömörítést szeretnénk végezni?

10.7 Kernel PCA esetére, Gauss kernel mellett határozza meg a jellemzőtérbeli tömörített reprezentáció bemeneti térbeli közelítő megfelelőjét. Adja meg a gradiens eljárással dolgozó jelvisszaállítás algoritmusát.

10.8 Mutassa meg, hogy két független komponens súlyozott összegeiből kapott kevert adatokból kiindulva a kurtózis maximalizálása útján valóban megkapjuk a független komponenseket, ha szuper-Gauss komponensekből indulunk ki és kikötjük, hogy az eljárás eredményeképpen kapott adatok varianciája legyen egységnyi. A feladatot, mint feltételes szélsőérték-kereső problémát oldja meg.

10.9 Adja meg, hogy milyen feltételek mellett tekinthető a nemgauss-ság és a függetlenség ekvivalens fogalmaknak.