A KL transzformáció alapfeladata a következő: keressük meg azt az ortogonális (ortonormált) bázisrendszert, amely átlagos négyzetes értelemben optimális reprezentációt ad, majd e bázisrendszer segítségével végezzük el a transzformációt. Az eddigiekhez hasonlóan diszkrét reprezentációval dolgozunk, tehát a bemeneti jelet az x N-dimenziós vektorok képviselik, a transzformációt pedig egy T mátrixszal adhatjuk meg.

E szerint a transzformált jel (y) előállítása:

$y=Tx$ , (10.19)

ahol transzformációs mátrix a ${\phi }_i$ bázisvektorokból épül fel:

$T={\left[{\phi }_1\text{,}{\phi }_2\text{, }\mathrm{...,}{\phi }_N\right]}^T$ . (10.20)

Mivel bázisrendszerünk ortonormált, ezért:

${\phi }_i^T{\phi }_j={\delta }_{ij}$ , ebből adódóan $T^{T}T=I\text{, vagyis }{T}^T=T^{-1}$ . (10.21)

Feladatunk legyen a következő: x közelítő reprezentációját ( $\widehat{x}$ ) akarjuk előállítani úgy, hogy a közelítés átlagos négyzetes hibája minimális legyen. Mivel x előállítható, mint a ${\phi }_i$ bázisvektorok lineáris kombinációja

$x={\displaystyle \sum _{i=1}^N{y}_i{\phi }_i}$ (10.22)

ahol $y_i$ a ${\phi }_i$ irányú komponens nagysága, és mivel a közelítő reprezentáció

$\widehat{x}={\displaystyle \sum _{i=1}^M{y}_i{\phi }_i}M\le N$ , (10.23)

az átlagos négyzetes hiba felírható az alábbi formában:

${\epsilon }^2=E\left\{{\Vert x-\widehat{x}\Vert }^2\right\}=E\left\{{\Vert {\displaystyle \sum _{i=1}^N{y}_i{\phi }_i-{\displaystyle \sum _{i=1}^M{y}_i{\phi }_i}}\Vert }^2\right\}={\displaystyle \sum _{i=M+1}^{N}E\left\{{\left(y_i\right)}^2\right\}}$ . (10.24)

Továbbá, mivel

$y_i={\phi }_i^{T}x$ (10.25)

a következő összefüggés is az átlagos négyzetes hibát adja meg:

${\epsilon }^2={\displaystyle \sum _{i=M+1}^{N}E\left\{\left({\phi }_i^{T}x\right)\left(x^T{\phi }_i\right)\right\}}={\displaystyle \sum _{i=M+1}^N{\phi }_i^{T}E\left\{x{x}^T\right\}}{\phi }_i={\displaystyle \sum _{i=M+1}^N{\phi }_i^T{R}_{xx}}{\phi }_i$ , (10.26)

ahol $R_{xx}$ az x bemenet autokorrelációs mátrixa. A továbbiakban feltételezzük, hogy E{x}=0, ekkor $R_{xx}$ helyett $C_{xx}$ , vagyis x kovarianciamátrixa szerepel az átlagos négyzetes hiba kifejezésében.

Ezekután keressük meg azt a ${\phi }_i$ bázist, amely mellett ${\epsilon }^2$ minimális lesz. Mivel a ${\phi }_i^T{\phi }_i=1$ feltételt be kell tartanunk, feltételes szélsőértéket kell keresnünk. A Lagrange multiplikátoros módszert alkalmazva

$\widehat{\epsilon }={\epsilon }^2-{\displaystyle \sum _{i=M+1}^N{\lambda }_i\left({\phi }_i^T{\phi }_i-1\right)}={\displaystyle \sum _{i=M+1}^N\left[{\phi }_i^T{C}_{xx}{\phi }_i-{\lambda }_i\left({\phi }_i^T{\phi }_i-1\right)\right]}$ , (10.27)

ahol ${\lambda }_i$ -k, (i=M+1,..., N) a Lagrange multiplikátorok. A (10.27) összefüggés ${\phi }_i$ szerinti szélsőértékét keressük, vagyis a

$\frac{\partial \widehat{\epsilon }}{\partial {\phi }_i}={\displaystyle \sum _{i=M+1}^N\left[2C_{xx}{\phi }_i-2{\lambda }_i{\phi }_i\right]=0}$ (10.28)

feltételt kell kielégítenünk. Ehhez az szükséges, hogy teljesüljön a

$C_{xx}{\phi }_i={\lambda }_i{\phi }_i$ , (10.29)

összefüggés, vagyis a KLT bázisrendszerét alkotó ${\phi }_i$ vektorok a bemeneti jel autokorrelációs (autokovariancia) mátrixának sajátvektorai legyenek. A közelítő, M-dimenziós reprezentáció esetén elkövetett hiba ilyenkor

${\epsilon }^2={\displaystyle \sum _{i=M+1}^N{\phi }_i^T{R}_{xx}}{\phi }_i={\displaystyle \sum _{i=M+1}^N{\phi }_i^T{\lambda }_i}{\phi }_i={\displaystyle \sum _{i=M+1}^N{\lambda }_i}$ (10.30)

ahol a ${\lambda }_i$ értékek az autokovariancia mátrix sajátértékei.

Minimális hibát nyilvánvalóan akkor fogunk elkövetni, ha a (10.30) összefüggésben a ${\lambda }_i$ sajátértékek (i=M+1,...,N) a mátrix legkisebb sajátértékei, vagyis a közelítő, M-dimenziós reprezentációnál az autkovariancia mátrix első M legnagyobb sajátértékéhez tartozó sajátvektort, mint M-dimenziós bázist használjuk fel. A bemeneti jel ezen vektorok irányába eső vetületei lesznek a főkomponensek (innen ered a főkomponenst analízis elnevezés). Megjegyezzük, hogy a KL transzformáció korrelálatlan komponenseket eredményez, vagyis a transzformált jel autokovariancia mátrixa diagonál mátrix, melynek főátlójában a ${\lambda }_i$ sajátértékek vannak.

A KLT tehát egy kétlépéses eljárás: először a bemeneti jel autokorrelációs (autokovariancia) mátrixát, és ennek sajátvektorait és sajátértékeit kell meghatározni, majd ki kell választani a legnagyobb M sajátértéknek megfelelő sajátvektort, amelyek a megfelelő altér bázisait képezik. A bázisrendszer ismeretében lehet elvégezni második lépésként a jel transzformációját. Minthogy ez az eljárás meglehetősen összetett (mind a sajátértékek és sajátvektorok meghatározása, mind a későbbi transzformáció elvégzése számításigényes feladat), fontos eredmény, hogy léteznek olyan neurális hálózatok, amelyek e feladatok megoldására alkalmasak. A KLT-t megvalósító neurális hálózatokat az irodalomban PCA hálózatoknak nevezik. E hálózatok a következőkben bemutatásra kerülő Oja szabályon alapulnak.

A bementi jel legfontosabb főkomponensének (az autokovariancia mátrix legnagyobb sajátértékéhez tartozó sajátvektor irányába eső jel-vetületnek) meghatározására Erkki Oja javasolt egy, a Hebb tanulásonalapuló hálót [Oja82].

A háló egy egyszerű, lineáris, előrecsatolt hálózat, amely legegyszerűbb formájában tulajdonképpen egyetlen, lineáris kombinációt megvalósító processzáló elem. Az Oja háló felépítésében tehát megegyezik a 10.1 ábrán bemutatott egyszerű lineáris neuronnal. Az Oja háló a bemeneti N-dimenziós vektort vetíti a kimeneti egydimenziós térbe. E háló specialitását nem is a felépítése, hanem a tanulási eljárás adja. A súlyok meghatározására a Hebb tanulást, ill. annak módosított változatát alkalmazzuk.

Vizsgáljuk meg, hogy mit eredményez a Hebb tanulás a hálózatnál. Bemenetként N-dimenziós véletlen vektorokat használunk. Megmutatható [Oja82], hogy a hálózat a tanulási szabály alkalmazásával valamilyen egyensúlyi helyzet elérésére törekszik. Ez az egyensúlyi helyzet akkor áll be, ha a súlyvektor a bemeneti vektorok autokorrelációs mátrixának egy sajátvektora lesz. Stabil állapot azonban csak akkor érhető el, ha ez a sajátvektor a legnagyobb sajátértékhez tartozó sajátvektor. Vagyis a hálózat kimenetén a bemenet legfontosabb főkomponensét kapjuk, ami a bementi vektorok legfontosabb sajátvektor irányú vetülete.

A Hebb tanulás önmagában azt eredményezi, hogy a súlyvektorok a tanulás során minden határon túl növekedhetnek. A növekedésnek határt kell szabni, ami normalizálás útján érhető el. A normalizálás biztosítható, ha a Hebb szabályt az alábbiak szerint módosítjuk: legyen a tanulási szabály a következő:

$\Delta w_i=\mu y\left(x_i-y{w}_i\right)$ , (10.31)

vagyis egészítsük ki a Hebb tanulási szabályt egy taggal. Az Oja szabály egy olyan w súlyvektorhoz konvergál, amelynek a tulajdonságai az alábbiak:

• a w súlyvektor az R autokorrelációs mátrix legnagyobb sajátértékének megfelelő sajátvektor irányú vektor (a továbbiakban az egyszerűség kedvéért a bemenet autokorrelációs mátrixának jelölésére $R_{xx}$ helyett R-et használunk).

• a súlyvektor normalizált: $\Vert w\Vert =1$ ,

• a w irány olyan, hogy a bemenetnek ebbe az irányba eső vetületének lesz a legnagyobb a varianciája, vagyis a kimenet (y) varianciája ( $E\left\{y^2\right\}$ ) akkor lesz a legnagyobb, ha y a bemenet w irányú vetületének a hossza. A variancia:

$E\left\{y^2\right\}=w^{T}E\left\{x{x}^T\right\}w=w^{T}Rw$ . (10.32)

Egyensúlyi helyzetben

$E\left\{\text{Δ}{w}_i\right\}=E\left\{\mu y\left(x_i-y{w}_i\right)\right\}=0$ , (10.33)

vagy vektorosan felírva:

$E\left\{\Delta w\right\}=Rw-\left(w^{T}Rw\right)w=0$ . (10.34)

Tehát egyensúlyi helyzetben a súlyvektornak ki kell elégítenie az

$Rw=\lambda w$ (10.35)

összefüggést, ahol

$\lambda =w^{T}Rw=w^T\lambda w=\lambda {\Vert w\Vert }^2$ (10.36)

A (10.35) összefüggés mutatja, hogy egyensúlyi állapotban w az R sajátvektora kell legyen, továbbá, ha $\Vert w\Vert$ =1, akkor λ a megfelelő sajátérték.

Hogy az Oja szabály valóban a Hebb szabály normalizált változata, az alábbiak szerint látható be. Az eredeti Hebb szabály szerint a súlymódosítás:

$\tilde{w}\left(k+1\right)=w\left(k\right)+\mu x\left(k\right)y\left(k\right)$ , (10.37)

ahol most $\tilde{w}\left(k+1\right)$ nem normalizált. Normalizáljuk a módosított súlyvektort:

$w\left(k+1\right)=\frac{\tilde{w}\left(k+1\right)}{\Vert \tilde{w}\left(k+1\right)\Vert }=\tilde{w}\left(k+1\right){\Vert \tilde{w}\left(k+1\right)\Vert }^{-1}$ . (10.38)

${\Vert \tilde{w}\left(k+1\right)\Vert }^{-1}$ meghatározásához írjuk fel ${\Vert \tilde{w}\left(k+1\right)\Vert }^2$ -et, majd ennek (-1/2)-edik hatványát fejtsük Taylor sorba μ=0 környezetében.

$\begin{array}{l}{\Vert \tilde{w}\left(k+1\right)\Vert }^2={\Vert w\left(k\right)\Vert }^2+2\mu \tilde{w}{\left(k\right)}^{T}x\left(k\right)y\left(k\right)+O\left({\mu }^2\right)\\ \\ ={\Vert w\left(k\right)\Vert }^2+2\mu {\left[y\left(k\right)\right]}^2+O\left({\mu }^2\right)\end{array}$ (10.39)

Figyelembe véve, hogy ${\Vert w\left(k\right)\Vert }^2=1$ , vagyis hogy az előző lépésben a súlyvektor már normalizált, a következőt kapjuk:

${\Vert \tilde{w}\left(k+1\right)\Vert }^{-1}=1-\mu y^2\left(k\right)+O\left({\mu }^2\right)$ , (10.40)

Felhasználva a (10.37), (10.38) és (10.40) összefüggéseket és a μ-ben magasabbrendű tagokat elhanyagolva:

$\begin{array}{l}w\left(k+1\right)=\left[w\left(k\right)+\mu x\left(k\right)y\left(k\right)\right]\left[1-\mu y^2\left(k\right)+O\left({\mu }^2\right)\right]\\ \\ \cong w\left(k\right)+\mu y\left(k\right)\left[x\left(k\right)-w\left(k\right)y\left(k\right)\right]\end{array}$ , (10.41)

ami megfelel (10.31)-nek.

Fentiekben megmutattuk, hogy az Oja szabály alapján végzett tanulás eredményeképp − feltéve, hogy a tanuló eljárás konvergens (a konvergencia tényét azonban nem bizonyítottuk) − a súlyvektor egy λ sajátértékhez tartozó sajátvektorhoz tart. Azt azonban még meg kell mutatni, hogy λ egyben a legnagyobb sajátérték, vagyis ${\lambda }_{\text{max}}$ .

Ehhez tételezzük fel, hogy w az R valamelyik sajátvektorához, ${\phi }_i$ -höz áll közel. Vizsgáljuk meg, hogyan alakul a tanulás során a súlyvektor változása, tekintsük a súlyvektorváltozások várható értékét $E\left\{\Delta w\right\}$ -t. Minthogy a súlyvektor az egyik sajátvektorhoz áll közel: $w={\phi }_i+e$ és feltéve, hogy normalizált sajátvektorokkal dolgozunk, vagyis $\Vert {\phi }_i\Vert =1$ ,

$E\left\{\Delta w\right\}=E\left\{e\right\}=Re-2{\lambda }_i\left(e^T{\phi }_i\right){\phi }_i-\lambda {}_{i}e+O\left(e^2\right)$ , (10.42)

ahol ${\lambda }_i$ a ${\phi }_i$ sajátvektorhoz tartozó sajátérték.

Annak eldöntésére, hogy a súlyvektor melyik sajátértékhez tartozó sajátvektorhoz tart, vegyük a súlyvektorváltozás várhatóértékének egy másik normalizált sajátvektorra, ${\phi }_j$ -re vett vetületét és hanyagoljuk el az O(e²) tagot.

${\left({\phi }_j\right)}^{T}E\left\{e\right\}={\lambda }_j{\left({\phi }_j\right)}^{T}e-2{\lambda }_i\left(e^T{\phi }_i\right){\delta }_{ij}-{\lambda }_i{\left({\phi }_j\right)}^{T}e=\left({\lambda }_j-{\lambda }_i{}^{}-2{\lambda }_i{\delta }_{ij}\right){\left({\phi }_j\right)}^{T}e$ (10.43)

Látható, hogy ez a vetület csökken, ha ${\lambda }_i$ a nagyobb, és növekszik, ha ${\lambda }_j$ a nagyobb sajátérték. Tehát ha ${\lambda }_j$ > ${\lambda }_i$ , akkor a súlyvektor a nagyobb sajátértéknek megfelelő sajátvektor irányába fordul be.

A különböző alkalmazásokban a legfontosabb sajátvektornak és az ebbe az irányba eső főkomponensnek a meghatározása általában nem elegendő. Olyan hálózatot szeretnénk kapni, amely N-dimenziós bemenetből kiindulva az M legfontosabb sajátvektor (M ≤ N) meghatározására képes.

Az Oja hálózatot, illetve az Oja szabályt többféleképpen módosították, melynek eredményeképpen létrejött hálózatok alkalmasak a teljeskörű főkomponens analízisre, vagyis képesek a bemeneti jel KL transzformáltjának meghatározására. Ezeket a hálózatokat főkomponens hálózatoknak (principal component networks) nevezzük.

Az Oja hálózaton alapuló hálózatok egy másik csoportja, amely csoport tagjai − bár nem a tényleges főkomponenseket, vagyis a legfontosabb sajátvektorok irányába eső vetületeket határozzák meg − a főkomponens analízissel rokon eredményre vezetnek. Adattömörítésnél ugyanis nincs feltétlenül szükség magukra a főirányokra, tehát a legfontosabb sajátvektorokra, sokszor elegendő, ha csak azt az alteret és ebbe az altérbe eső vetületet határozzuk meg, amelyet az első M legfontosabb sajátvektor feszít ki. Az alteret nemcsak a sajátvektorok határozzák meg, hanem bármely bázisa. Azokat a hálózatokat, amelyek az alteret és a bemeneti vektorok altérbe eső vetületeit meghatározzák, de a sajátvektorokat nem, altér hálózatoknak (subspace networks) nevezzük. Az alábbiakban előbb egy altér hálózatot ismertetünk, majd az eredeti Oja hálózat olyan módosításait vizsgáljuk, amelyek a tényleges főkomponensek meghatározását eredményező hálózatokra vezetnek.

Képzeljünk el egy olyan két aktív rétegű perceptront, amely lineáris neuronokbólépül fel és autoasszociatív módon működik, vagyis adott bemenetre válaszként magát a bemenetet várjuk. Az autoasszociatív hálóknál a kívánt kimenet megegyezik a bemenettel. Amennyiben a rejtett rétegbeli neuronok száma (M) kisebb, mint a bemenetek (és ennek megfelelően a kimenetek) száma (N), akkor a rejtett rétegbeli neuronok kimenő értékei a bemenet tömörített (közelítő) reprezentációját adják (ld. 10.8 ábra).

A rejtett réteg képezi a háló "szűk keresztmetszetét". Ha a hálót a szokásos hibavisszaterjesztéses algoritmussal tanítjuk, a háló által előállított kimenet (y) átlagos négyzetes értelemben közelíti a háló bemeneti jelét (x). A háló kimeneti rétege a rejtett rétegbeli M-dimenziós reprezentációból állítja vissza az N-dimenziós kimenetet, tehát a rejtett réteg kimenetén a bemenőjel kisebb dimenziós altérbe vett vetületét kapjuk meg, olyan módon, hogy e közelítő ábrázolásból az eredeti jel a legkisebb átlagos négyzetes hibával állítható vissza. Az altér lineáris neuronokmellett bizonyítottan [Bal89] a megfelelő KLT alteret jelenti, de az altérben a bázisvektorok nem feltétlenül lesznek a sajátvektorok.

Megmutatható, hogy az autoasszociatív hálózat hibája nem függ attól, hogy a rejtett rétegbeli neuronok lineáris vagy nemlineáris kimenettel rendelkeznek. A háló mindkét esetben a bemenetnek a főkomponensek alterébe eső vetületét adja.

Az adattömörítő többrétegű perceptron olyan hálózatra példa, ahol annak ellenére, hogy lineáris processzáló elemekkel dolgozunk, a több réteg alkalmazásának értelme van, ugyanis épp a közbenső, kisebb dimenziós rejtett réteg szolgáltatja a bemenet tömörített változatát.