Az ortogonális legkisebb négyzetes hibájú (OLS) eljárás [Che91] iteratív módon választ középpontokat úgy, hogy közben figyelembe veszi a háló képességét is. Ez azt jelenti, hogy a háló méretét lépésről lépésre növeljük, újabb és újabb bázisfüggvények bekapcsolásával egészen addig, amíg megfelelő teljesítőképességet el nem érünk.

A módszer bemutatásához induljunk ki a háló által megvalósított leképezésből ((5.1’) egyenlet). Ha csak egyetlen bázisfüggvényt alkalmazunk, a szummás kifejezésnek csak egy tagja lesz: a kimenetek egy adott középpontra illesztett bázisfüggvény súlyozott értékeiként adódnak. Hogy az így kapott egy rejtett elemű „háló” milyen képességekkel rendelkezik, azt a rendelkezésre álló ismert válaszú pontokra adott válaszok alapján állapíthatjuk meg. Az egyetlen súly értéke egy olyan túlhatározott lineáris egyenletrendszer megoldásaként nyerhető (ld. (5.5) összefüggés), melynél a G mátrix egyetlen oszlopot és a rendelkezésre álló P tanítópontnak megfelelő P sort tartalmaz. A kapott LS megoldásnak az összes tanítópontra vonatkozó teljesítőképessége alapján dönthető el, hogy az egy rejtett elemű „háló” megfelelően oldja-e meg a feladatot vagy sem.

A megoldás minősége függ az alkalmazott egyetlen bázisfüggvény elhelyezésétől, vagyis a középpont paramétertől. Hogy az egy bázisfüggvénnyel dolgozó hálók közül a legjobbat kapjuk, bázisfüggvény-középpontként az összes tanítópontot végig kell vizsgálni. Amennyiben az egy bázisfüggvényes hálók legjobbika sem elegendően kis hibájú, több bázisfüggvénnyel kell a feladatot megoldani. Így elvben meghatározhatjuk a legjobb két, három, stb. rejtett neuronos RBF hálót. Az eljárás gyakorlati alkalmazása a hatalmas számításigény miatt nem célszerű vagy nem is lehetséges.

Kisebb számításigényű az a változat, amikor a hálót oly módon bővítjük fokozatosan, hogy a már kiválasztott középpontokhoz választunk újabb és újabb középpontokat. Így egy adott komplexitású háló középpontjait már nem módosítjuk. A feladat „mindössze” annyi, hogy a még középpontként fel nem használt pontok közül kell minden lépésben az LS értelemben legjobbat kiválasztani, és a már kiválasztottakhoz új bázisfüggvény-középpontként hozzávenni. A háló méretét most is fokozatosan bővítjük egészen addig, amíg a megfelelő teljesítőképességet el nem érjük. A második változat csak szuboptimumot eredményez, és még mindig elfogadhatatlanul nagy számításigényű. Az OLS eljárás a háló fokozatos bővítését egy ortogonalizáló lépés közbeiktatásával az előbbinél jóval hatékonyabban oldja meg.

Az OLS eljárás bemutatásához induljunk ki a háló leképezésének mátrixos alakjából:

$y=Gw$ , ( 5 . 7 )

ahol a G mátrix i -edik sora a háló rejtett rétegének válasza az x _i bemeneti vektorra $g\text{(}{x}_i\text{)}={\text{[}{g}_{\text{1}}\text{(}{x}_i\text{)}\text{, }{g}_{\text{2}}\text{(}{x}_i\text{)}\text{, }\dots \text{,}{g}_M\text{(}{x}_i\text{)]}}^T$ , i =1, 2, …, P ; $y={\text{[}y{}_{\text{1}}\text{,}{y}_{\text{2}}\text{,}\dots \text{,}{y}_P\text{]}}^T$ a tanítópontokra adott válaszokból képezett vektor, és w a kimeneti réteg súlyvektora. G tehát felírható, mint egy P sorból álló mátrix:

$G=\left[\begin{array}{c}g{\text{(}{x}_1\text{)}}^T\\ g{\text{(}{x}_2\text{)}}^T\\ ⋮\\ g{\text{(}{x}_P\text{)}}^T\end{array}\right]$ ( 5 . 8 )

Ugyanakkor G az alábbi módon is értelmezhető

$G=\left[g_1,\dots ,g_{M,}\right],\text{ ahol}{g}_j=\left[g_j\text{(}{x}_{\text{1}}\text{)},\dots ,g_j\text{(}{x}_P\text{)}\right]{}^{T}j=\mathrm{1,}\mathrm{2,}\dots ,M$ ( 5 . 9 )

Itt g _j az j -edik bázisfüggvénynek a P tanítópontra adott válaszaiból képezett vektor. E szerint a háló válaszaiból képezett vektor

$y={\displaystyle \sum _{j=1}^M{w}_j{g}_j}$ ( 5 . 10 )

formában is értelmezhető. Minthogy a kimenetek vektora a g _j vektorok súlyozott összegeként állítható elő, ha a g _j vektorok lineárisan függetlenek, akkor egyben bázist is alkotnak a kimeneti vektorok terében.

Adott súlyvektor mellett azonban a háló válaszai nem feltétlenül állítják elő hibátlanul a kívánt válaszokat, tehát:

$d={\displaystyle \sum _{j=1}^M{w}_j{g}_j}+e=Gw+e$ , ( 5 . 11 )

ahol e az egyes tanítópontokban kapott válaszok hibáiból képezett vektor. Gw d -nek a g _j bázisvektorok által kifeszített térre való vetületét adja. Minél kevesebb bázisfüggvényt használunk, annál nagyobb hibával tudjuk d -t közelíteni a bázisvektorok által kifeszített térben. A hiba azonban nemcsak attól függ, hogy hány bázisvektort használunk, hanem attól is, hogy melyek ezek a bázisvektorok. A bázisvektorok számát a háló bázisfüggvényeinek száma adja meg, azt pedig, hogy mely bázisvektorokat használjuk, a bázisfüggvények középpont paraméterei határozzák meg. Minél inkább korreláltak a bázisvektorok, annál kisebb hozzájárulást jelentenek a d kimeneti vektor előállításához. Legkedvezőbb az lenne, ha a bázisvektorok ortogonálisak lennének, ekkor ugyanis mindegyik bázisvektor a többitől független hozzájárulást jelentene, ahol az egyes bázisvektorok hozzájárulásának mértéke egyenként számítható. Az OLS eljárás a g _j vektorok transzformációja útján egy ortogonális bázisvektor-rendszert hoz létre.

Ennek érdekében dekomponáljuk a G mátrixot az alábbi módon:

$G=BA$ . ( 5 . 12 )

Itt A egy olyan M × M -es felső háromszögmátrix, melynek főátlójában csupa egyesek szerepelnek

$A=\left[\begin{array}{cccccc}1& a_{12}& a_{13}& \cdots & & a_{1M}\\ 0& 1& a_{23}& & \cdots & a_{2M}\\ 0& 0& & \ddots & & ⋮\\ ⋮& & \ddots & & & \\ 0& & & 0& 1& a_{M-1M}\\ 0& \cdots & & 0& 0& 1\end{array}\right]$ , ( 5 . 13 )

B pedig egy P × M -es ortogonális mátrix. Az ortogonalitás következménye, hogy B ^T B = H egy olyan diagonálmátrix, melynek főátlójában a $h_j=b_j^T{b}_j$ értékek találhatók.

Az ortogonális vektorok által kifeszített tér azonos a g _j bázisvektorok által kifeszített térrel, vagyis a kimenetek vektora, d előállítható az ortogonális vektorok súlyozott összegeként is:

$d={\displaystyle \sum _{j=1}^M{v}_j{b}_j}+e=Bv+e$ , ( 5 . 14 )

ahol a b _j ortogonális bázisvektorok súlyait a v vektor komponensei adják. Ennek a súlyvektornak a meghatározása szintén történhet a négyzetes hiba minimalizálásával.

$v_{\text{LS}}^{\ast }=B^{\text{†}}d={\text{(}{B}^{T}B\text{)}}^{\text{-1}}{B}^{T}d=H^{-1}{B}^{T}d$ ( 5 . 15 )

Itt azonban az ortogonalitás miatt H ^-1 sokkal egyszerűbben számítható, így a súlyokat egyenként is meg tudjuk határozni.

$v_j^{\ast }=\frac{b_j^{T}d}{b_j^T{b}_j}j=\mathrm{1,}\dots ,M$ ( 5 . 16 )

Ugyanakkor az is igaz, hogy

$A{w}_{\text{LS}}^{\ast }=v_{\text{LS}}^{\ast }$ , ( 5 . 17 )

vagyis, ha ismerjük A -t és v -t, a keresett w súlyvektor is meghatározható.

Az (5.17) összefüggés származtatásához például a klasszikus a Gram-Schmidt ortogonalizáló eljárással juthatunk el. Alkalmazzuk az eljárást G ortogonalizálására. Az ortogonalizáló eljárás k -adik lépésében olyan b _k vektort keresünk, amely a megelőző lépésekben meghatározott k -1 vektor mindegyikére ortogonális. B első vektoraként a g _j vektorok bármelyikét választhatjuk. Legyen ezért

$b_1=g_1$ ( 5 . 18 )

A k -adik vektor ( k =2,…, M ) ezek után a következőképpen nyerhető

$b_k=g_k-{\displaystyle \sum _{j=1}^{k-1}{a}_{jk}{b}_j}$ , ( 5 . 19 )

ahol

$a_{jk}=\frac{b_j^T{g}_k^{}}{b_j^T{b}_j}$ 1 ≤ j < k ( 5 . 20 )

Az ortogonalizáló eljárással tehát mind a b _j ortogonális bázisvektorok, mind az A mátrix a _jk együtthatói meghatározhatók.

Az OLS eljárás célja azonban most nemcsak az, hogy a bázisvektorok mátrixát ortogonalizáljuk, hanem az is, hogy az ortogonális bázisvektorok egy megfelelő részhalmazát kiválasszuk. Addig, amíg a kiindulásnál a G mátrix maximum annyi oszlopból állt, ahány tanítópontunk van (egy bázisfüggvényes hálónál, ha minden tanítópont egyben bázisfüggvény középpont is, a G mátrix egy P × P -s mátrix, ld. (5.3)), most az ortogonális bázisvektorok egy kisebb számú részhalmazát szeretnénk felhasználni. Az eddigi eljárásból az is látszik, hogy az ortogonális bázisvektor-rendszer a kiinduló lépés függvénye, tehát függ attól, hogy b ₁ -ként melyik g _j bázisvektort választjuk. Sőt, ha nem az összes vektort akarjuk felhasználni, akkor az ortogonális bázisvektorok előállítási sorrendje sem közömbös.

A legfontosabb bázisvektorok kiválasztásához vizsgáljuk meg előbb az egyes bázisvektorok szerepét. Mivel b _i és b _j ortogonálisak, ha i ≠ j, a kívánt kimenetek négyzetes értéke felírható az alábbi formában:

$d^{T}d={\displaystyle \sum _{j=1}^M{v}_j^2}{b}_j^T{b}_j+e^{T}e$ ( 5 . 21 )

Tételezzük föl, hogy a d kívánt válaszok vektora nulla várható értékű (ha ez nem teljesül, akkor vonjuk ki belőle a várható értékét). Ekkor d varianciájának a becslése:

$\frac{1}{P}{d}^{T}d=\frac{1}{P}{\displaystyle \sum _{j=1}^M{v}_j^2}{b}_j^T{b}_j+\frac{1}{P}{e}^{T}e$ . ( 5 . 22 )

Az (5.22) összefüggés első tagja az a variancia-komponens, ami a bázisvektorokkal kifejezhető, míg a második tagja az ezekkel nem kifejezhető rész. Ebből az is látszik, hogy a kimeneti varianciához a j -edik bázisfüggvény hozzájárulása $v_j^2{b}_j^T{b}_j/P$ . Minél nagyobb arányt képvisel ez az érték a kimeneti varianciában, annál fontosabb a b _j bázisvektor felhasználása. A j -edik bázisvektornak a kimeneti varianciához való relatív hozzájárulását az

${\text{[err}}_j\text{]}=\frac{v_j^2{b}_j^T{b}_j}{d^{T}d}$ ( 5 . 23 )

mennyiség fejezi ki. Ez az arány egy egyszerű és hatékony mértéke lehet az egyes bázisvektorok fontosságának. Ennek felhasználásával relative kis számításigénnyel minden lépésben azt az ortogonális bázisvektort és a megfelelő v _j súlyozó együtthatót meg tudjuk meghatározni, melynek a kimeneti varianciához való hozzájárulása a legnagyobb.

Ehhez a Gram-Schmidt eljárást a következő módon alkalmazzuk:

Az első lépésben minden 1 ≤ j ≤ M értékre számítsuk ki a következőket

$\begin{array}{l}{b}_1^{\text{(}j\text{)}}=g_j\\ v_1^{\text{(}j\text{)}}=\frac{{\left(b_1^{\text{(}j\text{)}}\right)}^{T}d}{{\left(b_1^{\text{(}j\text{)}}\right)}^T{b}_1^{\text{(}j\text{)}}}\\ {\text{[err]}}_{\text{1}}^{\text{(}j\text{)}}=\frac{{\left(v_1^{\text{(}j\text{)}}\right)}^2{\left(b_1^{\text{(}j\text{)}}\right)}^T{b}_1^{\text{(}j\text{)}}}{d^{T}d}\end{array}$ ( 5 . 24 )

Keressük azt az j értéket mely mellett

${\text{[err]}}_{\text{1}}^{\text{(}{j}_1\text{)}}=\text{max}\left\{{\text{[err]}}_{\text{1}}^{\text{(}j\text{)}},1\le j\le M\right\}$ ( 5 . 25 )

és válasszuk ki első bázisvektornak a

$b_1=b_1^{\text{(}{j}_{\text{1}}\text{)}}=g_{j_1}$ ( 5 . 26 )

vektort.

A k -adik lépésben, ha k ≥ 2, minden 1 ≤ j ≤ M, j ≠ j ₁ , …, j ≠ j _{k- 1} értékre számítsuk ki a következőket

$\begin{array}{l}{a}_{ik}^{\text{(}j\text{)}}=\frac{b_i^T{g}_j^{}}{b_i^T{b}_i}1\le j\le M\\ b_k^{\text{(}j\text{)}}=g_j-{\displaystyle \sum _{i=1}^{k-1}{a}_{ik}^{\text{(}j\text{)}}}{b}_i\\ v_k^{\text{(}j\text{)}}=\frac{{\left(b_k^{\text{(}j\text{)}}\right)}^{T}d}{{\left(b_k^{\text{(}j\text{)}}\right)}^T{b}_k^{\text{(}j\text{)}}}\\ {\text{[err]}}_{\text{1}}^{\text{(}j\text{)}}=\frac{{\left(v_k^{\text{(}j\text{)}}\right)}^2{\left(b_k^{\text{(}j\text{)}}\right)}^T{b}_k^{\text{(}j\text{)}}}{d^{T}d}\end{array}$ ( 5 . 27 )

Keressük azt a j értéket, mely mellett

${\text{[err]}}_{\text{1}}^{\text{(}{j}_k\text{)}}=\text{max}\left\{{\text{[err]}}_k^{\text{(}j\text{)}},1\le j\le M,j\ne j_1,\dots ,j\ne j_{k-1}\right\}$ , ( 5 . 28 )

és a k -adik bázisvektornak válasszuk a

$b_k=b_k^{\text{(}{j}_k\text{)}}=g_{j_k}-{\displaystyle \sum _{i=1}^{k-1}{a}_{ik}{b}_i}$ ( 5 . 29 )

vektort, ahol $a_{ik}=a_{ik}^{\text{(}{j}_k\text{)}}$ , 1 ≤ i < k .

Az eljárást az M _s -edik lépésben állítsuk le, ha

$1-{\displaystyle \sum _{i=1}^{M_s}{\text{[err]}}_i}<\rho$ , ( 5 . 30 )

ahol 0 < ρ < 1 egy előre megválasztott küszöbérték.

Az eljárással M _s bázisvektort választottunk ki. Bár az OLS eljárás szintén számításigényes, az eredeti középpont-válogató eljárásnál jóval hatékonyabb, hiszen minden egyes új bázisvektor beiktatása az addigi bázisvektorok változatlanul hagyása mellett történik. Az ortogonális bázisvektorok miatt az is igaz, hogy minden újabb bázisvektor a megelőzőktől független hozzájárulást jelent a kimenetek előállításához és ez a hozzájárulás kiszámítható az éppen aktuális háló teljes kiértékelése nélkül. Az aktuális súlyvektor kiszámításához sem kell minden egyes lépésben a pszeudo-inverz számítást elvégezni, hiszen az újonnan kiválasztott bázisvektorok együtthatói egymástól függetlenül számíthatók.

Az eljárás alkalmazásánál fontos a ρ küszöbérték megfelelő megválasztása, mivel ez szabályozza, hogy a végleges háló adott komplexitás mellet milyen pontosságot ér el. Számos alkalmazásban ρ meghatározása maga is az eljárás része. Erre ad egy rendszer-identifikációhoz kapcsolódó példát [Che89].

A standard K -közép ( K-means ) klaszter kialakító algoritmus is feltételezi, hogy az összes tanítópont a rendelkezésünkre áll. A K -means algoritmus célja, hogy K olyan klaszter-középpontot ( $c_k$ , k =1,2,..., K ) határozzon meg, hogy a tanítópontok és a hozzájuk legközelebb eső klaszter-középpont négyzetes távolságainak összege minimális értéket vegyen fel. Tehát, ha X az x _{i ,} i =1, 2, ..., P tanítópontok halmazát, ${\text{X}}^{\left(k\right)}$ pedig azon halmazt jelöli, melynek pontjai a $c_k$ ( k =1,2,..., K ) középponthoz lesznek legközelebb, akkor a következő kifejezés megoldását keressük :

$\underset{c_k}{\text{min}}{\displaystyle \sum _{k=1}^K{\displaystyle \sum _{i:x_i\in {\text{X}}^{\left(k\right)}}^{}{\Vert x_i-c_k\Vert }^2}}$ ( 5 . 31 )

Az algoritmus az alábbi lépésekből áll:

1. Inicializálás: véletlenszerűen válasszunk meg K középpontot: $c_k$ , k =1,2,..., K.

2. Határozzuk meg minden tanítópontra, hogy mely középponthoz van a legközelebb, vagyis alakítsuk ki a K klasztert. Ha x _i -től a legkisebb távolságra lévő középpont $c_k$ , akkor x _i a k -adik klaszter, ${\text{X}}^{\left(k\right)}$ eleme lesz.

3. Határozzuk meg az így kialakított klaszterek új középpontjait. Egy klaszter új középponja legyen a klaszterekbe tartozó mintapontok átlaga: $c_k=\frac{1}{P_k}{\displaystyle \sum _{i:x_i\in {\text{X}}^{\left(k\right)}}{x}_i}$ ( 5 . 32 ) ahol $P_k$ az ${\text{X}}^{\left(k\right)}$ klaszterbe tartozó tanítópontok száma.

4. Fejezzük be az eljárást, ha a mintapontok klaszterbe sorolása már nem változik, illetve adott számú iteráció után.

A középpontok meghatározására további lehetőség az ellenőrzött tanítás alkalmazása. Ebben az esetben a bázisfüggvények paramétereit a kimeneti réteg súlyaihoz hasonló, tanítható paraméterekként kezeljük és például gradiens eljárással tanítjuk. Mivel a bázisfüggvények paraméterei a rejtett réteg leképezését befolyásolják, a kimenti hibát a rejtett, bázisfüggvényes rétegre vissza kell terjeszteni, vagyis itt a hibavisszaterjesztéses algoritmusegy RBF hálóra kidolgozott változatáról van szó.

Ha a pillanatnyi gradiens alapú eljárást alkalmazzuk, meg kell határozni a kimeneti négyzetes hiba adott középpontra vonatkozó parciális deriváltját. Feltételezve, hogy az alábbi általános (vagyis nem skalár σ szélességparaméterrel rendelkező) Gauss bázisfüggvényt alkalmazzuk:

$g\text{(}\Vert x-c_i\Vert \text{)}=\text{exp[-(}x-c_i{\text{)}}^T{\Sigma }^{-1}\text{(}x-c_i\text{)]}$ , ( 5 . 33 )

valamint, hogy egykimenetű hálózatunk van, a láncszabályt alkalmazva a derivált a következőre adódik:

$\begin{array}{l}\frac{\partial {\epsilon }^2\text{(}k\text{)}}{\partial c_i\text{(}k\text{)}}=2\epsilon \text{(}k\text{)}\frac{\partial \epsilon \text{(}k\text{)}}{\partial y\text{(}k\text{)}}\frac{\partial y\text{(}k\text{)}}{\partial g_i\text{(}k\text{)}}\frac{\partial g_i\text{(}k\text{)}}{\partial c_i\text{(}k\text{)}}\\ =-2\epsilon \text{(}k\text{)}{w}_i{g^{\prime }}_{}\text{(}\Vert x\text{(}k\text{)}-c_i\text{(}k\text{)}\Vert \text{)}{\Sigma }_i^{-1}\text{(}x\text{(}k\text{)}-c_i\text{(}k\text{))}\end{array}$ ( 5 . 34 )

Itt ${g^{\prime }}_{}\text{(}\text{.)}$ az i -edik bázisfüggvény c _i ( k ) szerinti deriváltja az x ( k ) bemenetre adott értéknél, w _i pedig az a súly, amivel az i -edik rejtett neuron kimenete szerepel a háló kimentében. A középpont módosító összefüggés ennek megfelelően:

$c_i\text{(}k+\text{1)}=c_i\text{(}k\text{)}+\text{2}\mu \epsilon \text{(}k\text{)}{w}_i{g^{\prime }}_{}\text{(}\Vert x\text{(}k\text{)}-c_i\text{(}k\text{)}\Vert \text{)}{\Sigma }_i^{-1}\text{(}x\text{(}k\text{)}-c_i\text{(}k\text{))}$ , ( 5 . 35 )

ahol μ a szokásos tanulási tényező. A tanulási tényező értékének megválasztása gyakorlatilag csak tapasztalati úton lehetséges és ez az érték általában más is, mint a kimeneti réteg súlyainak tanításánál alkalmazott LMS eljárás tanulási tényezője. Míg az LMS eljárásnál μ konvergencia-tartományát meg tudjuk határozni, itt ez hasonló módon nem lehetséges. Ennek oka, hogy a kimeneti négyzetes hiba nem kvadratikus függvénye c _i -nek, sőt ez a függvénykapcsolat nem is konvex. A nemkonvex hibafelület további következménye, hogy a gradiens alapú eljárás lokális minimumot eredményezhet.

A tanítással meghatározott középpontok természetesen nem fognak egybeesni a bemeneti pontokkal vagy azok részhalmazával. Sokkal inkább úgy igazodnak a tanítópontok elhelyezkedéséhez, mintha egy klaszterező eljárást alkalmaznánk. A középpontok tanítással történő meghatározása a középpontok számának meghatározását nem oldja meg, tehát hasonlóan a K -közép algoritmushoz, ezt a kérdést a tanítástól függetlenül kell megoldani.