Ebben a fejezetben a moduláris hálóarchitektúrák kialakításának néhány fontosabb lehetőségét mutattuk be. A moduláris felépítés alapjában két fő célt szolgálhat: egyrészt biztosíthatja, hogy egy feladatot könnyebben, eredőben kisebb komplexitású hálóval, gyorsabb tanulási eljárással oldjunk meg, másrészt lehetővé teheti, hogy moduláris kialakítással jobb eredményt érjünk el. A fejezetben mindkét lehetőségre mutattunk néhány példát.

A moduláris hálók témaköre az itt összefoglalt területnél jóval bővebb és szerteágazóbb. A különböző további megoldások szintén az itt alkalmazott megközelítéseket használják: vagy egymással versengő vagy együttműködő, esetleg versengő és együttműködő modulok együtteséből épülnek fel. A különbség az itt bemutatott eljárásokhoz képest a feladat dekomponálásában, illetve a részeredmények integrálásánál található.

A fejezetben a moduláris kialakítások három fő területével foglalkoztunk. Az első terület a feladatdekompozíció, amely komplex osztályozási feladatok megoldásánál ad segítséget.

A második terület a kooperatív hálóegyüttesekkel foglalkozik. A hálóegyüttesek különösen sikeresen alkalmazhatók az alábbi körülmények között:

A túl kevés mintapont azzal a következménnyel járhat, hogy a mintapontokhoz könnyen igazodó megoldás nyerhető, miközben az egyes különálló megoldások általánosítási képesség tekintetében eltérőek. Itt az átlagolás vagy súlyozott átlagolás jelentősen javíthatja a moduláris kialakítás eredő pontosságát. A pontos és különböző megoldások együttese lényegében ezt az esetet képviseli.

A lokális minimumba ragadás hatásának mérséklését a moduláris kialakítás úgy biztosíthatja, hogy a több különálló modult eltérő feltételek mellett konstruáljuk (pl. eltérő kezdeti értékekkel indítjuk az egyes hálók tanítását). Így még ha mindegyik tanítás lokális minimumhoz vezetne is, az integrált megoldás bármelyik egyedi megoldásnál jobb eredményt biztosíthat. Jó példa erre az esetre a hálók optimális lineáris kombinációja.

A korlátozott modellező képesség reprezentációs problémát takar. Ez azt jelenti, hogy külön-külön egyik modul sem képes egy adott feladat megoldására, mert a feladat az adott modulok reprezentációs, modellezési körén kívül helyezkedik el. Az egyes modulok által nyújtott megoldások megfelelő kombinálásával azonban az eredő modellezési tartomány kiterjeszthető. Tipikus példa erre a lineáris szakértőkből összeállított MOE architektúra.

A harmadik fő terület a mintapontok eloszlásának változtatása útján segít hozzá a jobb eredmény eléréséhez. A boosting eljárások a gyenge és az erős tanulás kapcsolatának bemutatása miatt elvi fontosságúak, miközben a gyakorlat számára is könnyen alkalmazható megközelítést adnak.

Feladatok

9.1 Oldja meg a 6.5 ábrán bemutatott kettős spirál problémát feladatdekompozíciós megközelítéssel. A problémát dekomponálja több különböző módon: véletlenszerűen, az x₁ bemeneti változó értéke szerint, illetve mind az x_1, mind az x₂ bemeneti változó szerint. Alakítson ki 3, 9 (3×3), illetve 36 (6×6) részfeladatot és az egyes részfeladatokat lineáris osztályozóval oldja meg. Elemezze a megoldásokat a háló komplexitása, az általánosítási hiba és a tanítási idő szempontjából. Hasonlítsa össze a megoldásokat egy egyetlen MLP-t alkalmazó megoldással. A kettős spirál mintakészletet az 5. fejezetben (5.1 példa) megadott MATLAB kód felhasználásával generálja:

9.2 Határozza meg az optimális súlyokat egy súlyozott lineáris kombinációt alkalmazó moduláris hálóegyüttesnél, ha a modulokat összefogó lineáris súlyozott összegző (*) tartalmaz eltolásértéket (bias), (**) nem tartalmaz eltolásértéket. Vizsgálja meg a kétféle megoldást általánosan és egy konkrét feladat megoldása kapcsán is, ha az egyes modulok hagyományos MLP-k.

9.3 Származtassa a MOE kapuzóhálózat v_i paramétervektorainak tanító összefüggését ((9.41) egyenlet).

9.4 Származtassa a HMOE tanításának alapösszefüggéseit, ha a HMOE két kapuzóhálózat-szintet tartalmaz.

9.5 Oldja meg a sin(x)/x függvényapproximációs feladatot lineáris hálókból felépített MOE architektúra segítségével. Vizsgálja meg a lineáris modulok száma és az approximációs hiba kapcsolatát. Elemezze a kapuzóértékek alakulását, illetve azt, hogy milyen módon dekomponálja a feladatot a moduláris megoldás.

9.6 Oldja meg az N-dimenziós (N ≥ 3) sin(r)/r függvényapproximációs feladatot SVM alapú MOEarchitektúrával, ahol $r=\sqrt{x_1^2+x_2^2+\dots +x_N^2}$ . Az egyes SVM modulokat eltérő σ szélességparaméterű Gauss kernelfüggvényekkel konstruálja.

9.7 Illusztrálja a szűréssel dolgozó boostingeljárás teljesítőképesség-növelő hatását a 9.1 feladatban megfogalmazott kettős spirál problémán. Elemezze az egyes tanítókészletek eloszlását. Az egyes modulok tanításához minimum 30 mintapontot használjon. Nézze meg, hogy hány mintapontra van szüksége ahhoz, hogy a három tanítókészletet létre tudja hozni. (Elegendő-e a 9.1 feladatban meghatározott mintakészlet a három tanítóhalmaz előállításához, ha mindháromban 30-30 mintapontot szeretnénk összegyűjteni?)

9.8 Oldja meg az előző feladatot AdaBoosteljárás segítségével. Hasonlítsa össze az eredményt a megoldás pontossága és a felhasznált tanítópontok száma szempontjából.

9.9 Oldja meg a Mackey-Glass kaotikus idősor-előrejelzési feladatot olyan moduláris CMAC háló architektúrával, mely egybementű CMAC hálókból épül fel. A mintapontokat a 8.2 példában definiált módon állítsa elő.