Az eljárás azon alapul, hogy feltételezhetjük a nemlineáris dinamikus rendszer által megvalósított leképezés folytonosságát. A módszer érdekessége és a gyakorlati alkalmazás szempontjából az előnye, hogy kizárólag a tanító adatokból dolgozik.

A módszer bemutatásához induljunk ki abból, hogy adott egy nemlineáris bemeneti-kimeneti leképezés:

$y=f\text{(}x\text{)}=f\text{(}{x}_{\text{1}}\text{,}{x}_{\text{2}}\text{,}\dots \text{,}{x}_N\text{)}$ , (8.65)

amely egy folytonos, sima, többváltozós függvény valamilyen értelmezési tartományon, és ahol az $x_{\text{1}}\text{,}{x}_{\text{2}}\text{,}\dots \text{,}{x}_N$ változók a függvény bemeneti változói. Az f függvény az $x_{\text{1}}\text{,}{x}_{\text{2}}\text{,}\dots \text{,}{x}_N$ független változók mindegyikétől, de csak ezektől a független változóktól függ. A megfelelő számú bemeneti változó meghatározása a következő, Lipschitz indexnek nevezett mennyiség alapján lehetséges:

$L{q}^{\left(N\right)}={\left(\prod _{k=1}^p\sqrt{N}{q}^{\left(N\right)}\left(k\right)\right)}^{1/p}$ (8.66)

ahol $q^{\left(N\right)}\left(k\right)$ a

$q_{ij}^{\text{(}N\text{)}}=\frac{\left|y\text{(}i\text{)}-y\text{(}j\text{)}\right|}{\Vert x\text{(}i\text{)}-x\text{(}j\text{)}\Vert }i\ne j\text{;}i,j=\mathrm{1,2,}\dots ,P$ (8.67)

Lipschitz hányadosok közül a k-adik legnagyobb érték, N a bemeneti változók száma (a regresszorvektor dimenziója), p pedig egy alkalmasan megválasztott pozitív szám, rendszerint p = 0,01P ~ 0,02P. (P a szokásos jelölésnek megfelelően a tanítópontok száma).

Tételezzük föl, hogy az $f\text{(}x\text{)}$ függvény bemeneti változók szerinti deriváltjai korlátosak, vagyis

$\left|{f^{\prime }}_l\right|=\left|\frac{\partial f\text{(}x\text{)}}{\partial x_l}\right|\le Ml=\mathrm{1,}\mathrm{2,}\dots ,N$ , (8.68)

ahol M egy véges pozitív érték.

Ha a függvény folytonos, a Lipschitz hányados korlátos kell legyen, vagyis

$0\le q_{{}_{ij}}^{\text{(}N\text{)}}\le L$ (8.69)

bármely i,j adatpárra. A sok adatpár közül azokat vizsgáljuk, ahol a Lipschitz hányados értéke nagy.

Határozzuk meg a Lipschitz hányados felső korlátját. A függvénykapcsolat érzékenységi vizsgálata alapján a kimenet megváltozása a bemenetek megváltozásai alapján az alábbi formában írható fel:

$\begin{array}{l}\Delta y=\frac{\partial f}{\partial x_1}\Delta x_1+\frac{\partial f}{\partial x_2}\Delta x_2+\dots +\frac{\partial f}{\partial x_N}\Delta x_N\\ ={f^{\prime }}_1^{}\Delta x_1+{f^{\prime }}_2^{}\Delta x_2+\dots +{f^{\prime }}_N^{}\Delta x_N\end{array}$ (8.70)

ahol ${f^{\prime }}_l^{}$ az $f\text{(}x\text{)}$ függvény x_l szerinti parciális deriváltja, $\Delta x_l=x_l\left(i\right)-x_l\left(j\right)$ l=1, …, N és $\Delta y=y\left(i\right)-y\left(j\right)$ . Felhasználva a deriváltra vonatkozó (8.68) felső korlátot és a Schwarz egyenlőtlenséget, továbbá, ha a bemeneti térben az euklideszi normát használjuk, a Lipschitz hányadosra az alábbi felső korlátot kapjuk:

$\begin{array}{l}{q}_{ij}^{\text{(}N\text{)}}=\frac{\left|\Delta y\right|}{\sqrt{{\text{(}\Delta x_1\text{)}}^2+{\text{(}\Delta x_2\text{)}}^2+\dots +{\text{(}\Delta x_N\text{)}}^2}}\\ =\frac{\left|{f^{\prime }}_1^{}\Delta x_1+{f^{\prime }}_2^{}\Delta x_2+\dots +{f^{\prime }}_N^{}\Delta x_N\right|}{\sqrt{{\text{(}\Delta x_1\text{)}}^2+{\text{(}\Delta x_2\text{)}}^2+\dots +{\text{(}\Delta x_N\text{)}}^2}}\\ \le \frac{\left|\Delta x_1+\Delta x_2+\dots +\Delta x_N\right|}{\sqrt{{\text{(}\Delta x_1\text{)}}^2+{\text{(}\Delta x_2\text{)}}^2+\dots +{\text{(}\Delta x_N\text{)}}^2}}M\le \sqrt{N}M\end{array}$ (8.71)

Az $f\text{(}x\text{)}$ függvény rekonstrukcióját akarjuk mintapontok alapján megkapni. Ha a függvény valóban kielégíti a (8.68) összefüggést, és az összes bemeneti változó szerepel az $f\text{(}x\text{)}$ függvény rekonstrukciójában, akkor az összes mintapárra számított Lipschitz hányadosra érvényes kell legyen a (8.71) felső korlát.

Tételezzük most fel, hogy valamelyik bemeneti változó, pl. x_N hiányzik a függvény rekonstrukciójánál, vagyis a mintapontoknál az x_N komponens hiányzik. Ekkor két bemeneti pont közötti távolságra $\sqrt{{\text{(}\Delta x_1\text{)}}^2+{\text{(}\Delta x_2\text{)}}^2+\dots +{\text{(}\Delta x_{N-1}\text{)}}^2}$ adódik, miközben a megfelelő kimenet-megváltozás változatlan marad, vagyis a Lipschitz hányados

$\begin{array}{l}{q}_{ij}^{\text{(}N-1\text{)}}=\frac{\left|\Delta y\right|}{\sqrt{{\text{(}\Delta x_1\text{)}}^2+{\text{(}\Delta x_2\text{)}}^2+\dots +{\text{(}\Delta x_{N-1}\text{)}}^2}}\\ =\frac{\left|{f^{\prime }}_1^{}\Delta x_1+{f^{\prime }}_2^{}\Delta x_2+\dots +{f^{\prime }}_N^{}\Delta x_N\right|}{\sqrt{{\text{(}\Delta x_1\text{)}}^2+{\text{(}\Delta x_2\text{)}}^2+\dots +{\text{(}\Delta x_{N-1}\text{)}}^2}}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\end{array}$ (8.72)

lesz. Ha x_N független a többi bemeneti változótól, $q_{ij}^{\text{(}N-1\text{)}}$ extrém nagy, sőt végtelen értéket is felvehet. Ilyen eset állhat elő, ha $\Delta x_1=\Delta x_2=\dots =\Delta x_{N-1}=0$ , és $\Delta x_N$ tetszőlegesen kicsi, de nem nulla. Ha x_N nem teljesen független az $x_{\text{1}}\text{,}{x}_{\text{2}}\text{,}\dots \text{,}{x}_{N-1}$ bemeneti változóktól (ilyen helyzet lehet pl. ha $x_{\text{1}}\text{,}{x}_{\text{2}}\text{,}\dots \text{,}{x}_N$ egy jel késleltetett értékei), akkor $q_{ij}^{\text{(}N-1\text{)}}$ sokkal nagyobb lesz, mintha a bemeneti változók között x_N is szerepelne. Ebből a vizsgálatból az következik, hogy ha egy szükséges bementi változó hiányzik a bemeneti vektorból, a Lipschitz hányados nagyon nagy értéket is felvehet. Minél több változó hiányzik, annál nagyobb lehet a Lipschitz hányados. Ha ez a helyzet áll elő, semmilyen nemlineáris approximációs eszköz sem lesz képes megtanulni a leképezést kielégítő minőségben.

Ha a bemenetek közé egy redundáns változót, pl. x_N+1-et is bevesszük a Lipschitz hányadosra a következő adódik:

$\begin{array}{l}{q}_{ij}^{\text{(}N+1\text{)}}=\frac{\left|\Delta y\right|}{\sqrt{{\text{(}\Delta x_1\text{)}}^2+{\text{(}\Delta x_2\text{)}}^2+\dots +{\text{(}\Delta x_{N+1}\text{)}}^2}}\\ =\frac{\left|{f^{\prime }}_1^{}\Delta x_1+{f^{\prime }}_2^{}\Delta x_2+\dots +{f^{\prime }}_N^{}\Delta x_N\right|}{\sqrt{{\text{(}\Delta x_1\text{)}}^2+{\text{(}\Delta x_2\text{)}}^2+\dots +{\text{(}\Delta x_{N+1}\text{)}}^2}}\end{array}$ . (8.73)

_{$q^{\left(N+1\right)}$} csak kismértékben lehet kisebb, mint $q^{\left(N\right)}$ , vagyis $q^{\left(N+1\right)}\approx q^{\left(N\right)}$ . Ha további redundáns változók kerülnek a bemeneti vektorba a Lipschitz hányadosok jelentősen nem fognak változni. Egy bemeneti változó az $f\text{(}x\text{)}$ függvénykapcsolat szempontjából akkor redundáns, ha ettől a változótól – jelen esetben x_N+1-től – a függvényérték, y nem függ.

Fentiek alapján látható, hogy a Lipschitz index tulajdonsága, hogy ha N a bemeneti változók megfelelő száma, akkor $L{q}^{\left(N+1\right)}$ közel azonos $L{q}^{\left(N\right)}$ -nel, de jóval kisebb, mint $L{q}^{\left(N-1\right)}$ . Továbbá $L{q}^{\left(N-1\right)}$ is sokkal kisebb, mint $L{q}^{\left(N-2\right)}$ , miközben $L{q}^{\left(N+2\right)}$ közel azonos $L{q}^{\left(N+1\right)}$ -gyel és így tovább. Ebből adódóan, ha felrajzoljuk az $L{q}^{\left(N\right)}$ Lipschitz index alakulását N függvényében, azt figyelhetjük meg, hogy adott N₀ értéktől kezdve $L{q}^{\left(N\right)}$ N-től egyre kevésbé fog függni, viszont N₀-nál kisebb számú bemeneti változó esetén $L{q}^{\left(N\right)}$ N növelésével meredeken csökken. Ez az N₀ érték lesz a bemeneti változók megfelelő száma.

A 8.17 (a) ábra jól mutatja, hogy N₀=3-nál a Lipschitz index minimumot vesz fel. Az ábra azt az ideális helyzetet tükrözi, amikor a megfigyeléseink zajmentesek. A görbe közel hasonlóan alakul akkor is, ha a mintapontok kismértékben zajosak (8.17 (b) ábra). Ha a zajszint növekszik a görbén látható határozott töréspont egyre inkább elmosódik. Erre mutat példát a 8.17 (d) ábra.

A (8.66) összefüggésből látható, hogy a Lipschitz index a $q^{\left(N\right)}\text{(}1\text{)}\text{, }{q}^{\left(N\right)}\text{(}2\text{)}\text{, }\dots \text{, }{q}^{\left(N\right)}\text{(}p\text{)}$ Lipschitz hányados-sorozat $\sqrt{N}$ -nel szorzott értékeinek mértani középértéke. A mértani közép alkalmazásának oka, hogy így az index alakulása kevésbé érzékeny a tanító adatokat terhelő mérési zajra.

Ha a fenti eredményeket a fokszámmeghatározásra alkalmazzuk, akkor valójában azt határozzuk meg, hogy a regresszorvektorban hány komponensnek kell szerepelnie (és melyek ezek a komponensek). A bemeneti komponensek most a dinamikus modellstruktúra osztály függvényében a rendszer régebbi bemeneti (NFIR struktúra), régebbi bemenetei és a régebbi rendszerkimenetek (NARX struktúra), stb. lesznek.

NFIR modellstruktúra esetén az eljárás a következő: Az $L{q}^{\left(N\right)}$ Lipschitz indexet több különböző modell-fokszám érték mellett kell meghatározni, ahol N jelöli az előrecsatoló ág fokszámát. N=1-gyel kezdve csak x(k-1)-et vesszük be a regresszorvektorba. Ezzel számíthatjuk ki $L{q}^{\left(1\right)}$ értékét. N=2 esetén x(k-1) mellett a regresszorvektor már x(k-2)-t is tartalmazza, így számítható $L{q}^{\left(2\right)}$ . Ha $L{q}^{\left(2\right)}$ közel azonos $L{q}^{\left(1\right)}$ -gyel, x(k-2)-re nincs szükség. Ezzel szemben, ha $L{q}^{\left(2\right)}$ jelentősen kisebb, mint $L{q}^{\left(1\right)}$ , x(k-2) része marad a regresszorvektornak és a fokszámnövelést innen folytatjuk x(k-3)-mal. Ezt a stratégiát folytatva lépésről-lépésre növeljük az előrecsatoló ág késleltetéseinek számát, amíg a megfelelő fokszámot el nem érjük.

A Lipschitz index nemcsak NFIResetben, hanem NARXhálózatoknál is alkalmazható, ahol két fokszámérték meghatározása a cél. A NARX modelleknél az előrecsatoló ágban lévő késleltetések száma mellett a visszacsatoló ág késleltetett értékeinek számát is meg kell határozni.

NARX modell estén a következő stratégia szerint járhatunk el. Az $L{q}^{\text{(}R\text{)}}=L{q}^{\left(M+N\right)}$ Lipschitz indexet több különböző modell-fokszám érték mellett kell meghatározni, ahol R az eredő fokszám és ezen belül M jelenti a visszacsatoló ág, N pedig az előrecsatoló ág fokszámát. Ha R=1, akkor csak $d\left(k-1\right)$ -et vesszük be a regresszorvektorba. Ezzel számíthatjuk ki $L{q}^{\left(1+0\right)}$ értékét. R=2 esetén d(k-1) mellett már x(k-1)-et is szerepeltetjük a regresszorvektorban, így számítható $L{q}^{\left(1+1\right)}$ . R=3 mellett d(k-2) is felhasználásra kerül, vagyis $L{q}^{\left(2+1\right)}$ számítható. Ha azonban $L{q}^{\left(2+1\right)}$ közel azonos $L{q}^{\left(1+1\right)}$ -gyel, a visszacsatoló ágban nincs szükség két késleltetésre. Helyette az R=3-hoz a bemeneti ágban kell egy újabb késleltetett értéket, x(k-2)-t felhasználni és $L{q}^{\left(1+2\right)}$ -t kell meghatározni. Ezzel szemben, ha $L{q}^{\left(2+1\right)}$ jelentősen kisebb, mint $L{q}^{\left(1+1\right)}$ , d(k-2) része marad a regresszorvektornak és a fokszámnövelést innen folytatjuk x(k-2)-vel. Így juthatunk el $L{q}^{\left(2+2\right)}$ -höz, amit ismét össze kell hasonlítanunk $L{q}^{\left(2+1\right)}$ -gyel. A továbblépés az összehasonlítás eredményétől függően vagy az (M,N)=(2,2) struktúra megtartását jelenti, vagy vissza kell térni az (M,N)=(2,1) felépítéshez, ahonnan a továbblépés ismét M növelésével az $L{q}^{\left(3+1\right)}$ index meghatározásához vezet. Ezt a stratégiát folytatva lépésről-lépésre növeljük a visszacsatoló és az előrecsatoló ág késleltetéseinek számát, amíg a megfelelő fokszámot el nem érjük.

A Lipschitz index alapú eljárás előnye, hogy közvetlenül a mintapontokból dolgozik, anélkül, hogy különböző komplexitású modellek előzetes megépítésére szükség lenne. Hátránya a viszonylag nagyfokú zajérzékenység.

8.2 példa

Példaként határozzuk meg a Mackey-Glass kaotikus folyamatmodellezésénél a modell-fokszámot. A Mackey-Glass kaotikus folyamatot a

$\frac{dx\text{(}t\text{)}}{dt}=-\mathrm{0,1}x\left(t\right)+\frac{\mathrm{0,2}x\left(t-\tau \right)}{1+x^{10}\left(t-\tau \right)}$ (8.74)

differenciálegyenlet írja le. (A felhasznált idősort a differenciálegyenletből τ=17 mellett negyedrendű Runge-Kutta integrálással és (6:1)-es alulmintavételezéssel kaphatjuk. Az az így kapott idősort gyakran alkalmazzák különböző dinamikus modellezési megközelítések vizsgálatánál mintapéldaként, mint benchmark feladatot.) A Mackey-Glass folyamatból kapott idősor egy olyan kaotikus idősort definiál, ahol a folyamat korábbi értékei alapján határozható meg egy későbbi érték.

$\phi \left(k\right)=\text{[}d\left(k-1\right),...,d\left(k-M\right)\text{]}$ (8.75)

A folyamat modellezésére tehát egy olyan visszacsatolt rendszer lehet alkalmas, ahol külső gerjesztés nincs. NARXmodellt alkalmazva a folyamat mintavételi értékei lesznek a kívánt d(k) válaszok, vagyis a regresszorvektor (8.75) alakú lesz és a modell-fokszám meghatározása M értékének meghatározását jelenti. P=1000 mintapont alapján, továbbá, ha a Lipschitz index (8.66) összefüggésében p=10, a 8.17 ábrán látható eredményt kapjuk. Az ábra jól mutatja, hogy a zaj növelése milyen mértékben teszi bizonytalanná a Lipschitz index alkalmazását a fokszám meghatározására. Az ábrán bemutatott zajos esetekben a mintapontokat egyre nagyobb szórású additív Gauss zaj terheli.

A fenti eljárásokon túl a gyakorlatban számos további módszer alkalmazható a megfelelő modellkomplexitás meghatározására. A keresztkiértékelés (cross validation) szerepét a statikus neuronhálók minősítésénél már említettük. A módszer dinamikus hálóknál szintén alkalmazható, amikor a létrehozott modellt olyan mintákkal teszteljük, melyeket a modell kialakításánál nem használtunk. A valóságos, megfigyelt adatok és a modell kimenete közötti különbség − a maradék hiba − vizsgálata alapján értékelhető a modell minősége. A keresztkiértékelés eredménye tehát nem közvetlenül a fokszám megfelelő megválasztására utal, hanem a teljes megoldást minősíti, de a minősítés eredményét felhasználva meghatározható a megfelelő modell-fokszám is.

A maradék hiba vizsgálata (residual test) alapján eldönthető, hogy a modell kellően pontosan leírja-e a modellezendő rendszert. A modell akkor tekinthető megfelelőnek, ha az

$\epsilon \text{(}k\text{)}=d\left(k\right)-y\left(k\right)$ (8.76)

maradék hiba „struktúramentes”, semmiféle „mintázatot” nem mutat, sem a bemenettel sem a kimenettel nem korrelált.

Precízebben megfogalmazva, az $\left\{\epsilon \text{(}k\text{)}\right\}$ hibaminta sorozat

$E\left\{\epsilon \text{(}k\text{)}x\left(j\right)\right\}=0;k>j$ .

A maradék hiba vizsgálatára szolgál az autókorrelációs és a keresztkorrelációs teszt, melynek során a maradék hiba autókorrelációs illetve a hibának és a bemenetnek a keresztkorrelációs függvényét becsüljük.

Az autókorrelációs függvényt véges számú mintapont alapján az alábbi módon becsülhetjük:

${\widehat{C}}_{\epsilon \epsilon }\left(\tau \right)=\frac{1}{N-\tau }{\displaystyle \sum _{k=\tau +1}^N\epsilon \text{(}k\text{)}\epsilon \text{(}k-\tau \text{)}}$ (8.77)

Minél inkább fehérzaj a maradék hiba (vagyis minél inkább „struktúramentes”), annál inkább az impulzusfüggvényhöz tart az autókorrelációs függvény. A 8.18 ábra egy tipikus példát mutat a maradék hiba autókorrelációs függvényére.

A keresztkorreláció a maradék hiba és a bemenet közötti kapcsolat vizsgálatára szolgál. A keresztkorrelációs függvény az alábbi összefüggés szerint becsülhető: $$

${\widehat{C}}_{x\epsilon }\left(\tau \right)=\frac{1}{N-\tau }{\displaystyle \sum _{k=\tau +1}^N\epsilon \text{(}k\text{)}x\text{(}k-\tau \text{)}}$ (8.78)

Megfelelő pontosságú modell esetén a maradék hiba és a bemenet korrelálatlan, vagyis a keresztkorrelációs függvény értéke közel nulla bármilyen τ késleltetés mellett is. Egy tipikus keresztkorrelációs kapcsolatot mutat a 8.19 ábra.

A Mackey-Glass kaotikus folyamatot, mint gyakori benchmark problémát a modell-fokszám becslési eljárásoknál említettük (ld. 8.2 példa). A kaotikus folyamatok tesztfeladatként való felhasználását az indokolja, hogy ezen folyamatok jövőbeni alakulásának előrejelzése különösen nehéz, hosszútávú előrejelzésük pedig gyakorlatilag lehetetlen.

Az előrejelzési feladatot itt is úgy fogalmaztuk meg, hogy a folyamatból származtatott diszkrét idősor pillanatnyi és régebbi mintái alapján a következő időponthoz tartozó érték előrejelzésére van szükség, tehát egylépéses előrejelzési feladattal van dolgunk. A megoldás NARXmodell-osztály mellett, a 8.2 példában meghatározott modell-fokszám alkalmazásával, Gauss kernellel dolgozó LS-SVM hálózattal (σ=2,6, C=1 hiperparaméterek mellett) történt. A tanítókészlet 500 mintaszekvenciából állt. Az LS-SVM előrejelzésének eredménye a 8.25 ábrán látható. Az ábra felső részén az eredeti idősor és az előrejelzés szerepel; a vékonyabb folytonos vonal az eredeti folyamat alakulását, a vastagabb a háló előrejelzését mutatja. Látható, hogy az előrejelzés és a folyamat valódi mintái az ábra szerinti felbontásban szinte egymásra kerülnek. A két görbe különbsége, az előrejelzési hiba látható az ábra alsó részén. Ezzel a megoldással gyakorlatilag ekvivalens eredményt érhetünk el LS²-SVM-mel is. Ennek a megoldásnak az előnye ugyanakkor, hogy LS²-SVM-mel ritka megoldást érhetünk el lényegében a minőség romlása nélkül: az 500 mintaszekvenciából 55 szupport vektor elegendőnek bizonyult.

1991 augusztusában az amerikai Santa Fe Institute írt ki egy nyilvános versenyt, amely során hat mintasorozatnak kellett megjósolni a folytatását. A szervezők egymástól teljesen eltérő jellegű feladatokat adtak ki, és semmiféle megkötést nem tettek az alkalmazható módszerre vonatkozóan. Maguk a szervezők is meglepődtek azon az eredményen, hogy a neurális hálózatokat alkalmazó megoldások mindegyik jel esetén jobbnak bizonyultak az egyéb – igen széles skálán mozgó – megoldásoknál [Wei94].

A közzétett jelsorozatok az alábbiak voltak:

Az adatok – mint látszik – tényleg eléggé eltérőek, még jellegüket tekintve is. Azonban éppen ez a sokszínűség az, amely a neurális hálózatok alkalmazhatóságát látszik igazolni jóslási feladatok során.

A Santa Fe versenyt követően jónéhány hasonló versenyt írtak, ki. Ezek a versenyek az utóbbi években a neuronhálókkal foglalkozó évenként megrendezésre kerülő legrangosabb nemzetközi konferenciához, az International Joint Conference on Neural Network (IJCNN)-höz kapcsolódnak.

A gyakorlatban előforduló valódi jóslási feladatok megoldása során szinte mindig rendelkezésre áll bizonyos a priori információ a vizsgált jelenséget illetően. Ez az információ beépíthető a modellekbe a megoldás során, jelentősen javítva a jóslás megbízhatóságát. Az a priori információ beépítése neurális hálózatokba (pl. a súlyok kezdeti inicializálása, stb. által) még nem teljesen megoldott, így ebből a szempontból még sok kutatásra van szükség. Mivel a Santa Fe verseny során a rendezők a jelekről semmilyen a priori információt nem tettek közzé, valószínűleg a hagyományos módszerek „nem tudták a legjobb formájukat hozni”.

A következőkben az első jelsorozat, az NH₃ lézer intenzitás előrejelzését megoldó neurális megoldást, mint ennek a feladatnak a győztesét mutatjuk be [Wan93]. A feladat nehézségét az jelenti, hogy a lézerjel intenzitása időben nem állandó, hanem folyamatosan és gyorsan pulzál a szélső értékek között, ráadásul a folyamat kaotikus jellegű. A közreadott kiinduló jelszegmens, mint időfüggvény a 8.26 ábrán látható.

A konkrét feladatban egy 1000 hosszú adatsor állt rendelkezésre, és ebből kellett megjósolni a lézerjel intenzitását a következő 100 időpillanatban. A verseny ideje alatt az idősorról semmiféle háttér információt nem tettek közzé. A versenyzőknek a priori ismeretek bevetése nélkül, puszta számok alapján kellett előrejelzőt építeni. (Természetesen ez a tiszta „fekete doboz” megközelítés tényleges gyakorlati feladatok megoldása esetén nem célszerű. Viszont előrejelző algoritmusok összehasonlítására kiválóan alkalmas, mivel így maguk az algoritmusok kerülnek összevetésre, nem pedig az a priori tudás beépítésének módjai.)

A versenyben hibakritériumként a tényleges idősor empirikus szórásnégyzetével normalizált átlagos négyzetes hibát használták. Az alkalmazott megoldás az előző feladat megoldásához hasonlóan egylépéses predikcióra vezette vissza a középtávú előrejelzési feladatot. Ez azt jelenti, hogy a háló konstrukciójánál NARXmodellosztályt alkalmaztak, melyet a tanítás után mint NOEmodellt működtettek. Az idősor természete és a megcélzandó hibakritérium alapján nyilvánvaló volt, hogy a nagy intenzitás-visszaesések (lásd a 200-as, az 510-es és a 600-as pontok környékét) megjóslása kulcsfontosságú. Ez érdekes jelleget ad a feladatnak, mivel ilyen mintázatból a rendelkezésre álló idősorban mindössze 3 található.

A versenygyőztes FIR-MLP hálózat a bemeneti és a kimeneti neuronon kívül 2 rejtett réteget tartalmazott, mindkettőben 12-12 neuronnal. Az első rejtett réteg bemenetei 25-öd fokú, míg a további két réteg bemenetei 5-ödfokú szűrők voltak. Ezeknek a paramétereknek a beállítása kereszt kiértékeléssel történt. Ilyen felépítés mellett a FIR-MLP hálózatnak összesen 1105 szabad paramétere volt, ami a tanító készlet méretéhez képest igen nagy szám. Erre a szerzők szerint azért volt szükség, mert a kísérletek azt mutatták, hogy kisebb hálózattal a hirtelen nagy visszaesések helyei nem jósolhatók meg elég pontosan. A sok szabad paraméter azt is eredményezi, hogy a távoli időpillanatokra adott becslések varianciája nagy lesz, de ez még mindig kevésbé növeli a hibát, mintha nem sikerült volna eltalálni a hirtelen intenzitás-visszaesés időpontját. Vegyük észre, hogy miközben a modell ténylegesen a NARX modellstruktúrának megfelelően épült fel, az alkalmazott háló architektúra FIR-MLP volt. A FIR-MLP azonban nem valódi bemenőjelet kapott (hiszen ilyen a feladatban nincs is), hanem a kívánt válasz, a lézerjel régebbi értékeit.

A háló kezdeti súlyait úgy állították be, hogy a súlyoknak 0 és 1 közötti véletlen értékeket adtak, majd minden neuron súlyát a bemenetszám négyzetgyökével fordítottan arányosan skálázták. A kimeneten lineáris neuront használtak, hogy a háló kimenete szélesebb értéktartományban mozoghasson. (A kimenet jövőbeli értéktartományát előre nem lehetett megbecsülni, amire normalizált kimenethez szükség lett volna.) Tanulási tényezőként 0.001-et használtak (heurisztikusan állították be így). A rendelkezésre álló idősor első 900 pontját használták tanításra, a maradék 100-on végezték a tesztelést. Egy teljes tanítás során tipikusan kb. 2000-szer haladtak végig a tanító készleten.

Mivel a tesztelő készlet nem tartalmazott egyetlen hirtelen intenzitás-visszaesést sem, ezért ellenőrzésképpen a hálókkal az 550-es ponttól is indítottak 100 lépéses predikciókat. Ez némileg „csalás”, de olyan kevés adat állt rendelkezésre, hogy a szerzők így döntöttek. Természetesen meg kell jegyeznünk, hogy ezeknél az ellenőrzéseknél az 550-es ponton túl a hálózat nem a tanító készlet elemeit kapta bemenetként, hanem a saját korábbi előrejelzéseit (NOE modell). A FIR-MLP-vel kapott előrejelzés eredménye a 8.27 ábrán látható.

Érdekesség, hogy a verseny után közzétették a lézer idősor 10 000 pontból álló folytatását. A kísérletek azt mutatták, hogy a versenygyőztes hálózat akkor is jó eredményeket produkált, ha nem az 1001-edik időpillanattól kezdve végezték el a 100 lépéses predikciót, miközben a hosszabbtávú előrejelzésnél a hiba drasztikusan nőtt. Ez azt jelenti, hogy a háló megtanulta a lézerjel dinamikáját, de a NOE architektúra miatt az előrejelzési hibák halmozódása miatt a soklépéses előrejelzés nem lehetséges.

A feladatot megoldották LS-SVM-mel is [Suy02a]. A Gauss kernellel felépített LS-SVM alapú NARX modell 50 régebbi minta alapján adott egylépéses előrejelzést. Az 50 elemű regresszor következménye, hogy a tanítópontok 50 elemű bemeneti vektorokból és a hozzájuk tartozó skalár kimenetekből álltak. Itt emlékeztetni szeretnénk, hogy SVM-nél a kernel trükk miatt a sokdimenziós bemeneti vektorok nem feltétlenül jelentenek hátrányt. LS-SVM-nél a megoldandó lineáris egyenletrendszer mérete nem függ a bemeneti dimenziótól. A hiperparamétereket, a Gauss kernel szélesség-paraméterét és a C regularizációs együtthatót kereszt kiértékeléssel határozták meg. Az LS-SVM-mel elért megoldás minőségét tekintve teljes mértékben egyenértékű a FIR-MLP eredményével.

Feladatok

8.1 Egy FIR-CMAC hálónál határozza meg a kimeneti réteg szűrő együtthatóinak tanítási összefüggéseit gradiens módszer alkalmazása esetén.

8.2 Konstruáljon FIR-RBF hálót, amelynek rejtett rétege megegyezik az eredeti RBF háló rejtett rétegével, a kimeneti rétegében pedig a súlyok helyett FIR szűrők találhatók. Határozza meg a rejtett réteg paramétereinek tanítási összefüggéseit, ha azokat is ellenőrzött tanítással, gradiens módszerrel kívánjuk meghatározni. (ld. még a 5.3 feladatot).

8.3 A 8.12 (a) ábra szerinti modellnél N egy többrétegű perceptron, a kimeneten lévő lineáris dinamikus rendszer átviteli függvénye pedig a következő:

$H\left(z\right)=\mathrm{0,1}{z}^{-1}+\mathrm{1,0}{z}^{-2}+\mathrm{0,5}{z}^{-3}$

Határozza meg az MLP tanítási összefüggéseit, ha dinamikus hibavisszaterjesztéses eljárást használ.

8.4 Egy 3-bemenetű, két rejtett elemű, egykimenetű MLP hálózat súlyai helyén két megcsapolásos FIR szűrőket alkalmazunk. Határozza meg a háló virtuális megfelelőjét az időbeli kiterítés módszerét alkalmazva. Hány súly található a kiterített virtuális hálóban?

8.5 Egy személyautót szeretnénk hátramenetben beparkoltatni egy járda mellett két autó közé. Konstruáljon olyan neurális kontrollert, amely a feladatot megoldja. Készítse el az autó neurális modelljét, majd a BPTT megközelítést alkalmazva hozza létre a neurális szabályozót, melynek a kocsi kormányzása a feladata. A feladatot két változatban készítse el: (1) a parkoló autók a járdára merőlegesen, (2) a járdával párhuzamosan állnak.

8.6 Az alábbi összefüggéssel megadott Mackey-Glass kaotikus idősor előrejelzésére alakítson ki dinamikus neurális rendszert:

$x\left(k+1\right)=-\mathrm{0,1}x\left(k\right)+\frac{\mathrm{0,2}x\left(k-\tau \right)}{1+x^{10}\left(k-\tau \right)}$ ,

ha τ =30 és a kezdeti érték $x\left(k\right)=\mathrm{0,9}\text{ha}0\le k\le \tau$ . A feladat során a folyamat 500 pontját felhasználva kell a következő 6-10 pont előrejelzését megoldania. Próbálja megoldani a feladatot LS-SVM-mel. Ehhez határozza meg a modell struktúráját (modellosztály és modell-fokszám), majd konstruálja meg a kernel gépet. A megtanított hálót befagyasztva működtesse a hálót rekurzív módon a következő 100 pont jóslására. Vizsgálja meg a hiba alakulását az eredeti idősor adataihoz viszonyítva. Rajzolja fel mind az eredeti, mind a becsült idősor fázisdiagramját (az összetartozó $x\left(k\right)\text{ és }x\left(k+1\right)$ minták kapcsolatát egy kétdimenziós ábrán).

8.7 Az alábbi logisztikai egyenletnek nevezett összefüggéssel adott a Feigenbaum kaotikus idősor:

$x\left(k+1\right)=4x\left(k\right)\left[1-x(k)\right]$ ,

Határozza meg a modell fokszámát a Lipschitz index segítségével. Vizsgálja meg a Lipschitz index alakulását, ha a mintákat additív Gauss zaj terheli.

8.8 Az előző feladat eredményeit felhasználva konstruáljon olyan dinamikus neuronhálót, amely modellezi a kaotikus folyamat viselkedését. Generáljon megfelelő számú mintát egy olyan tanítókészlethez, amelynek segítségével megtanított dinamikus neuronháló az idősor előrejelzését 20 lépésre előre meg tudja adni.