A hálózat tanításához először a kimeneti hiba (8.10) szerinti összefüggését kell felírni. Az eredő hiba a háló összes kimenetén értelmezhető, adott időpillanathoz tartozó négyzetes hibakomponensek mind a kimenetek, mind a K időablak szerinti összege (N_L a kimeneti réteg neuronjainak száma). Jelöljük ezt a hibát ε²-tel.

${\epsilon }^2={\displaystyle \sum _{k=1}^{{\rm K}}{\displaystyle \sum _{i=1}^{N_L}{\epsilon }_{{}^i}^2\left(k\right)}}$ , (8.11)

Egy adott súly módosításához ennek az eredő négyzetes hibának az adott súly szerinti deriváltját kell meghatározni. Célszerű azonban, ha közvetlenül egy összeköttetés-ágban szereplő FIR szűrő összes együtthatóját összefogó súlyvektor tanító összefüggését írjuk fel.

Vezessük be ehhez a következő jelölést. Legyen

$w_{ij}^{\left(l\right)}={\left[w_{ij\mathrm{,0}}^{\left(l\right)},w_{ij\mathrm{,1}}^{\left(l\right)}\mathrm{,...,}{w}_{ij,M_{ij}^{\left(l\right)}}^{\left(l\right)}\right]}^T$ (8.12)

az l-edik réteg i-edik és az előző réteg j-edik processzáló eleme közötti szűrő együtthatóinak vektora. A vektor felírásából látható, hogy a szűrőágban $M_{ij}^{\left(l\right)}$ egységnyi késleltetés és $M_{ij}^{\left(l\right)}+1$ szűrőegyüttható van. Bár elvileg nincs akadálya, hogy az egyes szűrők eltérő számú késleltetést tartalmazzanak, ennek gyakorlati haszna nincs, ezért most is feltételezzük, hogy egy adott réteg összes neuronjának minden bemeneti szűrője azonos számú késleltetéssel és ennek megfelelően azonos számú szűrő együtthatóval rendelkezik. Ezért $M_{ij}^{\left(l\right)}=M_{}^{\left(l\right)}$ minden i=1,2,…, N_(l-1) és minden j=1,2,…,N_l-re (N_(l-1) és N_l az (l−1)-edik, illetve az l-edik réteg neurojainak a száma).

A fentiek figyelembevételével a súlymódosító összefüggéshez a $\frac{\partial {\epsilon }^2}{\partial w_{ij}^{\left(l\right)}}$ gradiens meghatározása szükséges. A háló tanítási összefüggéseinek meghatározása többféle megközelítésben lehetséges. Egy lehetőség, ha a $\frac{\partial {\epsilon }^2}{\partial w_{ij}^{\left(l\right)}}$ gradienst az egyes időpillanatokhoz tartozó $\frac{\partial {\epsilon }^2\left(k\right)}{\partial w_{ij}^{\text{(}l\text{)}}}$ gradiensek segítségével írjuk fel:

$\frac{\partial {\epsilon }^2}{\partial w_{ij}^{\left(l\right)}}={\displaystyle \sum _k\frac{\partial {\epsilon }^2\left(k\right)}{\partial w_{ij}^{\left(l\right)}}}$ . (8.13)

Itt tehát ${\epsilon }^2={\displaystyle \sum _k{\epsilon }^2\left(k\right)}$ , vagyis az eredő négyzetes hiba az egyes időpillanatokbeli négyzetes hibaértékek megfelelő időablakra vett összegét jelenti. E megközelítés szerint végezve a vizsgálatot valójában időben kiterítjük a hálózatot és így egy nagyobb, de statikus hálót kapunk, ami már a hagyományos hibavisszaterjesztéses algoritmussal tanítható. A kiterítés következtében kapott virtuális háló azonban igen nagyméretű is lehet a FIR szűrőkben található késleltető láncok méretétől függően, továbbá a virtuális háló struktúrája el fog térni a szokásos többrétegű perceptron felépítésétől: az egyes rétegek processzáló elemei nincsenek a következő réteg összes processzáló elemével összekötve. További eltérés, hogy a virtuális háló az időbeli kiterítés következtében jóval több súlyt tartalmaz, mint a fizikailag létező valóságos; egy valóságos súlynak a virtuális hálóban több megfelelője van, melyek a háló működésének különböző időpillanataihoz tartoznak és a kiterített hálóban más-más rétegben szerepelnek. A hagyományos hibavisszaterjesztéses algoritmus alkalmazásánál az azonos fizikai súly különböző virtuális megfelelőihöz eltérő súlymódosító összefüggéseket kapunk, mivel a hibavisszaterjesztés útja a különböző virtuális megfelelőkig eltérő. Ennek ellenére csak egy fizikai súly létezik, tehát ezt különbözőképpen nem módosíthatjuk. A megoldás csak az lehet, hogy a különböző módon visszaterjesztett "hiba" figyelembevételével nyert súlymódosítások eredőjével kell módosítanunk a fizikai súly értékét, ami azt jelenti, hogy a megfelelő virtuális súlyok azonos mértékben és egyszerre módosulnak.

E nehézségek miatt, különösen nagyobb rendszereknél az időbeli kiterítés alapján történő FIR-MLP tanítás − bár elvileg lehetséges − nem célszerű. A következőkben egy más megközelítést mutatunk be.

A temporális hibavisszaterjesztéses(temporal back-propagation) eljárás a FIR-MLP háló tanítására egy hatékonyabb lehetőség [Wan90]. A kimeneti eredő hiba gradiense ugyanis a (8.13)-tól eltérően másféle felbontásban is felírható (a temporális back-propagation eljárás származtatásánál a 8.4 ábra jelöléseit illetve az MLP tanításánál, a standard hibavisszaterjesztéses eljárásnál alkalmazott jelöléseket használjuk):

$\frac{\partial {\epsilon }^2}{\partial w_{ij}^{\left(l\right)}}={\displaystyle \sum _k\frac{\partial {\epsilon }^2}{\partial s_i^{\left(l\right)}\left(k\right)}}\frac{\partial s_i^{\left(l\right)}\left(k\right)}{\partial w_{ij}^{\left(l\right)}}$ . (8.14)

Itt tehát nem a pillanatnyi négyzetes hiba adott súlyvektor szerinti gradiensét határozzuk meg először, amiből a megfelelő időablakra vonatkozó összegzéssel határozható meg az eredő gradiens, hanem az eredő hibának a megfelelő kimenet adott időpillanatbeli értéke szerinti parciális deriváltján keresztül kapjuk meg az eredő gradienst. Vegyük észre, hogy

$\frac{\partial {\epsilon }^2\left(k\right)}{\partial w_{ij}^{\left(l\right)}}\ne \frac{\partial {\epsilon }^2}{\partial s_i^{\left(l\right)}\left(k\right)}\frac{\partial s_i^{\left(l\right)}\left(k\right)}{\partial w_{ij}^{\left(l\right)}}$ , (8.15)

vagyis bár (8.13) és (8.14) egyenlők, adott k időindexhez tartozó komponenseikre az egyenlőség már nem áll fenn. Megmutatható, hogy ez utóbbi megközelítést választva a FIR-többrétegű perceptron tanítása a standard BP eljáráshoz hasonlóan történhet, vagyis a hibavisszaterjesztés itt is a jel előreterjesztését végző hálózathoz hasonló hálózaton, most tehát FIR szűrőkön keresztül történik.

A (8.14) szerinti felbontás alapján a következő súlymódosító összefüggést nyerjük:

$w_{ij}^{\left(l\right)}\left(k+1\right)=w_{ij}^{\left(l\right)}\left(k\right)-\mu \frac{\partial {\epsilon }^2}{\partial s_i^{\left(l\right)}\left(k\right)}\frac{\partial s_i^{\left(l\right)}\left(k\right)}{\partial w_{ij}^{\left(l\right)}}$ . (8.16)

A (8.16)-nak megfelelő súlymódosítás természetesen nem pontosan az igazi gradiens szerint halad a megoldás térben, hiszen egy módosító lépésben az eredő teljes hiba gradiense helyett egy gradiens-komponenssel dolgozunk. Nem túl nagyra választva azonban μ értékét, a súlymódosítás közel a valódi gradiensnek megfelelően történik. Megjegyezzük azonban, hogy a gradiens-komponens nem csak egy időpillanatbeli hiba alapján számítódik, hiszen a súlymódosításhoz ${\epsilon }^2$ megfelelő deriváltját használjuk fel.

Mivel a standard hibavisszaterjesztéses algoritmushoz hasonlóan $\frac{\partial s_i^{\left(l\right)}\left(k\right)}{\partial w_{ij}^{\left(l\right)}}=x_j^{\left(l\right)}\left(k\right)$ , továbbá, ha most is használjuk a ${\delta }_i^{\left(l\right)}\left(k\right)=-\frac{1}{2}\frac{\partial {\epsilon }^2}{\partial s_i^{\left(l\right)}\left(k\right)}$ jelölést, akkor egy adott súly helyén található szűrőegyütthatókból álló vektor módosítására az alábbi, a statikus MLP tanításávalformailag azonos összefüggést kapjuk:

$w_{ij}^{\left(l\right)}\left(k+1\right)=w_{ij}^{\left(l\right)}\left(k\right)+2\mu {\delta }_i^{\left(l\right)}\left(k\right)x_j^{\left(l\right)}\left(k\right)$ . (8.17)

A visszaterjesztett, általánosított hiba (valójában a kimeneti négyzetes hibának egy adott neuron lineáris kimenete szerinti érzékenysége) meghatározása attól függ, hogy az adott neuron melyik rétegben található.

A kimeneti réteg esetén ${\delta }_i^{\left(l\right)}\left(k\right)={\delta }_i^{\left(L\right)}\left(k\right)$ egyszerűen meghatározható, hiszen:

$\begin{array}{cccc}{\delta }_i^{\left(L\right)}\left(k\right)& =-\frac{1}{2}\frac{\partial {\epsilon }^2}{\partial s_i^{\left(L\right)}\left(k\right)}& & \\ & =-\frac{1}{2}\frac{\partial {\epsilon }_i{}^2}{\partial s_i^{\left(L\right)}\left(k\right)}& & \\ & =-{\epsilon }_i\frac{\partial {\epsilon }_i{}^{}}{\partial y_i^{}\left(k\right)}\frac{\partial y_i^{}\left(k\right)}{\partial s_i^{\left(L\right)}\left(k\right)}& & \\ & ={\epsilon }_{i}f\text{'}\left(s_i^{\left(L\right)}\left(k\right)\right)& & \end{array}$ (8.18)

Így a kimeneti réteg neuronjainál a súlyok módosítására formálisan a standard back-propagation eljárás kimeneti rétegre vonatkozó összefüggését kapjuk:

$w_{ij}^{\left(L\right)}\left(k+1\right)=w_{ij}^{\left(L\right)}\left(k\right)+2\mu {\epsilon }_{i}f\text{'}\left(s_i^{\left(L\right)}\left(k\right)\right)x_j^{\left(L\right)}\left(k\right)$ . (8.19)

Az egyetlen különbség, hogy itt $w_{ij}^{\left(L\right)}$ nem a kimeneti réteg összes súlyából álló súlyvektor, hanem a megfelelő szűrőág együtthatóiból álló, (8.12) által definiált vektor. Ugyancsak $x_j^{\left(L\right)}\left(k\right)$ nem az L-edik réteg teljes bemeneti vektora, hanem minden kimeneti neuron j-edik szűrőágában a késleltetett bemenetekből képezett vektor:

$x_j^{\left(L\right)}\left(k\right)={\lfloor x_j^{\left(L\right)}\left(k\right),x_j^{\left(L\right)}\left(k-1\right)\mathrm{,...,}{x}_j^{\left(L\right)}\left(k-M_{}^{\left(L\right)}\right)\rfloor }^T$ (8.20)

Ez a vektor természetesen megegyezik az előző réteg j-edik neuronjának késleltetett kimeneteiből képezett vektorral.

Az adott szűrő tehát $M_{}^{\text{(}L\text{)}}$ késleltető tagot tartalmaz, és a szűrő kimenetét a

$z_{ij}^{\text{(}L\text{)}}\left(k\right)=w_{ij}^{\text{(}L\text{)}}{}^T{x}_j^{\text{(}L\text{)}}\left(k\right)={\displaystyle \sum _{r=0}^{M^{\text{(}L\text{)}}}{w}_{ij,r}^{\text{(}L\text{)}}}{x}_j^{\text{(}L\text{)}}\text{(}k-r\text{)}$ , (8.21)

kapcsolat adja meg. A rejtett rétegeknél ${\delta }_i^{\left(l\right)}\left(k\right)$ meghatározásában a statikus hálónál származtatott hibavisszaterjesztéses algoritmushoz hasonlóan szerepet játszik az összes olyan neuron, mely összeköttetésben van az l-edik réteg i-edik neuronjának kimenetével, vagyis az (l+1)-edik réteg összes neuronja. A FIR szűrőben lévő késleltető lánc miatt azonban itt az időt is figyelembe kell venni. Ugyanis $s_i^{\left(l\right)}\left(k\right)$ a következő rétegbeli neuronok kimeneteinek nemcsak a k-adik időpillanatbeli értékét, hanem több, a k-adikat követő időpillanatbeli értékét is befolyásolja.

Mivel ${\delta }_i^{\left(l\right)}\left(k\right)$ a teljes négyzetes hiba $s_i^{\left(l\right)}\left(k\right)$ szerinti deriváltja, ezt az időfüggést nem hagyhatjuk figyelmen kívül. ${\delta }_i^{\left(l\right)}\left(k\right)$ meghatározása most is a láncszabály alkalmazásával lehetséges:

${\delta }_i^{\left(l\right)}\left(k\right)=-\frac{1}{2}\frac{\partial {\epsilon }^2}{\partial s_i^{\left(l\right)}\left(k\right)}=-\frac{1}{2}{\displaystyle \sum _m{\displaystyle \sum _t\frac{\partial {\epsilon }^2}{\partial s_m^{\left(l+1\right)}\left(t\right)}}}\frac{\partial s_m^{\left(l+1\right)}\left(t\right)}{\partial s_i^{\left(l\right)}\left(k\right)}$ (8.22)

Itt t szintén diszkrét időindex, és azokat az időpillanatokat jelöli, amelyekben az (l+1)-edik réteg kimenetei függnek az l-edik réteg i-edik neuronjának lineáris kimenetétől, $s_i^{\left(l\right)}\left(k\right)$ -tól. Mivel teljesen összekötött hálót tételezünk föl, egy adott réteg minden kimenete kapcsolódik a következő réteg összes neuronjához. Ebből adódóan m végigfut az 1, …, N_(l+1) értékeken.

A (8.22) kifejezés első tényezőjét nézve azonnal látható, hogy $\frac{\partial {\epsilon }^2}{\partial s_m^{\left(l+1\right)}\left(t\right)}=-2{\delta }_m^{\left(l+1\right)}\left(t\right)$ . A második tényezőt tovább írva:

$\frac{\partial s_m^{\left(l+1\right)}\left(t\right)}{\partial s_i^{\left(l\right)}\left(k\right)}=\frac{\partial s_m^{\left(l+1\right)}\left(t\right)}{\partial y_i^{\left(l\right)}\left(k\right)}\frac{\partial y_i^{\left(l\right)}\left(k\right)}{\partial s_i^{\left(l\right)}\left(k\right)}=\frac{\partial s_m^{\left(l+1\right)}\left(t\right)}{\partial y_i^{\left(l\right)}\left(k\right)}f\text{'}\left(s_i^{\left(l\right)}\left(k\right)\right)$ . (8.23)

Az egyenlet tovább alakításához figyelembe kell vennünk $s_m^{\left(l+1\right)}\left(t\right)$ keletkezését. Ez az (l+1)-edik réteg m-edik neuronjának lineáris kimenete, amit nyilvánvalóan a neuron bemenetére csatlakozó szűrők kimeneteinek összegeként kapunk:

$s_m^{\left(l+1\right)}\left(t\right)={\displaystyle \sum _{j=1}^{N_l}{z}_{mj}^{\left(l+1\right)}\left(t\right)}$ (8.24)

ahol $z_{mj}^{\left(l+1\right)}\left(t\right)$ az (l+1)-edik réteg m-edik neuronja j-edik bemeneti szűrőágának kimenete:

$z_{mj}^{\left(l+1\right)}\left(t\right)=w_{mj}^{\left(l+1\right)}{}^T{x}_j^{\left(l+1\right)}\left(t\right)$ . (8.25)

Itt $x_j^{\left(l+1\right)}\left(t\right)$ a j-edik szürőág bemenetére kerülő késleltetett értékekből álló vektor:

$x_j^{\left(l+1\right)}\left(t\right)={\lfloor x_j^{\left(l+1\right)}\left(t\right),x_j^{\left(l+1\right)}\left(t-1\right)\mathrm{,...,}{x}_j^{\left(l+1\right)}\left(t-M_{}^{\left(l+1\right)}\right)\rfloor }^T$ . (8.26)

Egy neuron bemenetén annyi szűrőág van, ahány neuron van az előző rétegben. A (8.23) összefüggésben az i-edik szűrőág szerepel, ugyanis $y_i^{\left(l\right)}$ a ${\text{PE}}_m^{\left(l+\text{1}\right)}$ neuron (az (l+1)-edik réteg m-edik neuronja) bemeneti szűrői közül csak az i-edikre jut. Ennek kimenete:

$z_{mi}^{\left(l+1\right)}\left(t\right)={\displaystyle \sum _{p=0}^{M^{\left(l+1\right)}}{w}_{mi,p}^{\left(l+1\right)}{y}_i^{\left(l\right)}\left(t-p\right)}$ , (8.27)

melynek felhasználásával:

$\frac{\partial s_m^{\left(l+1\right)}\left(t\right)}{\partial y_i^{\left(l\right)}\left(k\right)}=\frac{\partial z_{mi}^{\left(l+1\right)}\left(t\right)}{\partial y_i^{\left(l\right)}\left(k\right)}=w_{mi,p}^{\left(l+1\right)}$ , (8.28)

ha k=t-p. Figyelembe véve, hogy az (l+1)-edik réteg minden neuronjának szűrőiben $$ $M_{}^{\left(l+1\right)}$ egységnyi késleltetés van, vagyis a szűrőegyütthatók száma $M_{}^{\left(l+1\right)}+1$ , (8.28)-ra a következőt kapjuk:

$\frac{\partial s_m^{\left(l+1\right)}\left(t\right)}{\partial y_i^{\left(l\right)}\left(k\right)}=\{\begin{array}{c}{w}_{mi,t-k}^{\left(l+1\right)}\text{ha }0\le t-k\le M_{}^{\left(l+1\right)}\\ 0\text{ egyébként}\end{array}$ . (8.29)

Ennek figyelembevételével a rejtett rétegre vonatkozó ${\delta }_i^{\left(l\right)}\left(k\right)$ -ra

${\delta }_i^{\left(l\right)}\left(k\right)=f\text{'}\left(s_i^{\left(l\right)}\left(k\right)\right){\displaystyle \sum _m{\displaystyle \sum _{t=k}^{M^{\left(l+1\right)}+k}{\delta }_m^{\left(l+1\right)}\left(t\right)}}{w}_{mi,t-k}^{\left(l+1\right)}$ (8.30)

adódik. Alkalmazva a p=t−k jelölést

$\begin{array}{l}{\delta }_i^{\left(l\right)}\left(k\right)=f\text{'}\left(s_i^{\left(l\right)}\left(k\right)\right){\displaystyle \sum _m{\displaystyle \sum _{p=0}^{M^{\left(l+1\right)}+k}{w}_{mi,n}^{\left(l+1\right)}{\delta }_m^{\left(l+1\right)}\left(k+p\right)}}\\ =f\text{'}\left(s_i^{\left(l\right)}\left(k\right)\right){\displaystyle \sum _m{w}_{mi}^{\left(l+1\right)}{}^T{\delta }_m^{\left(l+1\right)}\left(k\right)}\end{array}$ (8.31)

ahol

$\delta {}_m^{\left(l+1\right)}\left(k\right)=\left[\delta {}_m^{\left(l+1\right)}\left(k\right),\delta {}_m^{\left(l+1\right)}\left(k+1\right),...,\delta {}_m^{\left(l+1\right)}\left(k+M_{}^{\left(l+1\right)}\right)\right]$ . (8.32)

Összefoglalva:

${\delta }_i^{\left(l\right)}\left(k\right)=\{\begin{array}{c}\begin{array}{l}{\epsilon }_i^{\left(l\right)}\left(k\right)f^{\prime }\left(s_i^{\left(l\right)}\left(k\right)\right),\text{ha}l=L,\text{vagyis a kimeneti rétegnél }\\ \end{array}\\ f^{\prime }\left(s_i^{\left(l\right)}\left(k\right)\right){\displaystyle \sum _m{w}_{mi}^{\left(l+1\right)}{}^T{\delta }_m^{\left(l+1\right)}\left(k\right)\text{ a rejtett rétegeknél }}\end{array}$ (8.33)

A (8.31) és a (8.32) összefüggésekből viszont látható, hogy $\delta {}_i^{\left(l\right)}\left(k\right)$ meghatározásához a rejtett rétegnél olyan szűrő szükséges, amelynek együtthatói a megfelelő előrevezető ág szűrőegyütthatói, a szűrt értékek pedig jövőbeli $\delta {}_m^{\left(l+1\right)}\left(k+n\right)$ értékek ( $n=\mathrm{1,2,}\dots ,M_{}^{\text{(}l+1\text{)}}$ ). A súlymódosítást meghatározó összefüggés tehát nem kauzális.

A számítás kauzálissá tehető, ha a hálózat megfelelő pontjain alkalmas késleltető fokozatokat iktatunk be. A késleltetések közbeiktatása azt eredményezi, hogy a súlyvektorok módosításához csak az aktuális és a korábbi hibák ismerete szükséges.

A kimeneti réteg súlyvektorainak módosítása a fenti összefüggések szerint történhet, hiszen ott eddig sem merült föl nem kauzális számítási igény. A rejtett rétegek számítása pedig az alábbiak szerint lehetséges: $\delta {}_i^{\left(l\right)}$ (k) helyett a $\delta {}_i^{\left(l\right)}$ (k−M^(l+1)) visszaterjesztett "hibát" határozzuk meg, tehát a k indexet (k−M^(l+1))-re cseréljük és ezzel a visszaterjesztett hibával határozzuk meg a rejtett réteg súlyvektorainak módosítását. Azonban a (8.17) összefüggés szerinti súlymódosításhoz $x{}_j^{\left(l\right)}$ (k) helyett is $x{}_j^{\left(l\right)}$ (k−M^(l+1)) szükséges, vagyis a megfelelő bemeneti vektorokat tárolni kell.

Összefoglalva: a kauzális számítás a következő összefüggések alapján végezhető:

– a kimeneti réteg i-edik neuronjához vezető súlyvektoroknál:

$w_{ij}^{\text{(}L\text{)}}\left(k+1\right)=w_{ij}^{\text{(}L\text{)}}\left(k\right)+2\mu {\delta }_{{}_i}^{\text{(}L\text{)}}\left(k\right)x_j^{\text{(}L\text{)}}\left(k\right)$ , (8.34)

ahol

$\delta {}_i^{\text{(}L\text{)}}\left(k\right)=\epsilon {}_i^{}\left(k\right)f^{\prime }\left(s_{{}_i}^{\text{(}L\text{)}}\left(k\right)\right)$ , (8.35)

– az l-edik (rejtett) réteg i-edik neuronjánál:

$w_{ij}^{\text{(}l\text{)}}\left(k+1\right)=w_{ij}^{\text{(}l\text{)}}\left(k\right)+2\mu {\delta }_i^{\text{(}l\text{)}}\left(k-M^{\text{(}l+1\text{)}}\right)x_j^{\text{(}l\text{)}}\left(k-M^{\text{(}l+1\text{)}}\right)$ , (8.36)

ahol

${\delta }_i^{\text{(}l\text{)}}\left(k-M^{\text{(}l+1\text{)}}\right)=f^{\prime }\left(s_i\left(k-M^{\text{(}l+1\text{)}}\right)\right){\displaystyle \sum _m{\delta }_m^T\left(k-M^{\text{(}l+1\text{)}}\right)}{w}_{mi}^{\text{(}l\text{)}}$ , (8.37)

és

$\delta {}_m^T\left(k-M^{\text{(}l+1\text{)}}\right)=\left[\delta {}_m^{\text{(}l+1\text{)}}\left(k-M^{\text{(}l+1\text{)}}\right),\delta {}_m^{\left(l+1\right)}\left(k-M^{\text{(}l+1\text{)}}+1\right),...,\delta {}_m^{\left(l+1\right)}\left(k\right)\right]$ , (8.38)

Ha a hálóban több rejtett réteg található, akkor a fenti összefüggések a kimenethez legközelebbi rejtett rétegre vonatkoznak, a kimenettől egyre távolabbi rejtett rétegeknél az indexeltolás egyre nagyobb mértékű, a FIR szűrő késleltető-láncok hosszának összege kell legyen.

A fenti összefüggések azt mutatják, hogy a FIR-MLP hálózat temporális hibavisszaterjesztő tanításánál a hibavisszaterjesztő hálózat felépítése az előreterjesztő hálózatstruktúrához hasonló: a visszaterjesztett általánosított hiba a megfelelő előreterjesztő ágakban lévő szűrőkön keresztül jut az egyre előbbi rétegekhez. A visszaterjesztő hálózatnál tehát itt is megtaláljuk a klasszikus statikus MLP hálózatnál származtatott BP eljárás reciprok voltát, a hálózat eredeti struktúrája is megmaradt szemben az időbeli kiterítés módszerének alkalmazásával.

A FIR-MLP háló képességei igen kedvezőnek bizonyultak idősor modellezési feladatoknál, továbbá nemlineáris dinamikus rendszerek modellezésénél, identifikációjánál [Wan94].

Megjegyezzük, hogy a FIR-MLP struktúrához némileg hasonló az ún. késleltetéses neuronháló (Time Delay Neural Network, TDNN), melyet elsődlegesen beszédjelek osztályozására dolgoztak ki [Lan88], [Wai89]. A TDNN nem szűrőket alkalmaz az MLP súlyai helyén, hanem az egyes neuronokat többszörözi meg úgy, hogy az egyes ismétlések eltérő időpillanatbeli értékekkel dolgoznak. A rétegek között nem teljes az összeköttetési rendszer. Egy későbbi (pl. rejtett) réteg adott időpillanathoz tartozó minden neuronja az előbbi (pl. bemeneti) réteg neuronjainak (a bemeneteknek) egy keskeny idősávhoz tartozó neuron-másolataival (értékeivel) van összeköttetésben mégpedig úgy, hogy az eltérő időpillanatokhoz eltérő idősávok tartoznak, miközben az eltérő időpillanatokhoz tartozó neuron-másolatok azonos súlyokkal rendelkeznek.