Az eddig bemutatott hálók legfontosabb jellemzője, hogy a bemenetükre kerülő adatok és az ezekhez tartozó kívánt kimenetek közötti statikus leképezés megtanulására képesek. Számos olyan feladattal találkozunk azonban, amikor a statikus modell nem megfelelő, a bemeneti és a kimeneti adatok közötti kapcsolat az adatok sorrendjétől is függ. Ilyenkor olyan hálókra van szükségünk, ahol a hálózat válasza nemcsak a pillanatnyi bemenettől, hanem a mintasorozat időben előbbi értékeitől is függ. Ilyen feladattal találkozunk, ha nemlineáris dinamikus rendszerek modellezését, irányítását kell megoldanunk, illetve olyan előrejelzési, jóslási problémáknál, ahol egy folyamat régebbi viselkedésének ismeretében kívánjuk megjósolni a folyamat viselkedésének további alakulását.

Az időfüggő hálók a statikus hálókból származtatott olyan rendszerek, amelyek emlékezettel, memóriával rendelkeznek. Ez azt jelenti, hogy a hálózat kimenete nem csupán a pillanatnyi bemeneti értéktől, hanem régebbi bemeneti és/vagy a régebbi kimeneti értékektől is függ.

Az időfüggő hálózatok általánosságban nemlineáris dinamikus viselkedést mutatnak, tehát mint nemlineáris dinamikus rendszermodellek tekinthetők. Ebben a megközelítésben az időfüggő hálók a lineáris dinamikus rendszermodellek nemlineáris általánosításaiként is származtathatók, illetve úgy, mint az általánosított nemlineáris regressziósfeladat megoldására alkalmas architektúrák.

Egy általános nemlineáris dinamikus rendszermodell által megvalósított be-kimeneti kapcsolat − diszkrét idejű rendszerek esetében − az alábbi általános formában adható meg:

$y\left(k\right)=f\left(\Theta ,\phi \left(k\right)\right)$ , (8.1)

Az $f\left(\Theta ,\phi \left(k\right)\right)$ kapcsolat a modell struktúráját rögzíti, ahol $\phi \left(k\right)$ az ún. regresszorvektor, k az időindex, $\Theta$ pedig a rendszer paramétereit összefoglaló vektor. A regresszorvektor feladata megadni, hogy a kimenet előállításában a modellezendő rendszer, folyamat milyen régebbi bemeneti és kimeneti adatait használjuk fel.

A modell felállításával az a cél, hogy a modell y(k) kimenete, valamely $d\left(k\right)$ kívánt válasz (a modellezendő rendszer válasza) minél pontosabb közelítését adja meg egy adott kritérium értelmében (ld. még a 2. fejezetben említett modell-illesztési alapfeladatot). A modelláltalában tökéletesen nem fogja előállítani a kívánt választ; a modell kimenete és a kívánt válasz közötti különbséget, a hibát egy $\epsilon \left(k\right)$ zaj folyamattal vehetjük figyelembe.

$d\left(k\right)=y\left(k\right)+\epsilon \left(k\right)$ (8.2)

A modellezésnél arra törekszünk, hogy olyan regresszorvektort ( $\phi \left(k\right)$ ), paramétervektort (Θ) és nemlineáris leképezést (f) találjunk, amely $\epsilon \left(k\right)$ valamilyen jellemzőjét, rendszerint az átlagos négyzetes értékét minimalizálja.

A felmerülő kérdések részben megtalálhatók a lineáris modellezési feladatok körében is. A $\phi \left(k\right)$ regresszort − tehát a modell struktúráját − lineáris esetben is meg kell választani; $\phi \left(k\right)$ megválasztása azonban lineáris esetben a feladatot teljesen specifikálja, hiszen ezt követően már csak a paraméterek meghatározása marad hátra. Nemlineáris modellezési feladatnál ezen kívül még f(.,.) megválasztásáról is gondoskodni kell. Amennyiben a nemlineáris dinamikus modellezési feladat megoldására neurális hálózatot használunk, a feladatmegoldás tipikusan ún. fekete doboz (black box) modellezési feladat. Fekete doboz modellezésnél a modell struktúrájáról nincs a priori ismeretünk, a feladatot pusztán a rendelkezésre álló összetartozó be-kimeneti adatok (adatszekvenciák) alapján kell megoldanunk. A (8.2) összefüggéssel kapcsolatban meg kell jegyezzük, hogy lineáris rendszerek modellezésénél $\epsilon \left(k\right)$ általában valóban a zajt jelenti, nemlineáris rendszereknél azonban $\epsilon \left(k\right)$ -ba beleértjük az ún. modellezési hibát is, ami abból eredhet, hogy a nemlineáris modellünk struktúrája nem feltétlenül felel meg a modellezendő rendszer struktúrájának.

A rendelkezésre álló adatokhoz illeszkedő nemlineáris dinamikus modell általában nem egyértelmű, tehát − hasonlóan a statikus regressziós feladatokhoz − itt is rosszul definiált (ill-posed) problémákkal állunk szemben. Ugyanahhoz az adatkészlethez különböző struktúrájú, más nemlineáris függvényt, más paramétereket alkalmazó megoldások is találhatók. Sok esetben célszerű, ha nem a legáltalánosabb modellstruktúrát alkalmazzuk. A nemlineáris függvény lehetséges megválasztását is érdemes bizonyos függvényosztályra korlátozni, mivel így jobban kezelhető, könnyebben megtalálható modellt nyerhetünk. A nemlineáris dinamikus rendszer-modellezési feladat tehát jóval nehezebb a lineáris megfelelőjénél. Az alábbiakban mielőtt néhány általános neurális dinamikus struktúrával foglalkoznánk, előbb a nemlineáris rendszermodellek egyfajta csoportosítását tekintjük át.