Az 1. fejezetben láttuk, hogy az ún. bázisfüggvényes hálózatoknál a bemeneti rétegben speciális neuronokathasználunk, melyek nem végeznek összegzést, hanem a bemenetükre kerülő vektor valamilyen nemlineáris leképezését valósítják meg. Ezek a neuronok tehát egy vektor-skalár függvényt implementálnak, és általában nincsenek olyan szabad paramétereik, melyeket ellenőrzött tanítással határozunk meg. (Ez alól van kivétel, amellyel a bázisfüggvényes hálózatokat bemutató 5. fejezetben foglalkozunk.)

Az elemi neuronok között külön meg kell említeni azokat a lineáris neuronokat, melyek felépítése megegyezik a perceptron lineáris részével, tehát melyek szintén lineáris súlyozott összegzést valósítanak meg, de ahol a súlyok kialakítása az előbbiekben bemutatott eljárástól jelentősen különbözik. Több olyan nemellenőrzött tanítású hálóarchitektútra is létezik, melyek lineáris neuronokból épülnek fel, és melyek tanítása a Hebb-szabály szerint történik. A Hebb-szabály neuro-biológiai megfigyeléseken alapul. Megfogalmazása Donald Hebb nevéhez fűződik [Hebb49].

Egy lineáris neuron w_i súlyának módosítása a Hebb-szabály szerint a következő:

$\Delta w_i=\mu x_{i}y$ , (3.29)

ahol x_i a neuron adott súlyhoz kapcsolódó bemenete, y a neuron kimenete és μ egy pozitív konstans tanulási tényező. A Hebb-szabály azt mondja ki, hogy a súlymódosítás mértéke arányos a súly által összekapcsolt bemenet és a neuron kimenetének szorzatával, és azt fejezi ki, hogy ha egy bemenet szerepe a kimenet előállításában nagy, akkor ezt a szerepet növelni kell. A Hebb-szabály – amelynek alkalmazásával érdekes és fontos tulajdonságú neuronhálók konstruálhatók – azzal a következménnyel jár, hogy ismételt alkalmazásával a neuron súlyai minden határon túl tudnak nőni. Ezért önmagában ritkán alkalmazzák, valamilyen korlátozó hatás, normalizálás beépítése szükséges. A különböző normalizáló eljárásokat az egyes nemellenőrzött tanulású hálózatoknál, a 10. fejezetben mutatjuk be.

Feladatok

3.1 Mutassa meg, hogy a perceptron tanulás akkor is konvergens, ha nem konstans, hanem olyan α tanulási tényezőt alkalmazunk, mely minden tanító lépésben biztosítja, hogy a korrekciót követően az adott mintapont osztályozása helyes lesz.

3.2 A perceptron tanulás(3.3) és az LMS eljárás összefüggéseinek formai hasonlósága alapján megállapítható, hogy $\alpha =2\mu$ választással a két eljárás formailag azonos. Igaz-e, hogy ezzel a választással a két eljárás ekvivalens? Igaz-e hogy $\mu$ konvergenciatartománya alapján megadható $\alpha$ konvergenciatartománya? Adja meg, hogy $\alpha$ -t milyen tartományon belül kell megválasztania, hogy a perceptron tanulás konvergens legyen.

3.3 A perceptron kapacitásáravonatkozó összefüggés szerint a lineáris szeparálhatóságot a P/N=1 arány biztosítja. Ha a rendelkezésre álló tanítópontokra P/N>1 igaz, hogyan transzformálhatja úgy a mintapontokat, hogy a lineáris szeparálhatóság feltétele teljesüljön?

3.4 Képes-e egy kétbemenetű perceptron a logikai ekvivalencia függvényt megtanulni?

3.5 A kétváltozós logikai függvények közül melyek megtanulására képes egy perceptron? És melyek megtanulására egy adaline?

3.6 Adja meg az adaline súlyvektorának LS becslését. Mit tehet, ha a szükséges mátrix invertá-lásnál szingularitási problémával találkozik?

3.7 Egy szigmoid kimeneti nemlinearitást alkalmazó elemi neuront tanítunk gradiens alapú, legmeredekebb lejtő eljárással. Milyen hibafelületet kapunk? Garantáltan konvergál-e az eljárás a legkisebb négyzetes hibát jelentő globális minimumhoz, és ha igen, mi ennek a feltétele?

3.8 Egy nemlineáris elemi neuron kimenetén a következő aktivációs függvényt alkalmazzuk:

$y=\text{sgm(}s\text{)}=\{\begin{array}{c}\begin{array}{l}\text{sin(}s\text{)}\text{ha}-\pi /2\le s\le \pi /2\\ -1\text{ha s}<-\pi /2\end{array}\\ +1\text{ha s}>\pi /2\end{array}$

Határozza meg a neuron tanulási szabályát.