A Hebb szabály biológiai eredetű eljárás [Heb49]. Legegyszerűbb formájában a következőképpen fogalmazható meg: két processzáló elem közötti kapcsolat erőssége (a processzáló elemek közötti súlytényező értéke) a processzáló elemek aktivitásának szorzatával arányosan változik.

$w_{ij}\left(k+1\right)=w_{ij}\left(k\right)+\mu \text{}\text{}{y}_i\left(k\right)y_j\left(k\right)$ , (10.1)

ahol $w_{ij}$ az i-edik és a j-edik processzáló elem közötti súly, $\text{}{y}_i$ ill. $y_j$ a két processzáló elem kimenetének értéke, μ pedig az eddigiekhez hasonlóan a tanulási tényező. Ha a súly egy bemenet és egy processzáló elem között található, ahol a bemenet értéke $\text{}\text{}{x}_i$ , a processzáló elem kimenetének értéke pedig $y_j$ , akkor a súlymódosítás értelemszerűen:

$w_{ij}\left(k+1\right)=w_{ij}\left(k\right)+\mu \text{}\text{}{x}_i\left(k\right)y_j\left(k\right)$ (10.2)

Az eredeti Hebb tanulási szabálynak különböző változatait dolgozták ki. Ezen változatok legfontosabb jellemzője, hogy a szabályba beépítettek egy normalizáló eljárást is, ugyanis az eredeti Hebb szabály mellett a súlyok minden határon túl növekedhetnek. A normalizálásnak több módjával találkozhatunk, melyeket az egyes nemellenőrzött tanítású hálózatok bemutatásánál fogunk tárgyalni.

A nemellenőrzött tanítású hálók többnyire lineáris neuronokbólépülnek fel. Egy ilyen lineáris neuront mutat a 10.1 ábra, ahol a neuron kimenete a bemenetek súlyozott összegeként áll elő:

$y=w^{T}x={\displaystyle \sum _{i=1}^N{w}_i}{x}_i$ (10.3)

Megmutatható, hogy egy lineáris processzáló elem súlyainak Hebb szabály alapján történő módosítása azt eredményezi, hogy a processzáló elem kimenetének varianciája, vagyis

$E\left\{{\left(y-E\left\{y\right\}\right)}^2\right\}$ (10.4)

maximumot vesz fel azzal a feltétellel, hogy

${\displaystyle \sum _i{w}_i}=\text{konstans}$ (10.5)

Ez utóbbi feltétel vagy valamilyen normalizáló eljárással, vagy a súlyokra vonatkozó telítési feltétel beépítésével biztosítható.

Bizonyos hálózatoknál alkalmazzák az ún. anti-Hebb tanulásiszabályt is, amelynél − hasonlóan a Hebb szabályhoz − a súlymódosítás most is a bemenet és a kimenet aktivitásának szorzatával arányos, csak negatív előjellel:

$w_{ij}\left(k+1\right)=w_{ij}\left(k\right)-\mu \text{}\text{}{x}_i\left(k\right)y_j\left(k\right)$ . (10.6)

Az anti-Hebb szabály − szemben a Hebb szabály kimeneti variancia-maximumra törekvő hatásával − a kimeneti variancia minimumát igyekszik biztosítani. A súlymódosítás mindkét esetben a két aktivitás közötti korrelációval arányos, csak a változtatás iránya eltérő. A Hebb- és az anti-Hebb szabályok együttes alkalmazásának fontos szerepe van az ún. főkomponens meghatározó hálózatoknál; szerepüket részletesebben ezen hálózatok ismertetésénél mutatjuk be.