A feladat célja annak bemutatása, hogy miért fontos ismerni a szükséges mintaszám és az általánosítási hiba közti minél pontosabb összefüggést.

Kétosztályos (bináris) osztályozási feladatot oldunk meg. 9 paramétert mérünk minden példán, és a véletlen módon kiválasztott, mért és minősített (ismert osztálybasorolású) minták alapján egy egyetlen lineáris neuronból és küszöbfüggvényből álló „neuronhálót” (perceptront) tanítunk, mert sejtjük, hogy ilyennel a feladat megoldható, és egyszerűen kezelhető. A tanítás végén 100%-os pontosságot értünk el az 5 000 tanítómintán.

Az osztályozót el tudjuk adni 1000 euróért, de vállalnunk kell, hogy ha nem teljesít legalább 99,5% pontosságot, akkor 100 000 euró kártérítést fizetünk. A biztonság kedvéért feltételezzük (bár ez nem igaz), hogy a szükséges mintaszámra vonatkozó korlátot pontos becslésnek vehetjük, várhatóan nyereséges lesz-e az üzlet? (A becslést pontos értéknek elfogadva a biztonság irányába tévedünk, legtöbbször nem is keveset, mert a becslés gyakran túlzó.)

MEGOLDÁS:

Ha a siker valószínűsége p, és ez esetben Ny nyereségünk van, míg ellenkező esetben V veszteségünk, akkor a várható nyereség $VárhatóNyereség=p\cdot Ny-(1-p)\cdot V$ .

Itt nem használható a Russel-Norvig könyvben (772. oldal) megismert gondolatmenettel felállított korlát, mert a hipotézistér mérete végtelen. (A neuron súlyai folytonosak.) Ebben a megközelítésben a komplexitást az VC dimenziójával fogjuk meg. Tudjuk, hogy a d=9 dimenziós térben felvett sík (amellyel osztályozni fogunk) VC dimenziója h = d+1=10.

$\mathbf{R}\left(\mathbf{w}\right)\le {\mathbf{R}}_{emp}(\mathbf{w})+\frac{\epsilon (h)}{2}\sqrt{1+\frac{4\cdot {\mathbf{R}}_{emp}(\mathbf{w})}{\epsilon (h)}}$

$\epsilon (h)=4\cdot \frac{\ln (2\frac{L}{h}+1)-\ln (\frac{\eta }{4})}{L/h}$

Itt azt tudjuk, hogy a mintaszám: L=5 000; a VC dimenzió: h=10; R_emp(w)=0 (mivel a pontosság 100%).

Kétféle módon is megkísérelhetjük a feladat megoldását. Az egyik, hogy meghatározzuk, milyen biztonsággal tudjuk biztosítani a kívánt pontosságot (99,5% a megengedhető hiba, tehát a kívánt pontosság R(w)=0,05) – ez összefüggésünkben az $\eta$ paraméter meghatározását jelenti. Ez egy nemlineáris egyenlet megoldását igényelné, válasszuk inkább a másik utat.

A másik lehetőség, hogy megvizsgáljuk mi a siker megkívánt bizonyossága, tehát $\eta$ -ból indulunk ki, és megvizsgáljuk, hogy mekkora hibát tudunk ezzel a bizonyossággal garantálni. Az adott nyereség/veszteség viszonyok mellett a nyereségesség határhelyzetéből (a nulla várható nyereségből)

$\eta \cdot Veszteség+(1-\eta )\cdot Nyereség=0$ .

Ebből az egyenletből határozható meg a szükséges $\eta$ . Tehát

$-99000\cdot \eta +1000\cdot (1-\eta )=0$ ,

aminek megoldása: $\eta =\mathrm{0,01}$ (a szükséges bizonyosság 0,99, azaz 99%). Az ehhez tartozó $\epsilon$ érték:

$\epsilon =4\cdot \frac{\ln (2\frac{5000}{10}+1)-\ln (\frac{\mathrm{0,01}}{4})}{5000/10}=0\mathrm{,1032}$

Az ehhez tartozó általánosítási hiba (a korlátot pontos értéknek véve):

$\mathbf{R}\left(\mathbf{w}\right)={\mathbf{R}}_{emp}(\mathbf{w})+\frac{\epsilon (h)}{2}\sqrt{1+\frac{4\cdot {\mathbf{R}}_{emp}(\mathbf{w})}{\epsilon (h)}}=0+\frac{0.1032}{2}\cdot 1=\mathrm{0,0516}$

Ez 5,16% hibát jelent, tehát a kívánt sikerességi valószínűséggel csak kb. 94,8% pontosságot tudunk garantálni.

Tehát a 99,5% pontosságot nem tudjuk a kívánt megbízhatósággal garantálni, ha a képletünk pontos vagy közel pontos, akkor az üzlet – ezekkel a feltételekkel, és ezzel az eszközzel – várhatóan veszteséges lesz.

Szerző: Pataki Béla, BME