Mindeddig arra összpontosítottunk, hogy képesek vagyunk-e kifejleszteni egy mesterséges intelligenciát, most azt is meg kell vizsgálnunk, hogy kell-e ezt tennünk. Amennyiben az MI-technológiák hatásai többségében inkább negatívak, mint pozitívak lennének, akkor morális felelőssége lenne az ezen a területen dolgozóknak, hogy más területekre helyezzék kutatásukat. Sok új technológia járt akaratlanul is negatív mellékhatásokkal: a belső égésű motor a légszennyezést hozta és azt, hogy még az Édenkertet is leaszfaltozták, a maghasadás felfedezése pedig a csernobili és a Three Mile Island-i^[283] atomkatasztrófákat hozta, és a globális pusztulás veszélyének fenyegetését. Minden tudósnak és mérnöknek szembe kell néznie a munkájukkal kapcsolatos etikai kérdésekkel: mely projekteket szabad befejezni, és melyeket nem, és hogyan kell ezeket a projekteket kezelni. Még egy Ethics of Computing (Berleur és Brunnstein, 2001) c. kézikönyv is létezik. A mesterséges intelligencia azonban, úgy tűnik, néhány új problémát is felvet, azon túl, hogy olyan hidakat akarunk építeni, amelyek nem dőlnek össze:

Sorra vesszük mindegyik felvetett problémát.

Az emberek az automatizáció miatt elveszíthetik a munkájukat. A modern ipari gazdaság általában véve függővé vált a számítógépektől, sőt néhány különleges MI-programtól is. A gazdaság nagy része például, különösen az Egyesült Államokban, a fogyasztói hiteltől függ. A hitelkártya-kérelmek elbírálását, a lehívások engedélyezését és a visszaélések felderítését napjainkban mesterséges intelligencia programok végzik. Azt is mondhatná valaki, hogy ezek a programok több ezer dolgozót tettek munkanélkülivé, de valójában, ha elvennénk ezeket a mesterséges intelligencia programokat, nem is léteznének ilyen állások, mert az emberi munka elviselhetetlen többletköltséget róna ezekre a tranzakciókra. A mesterséges intelligenciát használó gépesítés mindeddig több állást hozott létre, mint ahányat megszüntetett, és ezek az új állások érdekesebbek, és jobban fizetnek. Ma már, amikor a mesterséges intelligencia programokat az embereket segítő „intelligens ágenseknek” tekintik, kevesebben félnek a munkahelyük elvesztésétől, mint amikor a mesterséges intelligencia célja az embereket helyettesítő „szakértői rendszerek” létrehozása volt.

Az embereknek túl sok (vagy túl kevés) szabadidejük marad. Alvin Toffler a Future Shock-ban (Toffler, 1970) ezt írta: „A századforduló óta a munkahét 50%-kal csökkent. Nem lóg ki a sorból ha azt jósoljuk, hogy 2000-re ismét felével csökken.” Arthur C. Clarke (Clarke, 1968b) azt írta, hogy 2001-ben az emberek talán már a „teljes unalommal néznek szembe, ahol az élet legnagyobb problémája a több száz tv-csatorna közti választás lesz”. Az egyetlen ezen jóslatok közül, amelyik közel áll a megvalósuláshoz, az a tv-csatornák száma (Springsteen, 1992). Valójában a tudásintenzív iparágakban dolgozó emberek egy 24 órában működő, integrált számítógépesített rendszer részévé válnak, és ahhoz, hogy lépést tartsanak, hosszabb munkaórákra lettek kényszerítve. Az ipari gazdaságban a jutalom közelítőleg egyenesen arányos a befektetett idővel; 10%-kal több munka többé-kevésbé 10%-os bevételnövekedést jelent. Az információs gazdaságban, amelyet a nagy sávszélességű kommunikáció és a szellemi tulajdon könnyű replikációja jellemez (ezt nevezi Frank és Cook „a-győztes-mindent-visz társadalom”-nak) (Frank és Cook, 1996), nagy jutalom jár azért, ha valaki csak egy kicsit is jobb a versenyben: 10%-kal több munka akár 100%-os bevételnövekedést is jelenthet. Ezért egyre növekvő nyomás nehezedik mindenkire, hogy keményebben dolgozzon. A mesterséges intelligencia növeli a technológiai innováció ütemét, tehát hozzájárul ehhez az általános trendhez, de egyben a mesterséges intelligencia tartalmazza annak ígéretét is, hogy az automatizált ágensek kicsit átvállalják a teendőket és egy kis időhöz juttatnak minket.

Az emberek elveszíthetik az egyediségérzésüket. Weizenbaum, az ELIZA program szerzője, Computer Power and Human Reason (Weizenbaum, 1976) c. művében rámutat néhány potenciális veszélyre, amelyeket a mesterséges intelligencia jelent a társadalom számára. Weizenbaum egyik fő érve az, hogy a mesterséges intelligencia kutatása lehetővé teszi annak elképzelését, hogy az emberek automaták volnának, amely elgondolás az autonómia, vagy akár a humanitás érzésének megszűnéséhez vezet. Vegyük észre azonban, hogy ez az elképzelés jóval régebb óta van jelen, mint a mesterséges intelligencia: legalábbis a L’Homme Machine (La Mettrie, 1748) c. könyvig vezethető vissza. Azt is vegyük észre, hogy az emberiség túlélte már az egyediségérzésnek más csökkenéseit is: A De Revolutionibus Orbium Coelestium (Kopernikusz, 1543) kimozdította a Földet a Naprendszer központjából, és a Descent of Man (Darwin, 1871) pedig a Homo sapienst egy szintre helyezte a többi fajjal. A mesterséges intelligencia, amenynyiben széles körben sikeres lesz, éppen úgy veszélyt jelenthet a 21. század morális feltételezéseire, ahogyan Darwin evolúciós elmélete fenyegette a 19. század morális feltételezéseit.

Az emberek elveszíthetik a személyiségi jogaik egy részét. Weizenbaum arra is rámutatott, hogy a beszédfelismerési technológia a lehallgatás elterjedéséhez, és így a polgári jogok veszteségéhez vezethet. Nem láthatta előre azt a világot, ahol a terrorista fenyegetettség megváltoztatja, hogy az emberek mennyi megfigyelést hajlandók elfogadni, azt azonban helyesen ismerte fel, hogy a mesterséges intelligencia a tömeges megfigyelés eszközévé válhat. Jóslata talán már valóra is vált: az Egyesült Államok kormányának titkos Echelon-rendszere „felvevőállomások, antennamezők és radarállomások hálózatából áll, a rendszert nyelvek közti fordítást, beszédfelismerést és kulcsszavas keresést használó számítógépek támogatják, amelyek a telefon-, az e-mail, a fax- és a telexforgalmat vizsgálják végig.”^[284] Néhányan elfogadják, hogy a számítógépesítés a magánszféra veszteségéhez vezet. Scott McNealy, a Sun Microsystems vezetője azt mondta: „Amúgy is nulla a magánszférád. Felejtsd el.” Mások nem értenek ezzel egyet: Louis Brandeis bíró^[285] ezt írta 1890-ben: „A magánszférához való jog minden jogok legalapvetőbbike (…) a jog az ember saját személyiségéhez.”

Az MI-rendszerek alkalmazása megszüntetheti a felelősségre vonhatóságot. Az Egyesült Államokban ma uralkodó pereskedő közhangulat fontos kérdéssé tette a jogi felelősséget. Amikor egy orvos a diagnózis felállításakor egy orvosi szakértői rendszer ítéletére hagyatkozik, ki tehető felelőssé a diagnózis hibájáért? Szerencsés módon, és ez részben a döntéselméleti megközelítés orvoslásra gyakorolt egyre növekvő befolyásának köszönhető, ma már elfogadott alapelv, hogy az orvos, aki végrehajtja a nagy várható hasznossági értékű beavatkozásokat, akkor sem vádolható hanyagsággal, ha ezeknek a beavatkozásoknak katasztrofálisak a tényleges következményei a páciensnél. A kérdés ezek után a következő: „Kinek a hibája, ha a diagnózis nem plauzíbilis?” Mindeddig a bíróságok úgy tartották, hogy az orvosi szakértői rendszerek ugyanazt a szerepet töltik be, mint az orvosi tankönyvek és kézikönyvek: az orvosoknak felelőssége, hogy megértsék a döntések indoklását, és saját megítélésük alapján kell határozniuk, hogy elfogadják-e a rendszer javaslatát. Tehát ha az orvosi szakértői rendszereket ágensekként tervezzük, akkor cselekvéseiket nem úgy kell tekinteni, mint ami közvetlenül kihat a páciensre, hanem mint ami befolyásolja az orvos viselkedését. Ha a szakértői rendszerek megbízhatóbban pontosabbak lesznek, mint a diagnózisokat felállító emberek, akkor az orvosok akár jogilag is felelősek lehetnek, ha nem használják fel a rendszer javaslatait. Gawande (Gawande, 2002) ezt a feltételezést térképezi fel.

Hasonló kérdések kezdenek megjelenni az interneten használt intelligens ágensekkel kapcsolatban. Már elértek egy kis haladást kényszerfeltételek beépítésével az ágensekbe, hogy például ne okozhassanak károkat más felhasználók állományaiban (Weld és Etzioni, 1994). Amikor pénz is gazdát cserél, a probléma már nagyobb. Amikor egy pénzügyi tranzakció során egy intelligens ágens „valaki nevében” jár el, felelős-e ez a személy a keletkező adósságokért? Lehetségessé válhat-e, hogy egy intelligens ágensnek pénzügyi kintlévősége legyen, és a saját nevében eljárva elektronikus tranzakciókat hajtson végre? Mindeddig nem látszanak világosnak ezek a kérdések. Tudomásunk szerint eddig egy program sem kapta meg azt a jogi státust, hogy individuumként pénzügyi tranzakciókat hajthasson végre, és jelenleg ez nem is látszik indokoltnak. A valódi autópályákon sem tekintik a közlekedési szabályok betartatásakor „vezetőnek” a programokat. A kaliforniai jogban legalábbis semmilyen jogi szankció nincsen, amely megakadályozhatná, hogy egy automata jármű túllépje a sebességhatárt, noha baleset esetén felelőssé tehető a jármű vezérlőmechanizmusának tervezője. Csakúgy, mint az emberi megtermékenyítési technológia esetén, a jog még nem vette fel a lépést az új fejleményekkel.

A mesterséges intelligencia sikere az emberi faj végét jelentheti. Gyakorlatilag bármely technológiában benne rejlik a lehetőség, hogy kárt okozzon rossz kezekben, de a mesterséges intelligencia és a robotika esetében ezek a rossz kezek akár magához a technológiához is tartozhatnak. Számtalan sci-fi szól figyelmeztető jelként arról, hogy robotok vagy robot-ember kiborgok ámokfutást rendeznek. Marry Shelley Frankenstein, or the Modern Prometheus (Shelley, 1818)^[286] c. műve és Karel Capek R.U.R. c. drámája, amelyben a robotok meghódítják a világot, korai példái az ilyen történeteknek. Mozifilmek is szólnak erről: a The Terminator (1984) a robotok-leigázzák-a-világot kliséit az időutazással ötvözi, a The Matrix (1999) pedig ugyanezt az agyak-a-tartályban-nal kombinálja.

Úgy tűnik, legtöbb esetben a robotok azért főszereplői olyan sok világ-leigázása történetnek, mert az ismeretlent jelképezik, csakúgy, mint a korábbi mesék boszorkányai és szellemei. Jelentenek-e a boszorkányoknál és a szellemeknél komolyabb veszélyt? Valószínűleg nem: ha a robotokat megfelelően, azaz olyan ágensekként tervezik, amelyek a gazdáik céljait teljesítik, akkor a jelenlegi tervezés lépésenkénti előrehaladásából származó robotok szolgálni fognak, nem pedig leigázni. Az emberek azért használják agresszíven az intelligenciájukat, mert a természetes kiválasztódás miatt velük született agresszivitással rendelkeznek. De a gépek, amiket magunk építünk, nem születnek agresszívnak, hacsak nem döntünk úgy, hogy ilyennek építjük őket. Másrészt viszont lehetséges, hogy a számítógépek meghódítanak minket abban az értelemben, hogy szolgálatukkal elengedhetetlenné válnak, csakúgy, mint az autók meghódították (ebben az értelemben) az iparosodott világot. Egy forgatókönyv részletesebb tanulmányozást érdemel. I. J. Good (Good, 1965) írta ezt:

Az „intelligenciarobbanás”-t technológiai szingularitásnak (technological singularity) is nevezte a matematika-professzor és sci-fi író Vernor Vinge, aki így fogalmaz (Vinge, 1993): „Harminc éven belül rendelkezni fogunk a technológiai eszközökkel egy emberfeletti intelligencia létrehozására. Röviddel ezután befejeződik az ember korszaka.” Good és Vinge (és még sokan mások) jól figyelik meg, hogy a technológiai fejlődés jelenleg az exponenciális görbe szerint nő (gondoljunk csak a Moore-törvényre). Azonban ebből csak egy előreugrással lehet arra következtetni, hogy ez a görbe így fog folytatódni a közel végtelen növekedés szingularitásához. Eddig minden más technológia egy S alakú görbét követett, ahol az exponenciális növekedés végül lecsengett.

A bekövetkező szingularitásról író Vinge-et rémíti ez a lehetőség, de más számítógéptudósok és futuristák örömmel várják. Hans Moravec a Robot: Mere Machine to Transcendent Mind c. írásában azt jósolja, hogy a robotok ötven éven belül elérik az emberi intelligenciát, majd pedig meghaladják azt. Ezt írja:

A The Age of Spiritual Machines (Kurzweil, 2000) c. művében Ray Kurzweil azt jósolja, hogy 2000-re már „erős trend lesz összekapcsolni az emberi gondolkodást az eredetileg az emberi faj teremtette gépek világával”. Még egy új szó is van: transzhumanizmus (transhumanism), amely az ezt a jövőt váró aktív társadalmi mozgalmat jelöli. Elegendő csak annyit mondani, hogy az ilyen kérdések kihívást jelentenek a legtöbb mai erkölcsi gondolkodónak, akik az emberi élet és az emberi faj megőrzését jó dolognak tartják.

Gondoljunk bele végül a robotok nézőpontjába. Ha a robotok tudatossá válnak, akkor immorális lehet puszta „gépként” kezelni őket (például darabokra szedni). A robotoknak maguknak is morálisan kell cselekedniük: beléjük kell programozni a jó és a rossz elméletét. A sci-fi írók, kezdve Isaac Asimovval (Asimov, 1942), már el is kezdtek foglalkozni a robotjogok és robotfelelősségek kérdéseivel. A jól ismert – Mesterséges intelligencia (A.I.) (Spielberg, 2001) c. mozifilm Brian Aldiss történetén alapul, amelyben egy intelligens robot, akit arra programoztak, hogy embernek képzelje magát, képtelen feldolgozni, hogy nem kell tulajdonos-anyjának. A történet (és persze a film) a robotok polgárjogi mozgalmának megalapozottságáról győzhet meg egyeseket.