A robotok (robots) olyan fizikai ágensek, amelyek a fizikai világ megváltoztatásával oldanak meg feladatokat. E célból különböző beavatkozó szervekkel (effectors) szerelik fel őket, például lábakkal, kerekekkel, karokkal és megfogókkal. A beavatkozók kizárólagos célja, hogy fizikai hatást fejtsenek ki a környezetre.^[275] A robotokat érzékelőkkel (sensors) is felszerelik, hogy érzékelhessék környezetüket. Manapság a robotikában számtalan különféle érzékelőt használnak: kamerákat és ultrahangradarokat a környezet mérésére, giroszkópokat és gyorsulásmérőket a robot saját mozgásának követésére.

A legtöbb mai robot három nagy kategória egyikébe sorolható. A manipulátorok (manipulators), vagy más néven robotkarok fizikailag a munka helyszínéhez rögzítettek, például egy ipari szerelősoron egy gyárban vagy a Nemzetközi Űrállomáson. A manipulátorok mozgását általában irányítható csuklók sora biztosítja, lehetővé téve, hogy a végbeavatkozó szerv a munkatér bármely pontjára eljuthasson. Az ipari robotok messze leggyakoribb fajtája a manipulátor, világszerte több mint egymillió működik belőlük. Bizonyos mobil robotkarokat kórházakban, műtéteknél használnak. Kevés autógyártó tudna ma már meglenni ipari robotok nélkül, és egyes robotkarok még műalkotások készítésére is képesek.

A második csoportot a mobil robotok (mobile robots) alkotják. A mobil robotok kerekek, lábak vagy hasonló szerkezetek segítségével mozognak a fizikai környezetben. Használják őket kórházakban ételkihordásra, dokkokban árurakodásra és más, hasonló feladatokra. Korábban már említettünk egy példát, a NAVLAB ember nélküli közúti járművét (unmanned land vehicle, ULV), amely autópályán képes önállóan, sofőr nélkül navigálni. Másfajta mobil robotokat, például az ember nélküli légi járműveket (unmanned air vehicle, UAV) katonai felderítésre, mezőgazdasági permetezésre és megfigyelésre használnak. Az autonóm víz alatti járművek (autonomous underwater vehicle, AUV) nagy szerepet játszanak a mélytengeri felfedezésekben, míg a bolygójárók (planetary rovers), mint például a 25.1. (a) ábrán látható Sojourner, az űrkutatásban segédkeznek.

25.1. ábra - (a) A NASA Sojourner mobil robotja, amely a Mars felszínét derítette fel 1997 júliusában. (b) A Honda P3 és Asimo elnevezésű humanoid robotjai.

A harmadik típusba tartoznak a hibridek: olyan mobil robotok, amelyekre karokat is szereltek. Ezek közé sorolhatjuk a humanoid robotokat (humanoid robots), amelyek fizikai felépítése hasonlít az emberéhez. A 25.1. (b) ábrán két ilyen humanoid robot látható, mindkettő Japánban készült, a Hondánál. A hibridek a rögzített manipulátoroknál nagyobb távolságokban is képesek beavatkozó szerveiket használni, de általában nehezebben tudják végrehajtani a feladatukat, mert nem rendelkeznek kellő stabilitással és szilárdsággal, amit a lerögzítés biztosít.

A robotika tárgyköre magában foglalja a protéziseket (emberek részére készített mesterséges végtagok, mesterséges fül vagy szem), az intelligens környezeteket (mint például egy egész ház felszerelve szenzorokkal és beavatkozó szervekkel) és a többelemű (multibody) rendszereket is, ahol a feladatokat rengeteg apró együttműködő robot hajtja végre.

A valódi robotoknak általában olyan környezetben kell boldogulniuk, amely csak részlegesen megfigyelhető, sztochasztikus, dinamikus és folytonos. Néhány, de nem mindegyik robotkörnyezet szekvenciális és multiágens jellegű is. A részleges megfigyelhetőség és a sztochasztikusság annak az eredménye, hogy egy meglehetősen nagy és komplex világgal kell foglalkozni. A robot nem lát a sarkok mögé, és bizonytalanság van a mozgásparancsok végrehajtásában a hajtások csúszása, a súrlódás stb. miatt. Mi több, a fizikai világ makacsul visszautasítja, hogy valós idejűnél gyorsabb legyen! Szimulációs környezetben egyszerűbb tanulási algoritmusok használatával (mint például a 21. fejezetben leírt Q-tanulás) lehetséges mindössze néhány CPU-munkaóra során több millió próbát vérgrehajtva tanulni, de valós környezetben éveket vehetnek igénybe ezek a kísérletek. Továbbá, az igazi ütközések valóban fájdalmat okozhatnak, ellentétben a szimuláltakkal. A valódi robotrendszerekbe – ahhoz, hogy a robot gyorsan tanulhasson és biztonságosan üzemelhessen – előzetesen információt kell beépíteni magáról a robotról, fizikai környezetéről és az elvégzendő feladatról.