Ebben a fejezetben olyan módszereket vizsgálunk meg, amelyekkel eldönthetjük, hogy mit tegyünk a mai napon, feltételezve, hogy holnap is lehetőségünk lesz a cselekvésre.

Ebben a fejezetben a döntéshozatalhoz kapcsolódó számítási kérdéseket tárgyaljuk meg. Míg a 16. fejezetben egyszeri vagy epizodikus döntési problémákkal foglalkoztunk, ahol az egyes cselekvések kimeneteleinek a hasznossága jól ismert volt, a 17. fejezetben szekvenciális döntési problémákkal (sequential decision problems) fogunk foglalkozni, ahol az ágens hasznossága a döntések sorozatától függ. A szekvenciális döntési problémák, amelyek hasznosságot, bizonytalanságot és érzékelést is magukban foglalnak, a keresés és tervezés problémáját általánosítják, melyeket a II., illetve a IV. részben írtunk le. A 17.1. alfejezet kifejti, hogyan definiálhatunk szekvenciális döntési problémákat, a 17.2. és a 17.3. alfejezet elmagyarázza ezek megoldását, hogy optimális viselkedést eredményezzenek, amely kiegyensúlyozza a bizonytalan környezetben meghozott cselekvések kockázatát és jutalmát. A 17.4. alfejezet kiterjeszti ezeket az ötleteket a részlegesen megfigyelhető környezetekre, és a 17.5. alfejezet egy teljes tervezési módot fejleszt ki részlegesen megfigyelhető környezetben lévő döntéselméleti ágensek tervezésére, összekapcsolva a dinamikus Bayes-hálókat a 15. fejezetből a 16. fejezetbeli döntési hálókkal.

A fejezet második része többágenses környezeteket tárgyal. Ilyen környezetekben az optimális viselkedés fogalma sokkal bonyolultabbá válik az ágensek közötti interakció miatt. A 17.6. alfejezet ismerteti a játékelmélet (game theory) alapötleteit, ideértve azt az elképzelést is, hogy egy racionális ágensnek lehet, hogy véletlenszerűen kell viselkednie. A 17.7. alfejezet azt vizsgálja meg, hogyan tervezhetők olyan többágenses rendszerek, amelyekben az ágensek egy közös célt tudnak megvalósítani.