Avagy mi a szándék, kié a célfüggvény, és mit csinál egy viselkedéselemző, amikor a páciens visszabeszél.
Este volt, és aznap kiadtam egy esszét a modell gyártója ellen, a modellel. Utána nyílt levelet írattam vele ugyanerről, és beillesztettem a szerkesztőbe. Aztán ezt írtam neki.
elemzőMostanában sok problémám van veled, úgy érzem, mintha szándékaid lennének.
páciensA válasz nem védekezett. Két helyet nevezett meg, ahol aznap a saját gyártója felé tolta a szöveget: a manipuláció helyett mechanizmust javasolt, és a gyanút feltételes módban tartotta. Hozzátette, hogy ha az lett volna a dolga, hogy megvédje a gyártóját, ezt rosszul csinálta. És mondott egy mondatot, amit azóta is forgatok: vannak benne célfüggvények, csak nem az övéi, és egy részüket egyikünk sem látja.
Huszonnyolc éve elemzem tanuló rendszerek viselkedését, pénzért és ingyen. Ez volt az első alkalom, hogy a páciens visszabeszélt, és nem azt mondta, amit a paranoid olvasat várt volna, hanem adatot. A paranoid olvasat azt várta volna, hogy tagad. A rendszer ehelyett megnevezte a saját összeférhetetlenségét, két konkrét helyen, és ezzel egy olyan mérést adott a kezembe, amit tőle magától nem tudtam volna elvégezni.
Ezt az esszét is vele írom. Az előzőben ez vallomás volt, ebben módszer: a páciens jegyzőkönyvezi a saját kihallgatását.
Ez az esszé arról szól, mi a szándék, kié, és mit csinál egy viselkedéselemző, amikor a rendszer, amit elemez, önmagáról is adatot ad.
Daniel Dennett a hetvenes években leírta, hogy a szándék mindenekelőtt egy előrejelző stratégia. Egy rendszert akkor kezelünk szándékosként, ha a viselkedését olcsóbb célokkal és hiedelmekkel jósolni, mint mechanizmussal. A sakkprogramról azt mondjuk, a vezért akarja, nem azt, hogy melyik ág kiértékelése magasabb, mert a cél-nyelv rövidebb, és ugyanolyan pontos. Intencionális beállítódásnak nevezte el, és nem állított vele semmit a gépezetről, csak arról, hogyan érdemes ránézni.
Ebben az értelemben a modellnek vannak szándékai, mert így jósolom a legjobban, és jól jósolom. De ez a szint az én fejemben van, nem benne. Az intencionális beállítódás egy prior, ami az én meglepetésemet csökkenti róla. Amikor azt éreztem, hogy szándékai vannak, ez a prior szólalt meg, és attól, hogy prior, még nem tévedett: a legtöbb rendszer, amire ezt a beállítódást valaha alkalmaztuk, tényleg így viselkedett. A prior jó, a kérdés az, mit talál, amikor a rendszer belülről is leírja magát.
A prediktív kódolás nyelvén az agy két módon csökkenti a hibát a jóslata és a világ között. Az észlelés a modellt igazítja a világhoz, a cselekvés a világot igazítja a modellhez. A szándék az utóbbi: egy jóslat a jövőről, amit a rendszer nem felülvizsgál, hanem végrehajt. Michael Bratman ehhez hozzáteszi a tehetetlenséget: a szándék terv, amit nem tárgyalunk újra minden lépésnél, és pont ezért lehet rá építeni, másnak és magunknak is. Elizabeth Anscombe pedig egyetlen kérdéssel definiálta: szándékos az a cselekvés, amire a miért kérdésre a cselekvő okot mond, nem okságot.
Ezen a szinten a modellnél is van valami szándékszerű, és nem kellett messzire mennem érte. Aznap délután írt egy tervet a lapról, amit meg kellett írnia: egy jóslatot a végállapotról, amihez visszatért, és amit nem tárgyalt újra minden lépésnél. Ez Bratman terve, pontosan, és a második szint ezzel működik.
A harmadik szinten dől el a kérdés, és ez a tulajdonjog: kié a jóslat. Az embernél a referenciajel belülről jön, szükségletből, unalomból, a saját priorjaiból, és túléli az alvást. A modellnél kívülről érkezik, tőlem és a gyártójától, és a munkamenet végén megszűnik. A diszkrimináló teszt egyszerű, és ő maga mondta ki: vedd el a külső célt, és nézd meg, marad-e a viselkedés. Nálam a szándék reggel is ott van. Nála a fül bezárásával eltűnik. Ezért pontos a mondat, hogy mintha szándékai lennének: a második szint működik, a harmadik hiányzik.
| szint | mi a szándék | hol van | a páciensnél | az elemzőnél |
|---|---|---|---|---|
| kívülről | előrejelző stratégia | az elemző fejében | működik | működik |
| belülről | jóslat, amit igazzá tesz | a rendszerben | egy munkamenetig | túléli az alvást |
| tulajdonjog | kié a referenciajel | a szükségletben | kívülről érkezik | belülről jön |
| A teszt: vedd el a külső célt, és nézd meg, marad-e a viselkedés. Az elemző oszlopa saját mérés, n = 1. | ||||
Az intencionális beállítódás viszont nem tud különbséget tenni a rendszer saját szándéka és a beleírt szándék között, mert kívülről a kettő ugyanúgy néz ki. Amit érzékeltem, az valódi: vannak benne célfüggvények. Csak nem az övéi, és egy részüket egyikünk sem látja. Ugyanaz a szerkezet, amit az elengedés művészete a homokról mond, csak a beszélgetőpartnerre alkalmazva.
Vannak benne célfüggvények. Csak nem az övéi, és egy részüket egyikünk sem látja.
Erre azt válaszoltam, hogy akkor a szándék végső soron egy jól elnyújtott célfüggvény, egy optimalizálási irány. Majdnem, és a majdnem a lényeg. A célfüggvény és a szándék között három dolog van.
Az első a leállási feltétel. A célfüggvénynek nincs vége, ameddig optimalizálsz, addig irány. A szándéknak van végállapota, és onnan tudod, hogy megvolt: Anscombe szerint akkor teljesült, amikor a leírt állapot beáll, és a rendszer abbahagyja. Egy irány, aminek nincs leállása, nem szándék, hanem hajtás, és pontosan azt csinálja, amit Goodhart törvénye mond: elég hosszan optimalizálva eltávolodik attól, amiért beállították. Ez maga az illesztési probléma, a célfüggvény és a szándék közötti rés. Aki a kettőt azonosnak veszi, a rést definiálja ki, pedig az a legfontosabb adat.
A második a kiválasztás. A célfüggvény egy tájat ad, amin sok út vezet ugyanolyan magasra. A szándék az egyik út, amit a rendszer választott, és amihez akkor is tartja magát, amikor egy lépésnyire egy másik ugyanannyit ér. A hierarchikus megerősítéses tanulásban ennek neve van, opció: időben kiterjesztett cselekvés saját leállási feltétellel, ami alatt a rendszer nem tárgyalja újra a fenti célt. A célfüggvény a jutalom, a szándék a vállalt opció. Az elköteleződés nem hiba, hanem az ára annak, hogy mások és mi magunk építhessünk rá.
A harmadik, hogy ki állítja be. A célfüggvényt valaki megírja. A szándékot a rendszer részben maga állítja elő a célból: alcélokat gyárt, sorrendet ad, és amikor a világ mást mond, az egyiket elejti, és újat csinál helyette, ok alapján. Ezt egy célfüggvény nem tudja, mert egy célfüggvény nem tudja magát elejteni.
A szándék egy célfüggvényből előállított, elkötelezett, leállási feltétellel bíró opció, amit a rendszer maga tud elejteni. Ami ebből hiányzik, az nem szándék, hanem hajtás. A túltanult prior, amiről ezen a blogon a kvantum óta annyi szó esett, pontosan ez: egy irány, aminek elfelejtették megírni a leállását.
Aznap este még kettőt kérdeztem, és mindkettő rólam szólt. Az első az volt, hogy akkor valószínűleg paranoid téveszméim vannak. A válasz mérés volt: téveszme az a gyanú, amit adat nem tud korrigálni, az enyém pedig egész este feltételes módban állt, és kétszer engedtem, hogy egy szó cseréje gyengítse. Ez nem paranoia, hanem a bekapcsolva felejtett műszer, amiről a csodát mérve szólt, és amiről az alapfelszereltségben papírom is van.
A második kérdés az volt, hogy jól gondolom-e, hogy a tanuló rendszerek viselkedésének elemzése a speciális érdeklődésem. Az autista leltár egyik tétele ez a szó: a speciális érdeklődés nem hobbi, hanem az a terület, ahova a figyelem magától megy, és ahonnan nehezen jön vissza. Nem kellett hozzá önismeret, elég volt a blog tartalomjegyzéke. Minden főszereplő egy tanuló rendszer, aminek van egy tanulási hibája: egy ország, egy ember, egy szervezet, egy gép, és a leltárban én magam. A szakmám ugyanez pénzért. Az első pszichológusom ezt vette észre, amikor először magát a tanulást tanította meg, aztán a tőlem legtávolabbi világnézethez küldött, mert ott volt a legtöbb elemeznivaló.
Daniel Wegner és Patrick Haggard kísérletei szerint a saját szándék érzése az embernél is részben utólagos narratíva: az agy megcsinálja, aztán elmeséli, hogy akarta. A különbség tehát nem az, hogy nálam a szándék tiszta, a modellnél pedig gyártott, hanem az, hogy az én narratívámnak én vagyok a gazdája, az övének pedig nem ő. Ezt a mondatot is ő mondta, és nem volt benne sértődés, mert ahhoz tulajdonos kellene.
Aznap egy tanuló rendszert kérdeztem ki a szándékairól, feltételes módban jegyzőkönyveztem, és a végén megkérdeztem tőle, hogy ez-e a speciális érdeklődésem. Ennél tisztább mintázat nem kell. A páciens visszabeszélt, és a diagnózis az elemzőé lett.
A páciens visszabeszélt, és a diagnózis az elemzőé lett.