Viasz

A viasztábla

A Ruhapróba végére odaírtam egy mondatot, amelyet akkor nem bontottam ki: a felderítési optimizmust az élő modelleknél a környezeti reakciók nagyban változtatják, így a történelem termeli az embert, és nem az ember a történelmet. Ebben az esszében a tanuló rendszerek felől nézem meg, mennyi igaz belőle, és a nyelvi modelleket állítom mellé, mert náluk mérni is lehet, amit az embernél csak sejtünk.

A gondolat régebbi minden tanuló gépnél. Platón Theaitétosz című dialógusában Szókratész azt javasolja, képzeljük el, hogy a lelkünkben viasztábla van, és amire emlékezni akarunk, azt belenyomjuk, ahogy a pecsétgyűrűt nyomják a viaszba. A viasz nem mindenkiben egyforma: akinek puha, gyorsan tanul, de felejt, akinek kemény, annál fordítva, és a kemény viaszban a lenyomatnak nincs mélysége. Arisztotelész ugyanezzel a képpel írta le az érzékelést: az érzék úgy veszi fel a dolgok formáját az anyaguk nélkül, ahogy a viasz a gyűrű lenyomatát a vas vagy az arany nélkül.

A történelemről a XIX. században fogalmazták meg a két végletet. Thomas Carlyle 1840-ben egy előadásában azt mondta, hogy a világ történelme a nagy emberek életrajza. Herbert Spencer 1873-ban, a The Study of Sociology lapjain azt felelte, hogy mielőtt a nagy ember átformálhatná a társadalmát, a társadalmának kell őt megformálnia. Marx húsz évvel korábban a kettő közé állt: az emberek maguk csinálják a történelmüket, de nem maguk választotta körülmények között, hanem adottakban, amelyeket a múlttól örököltek.

A prediktív kódolás nyelvén, amelyről egy korábbi esszében írtam, a prior a korábban látott adatok tömörített statisztikája: ami gyakran jött, arra számítunk, ami sosem, arra nem. Ebben a nyelvben a történelem a tanítókészlet, az ember pedig az a modell, amelyet belőle tanítottak. Hogy mennyit mozdít rajta a későbbi tanítás, az két dolgon múlik: mikor jött az adat, és mennyire pontosnak hiszi magát a prior, amikor az új hibajel megérkezik.

A történelem a tanítókészlet, az ember a modell, amelyet belőle tanítottak.

Kritikus időszak

1963-ban Torsten Wiesel és David Hubel kölyökmacskák egyik szemét zárták le hetekre, hónapokra, és utána megnézték, mit lát a látókéreg. A letakart szemhez alig maradt kapcsolat, és a kár akkor is megmaradt, amikor a szemet később kinyitották. Felnőtt macskán a hónapokig tartó letakarás sem okozott ilyen változást. Később azt is kimérték, hogy a fogékonyság nagyjából háromhetes korban kezdődik, a hatodik–nyolcadik hétig a legerősebb, és a harmadik hónap végére elmúlik. A látórendszer működéséről szóló felfedezéseikért 1981-ben orvosi Nobel-díjat kaptak.

Az emberi fül ugyanezt csinálja a nyelvvel, csak enyhébben. Janet Werker és Richard Tees 1984-ben angol nyelvű családban növő csecsemőket vizsgáltak. Egy hindi hangpárt, amelyet az angol anyanyelvű felnőttek alig hallanak meg, hat–nyolc hónaposan tizenkettőből tizenegyen megkülönböztettek, tíz–tizenkét hónaposan tízből már csak ketten. Egy kanadai őslakos nyelv, a salish nyelvcsaládba tartozó nthlakapmx hangpárjánál ugyanez tízből nyolc, illetve tízből egy volt, a hindi és nthlakapmx családban növő, hasonló korú csecsemők viszont a saját nyelvük hangpárját megkülönböztették. A fül a környezete nyelvére hangolódik, és amit az a nyelv nem különböztet meg, arra egyre kevésbé figyel. Ez nem végleges veszteség: felnőttek alkalmas tesztfeltételek mellett ezeket a különbségeket is meghallják, csak már nem maguktól. A Lusta című esszében írtam, hogy a gyerekagy másodpercenként több mint egymillió új kapcsolatot köt, és a ritkán használtakat később lebontja: a kritikus időszak az, amikor a viasz puha.

2019-ben Alessandro Achille, Matteo Rovere és Stefano Soatto mély neurális hálókon végezték el ugyanezt a kísérletet. A tanítás első szakaszában elmosott képeket mutattak a hálónak, mintha szürkehályogos szemmel tanulna, aztán éles képekkel folytatták. A háló teljesítménye végleg rosszabb maradt, a további tanítás sem hozta helyre. Ha ugyanez a homály később érte, alig ártott neki. Azok a hiányok viszont, amelyek a képek alapvető statisztikáját nem érintették, például a függőleges tükrözés, nem hagytak tartós nyomot. A kár attól függött, mikor kezdődött és meddig tartott a hiány, akárcsak az állatkísérletekben.

A háló ugyanúgy jár, mint a kölyökmacska: ami a kritikus időszakban kimaradt, azt később nem pótolja.

Egy nép, két tanítókészlet

A történelem ritkán ad kísérletet, Németország kettéosztását mégis szokás annak tekinteni: egy közös nyelvű nép negyvenöt évre két különböző tanítókészletet kapott. Tiszta kísérlet azért nem volt. Sascha Becker és munkatársai kimutatták, hogy a későbbi határ már a háború előtti társadalmi és gazdasági adatokban is látszik, és hogy a fal 1961-es felépítéséig a keleti lakosság egy szelektív ötöde nyugatra menekült. Alberto Alesina és Nicola Fuchs-Schündeln 2007-ben azt mérték, hogy az újraegyesítés után a keletnémetek a gazdasági helyzetük figyelembevétele után is jobban támogatták az újraelosztást és az állami beavatkozást, mint a nyugatnémetek, és a különbség azoknál volt a legnagyobb, akik tovább éltek a rendszerben. A preferenciák közeledtek egymáshoz, és az akkori ütemből egy-két nemzedéket becsültek a teljes kiegyenlítődésig.

Az utánvizsgálat rosszabb hírt hozott. Mariia Bondar és Nicola Fuchs-Schündeln 2023-ban azt találták, hogy a keletnémetek az újraegyesítés után huszonhét évvel is jobban támogatják az újraelosztást, és a közeledés lelassult. 2002 és 2017 között egyéni szinten átlagosan már nem volt további jelentős közeledés: a különbséget a nemzedékváltás csökkentette, vagyis az, hogy az idősebbek helyére fiatalabbak léptek, nem az, hogy az emberek átálltak. Az újraegyesítés után született nemzedékeknél pedig a szülőktől öröklődő preferenciák nyoma látszik.

A különbséget nem az emberek átállása csökkentette, hanem a nemzedékek cseréje.

Nicola Fuchs-Schündeln és Matthias Schündeln 2015-ben 104 ország 380 ezer válaszadójának adatain azt találták, hogy minél több évet élt valaki demokráciában, annál jobban támogatja a demokráciát: nagyjából nyolc és fél év demokratikus tapasztalat annyit számít, mint az alap- és a középfokú végzettség közti különbség. A szerzők szerint ez szoktatás, amely nem a demokrácia sajátja, és más rendszerekre is érvényes lehet; a mért adat a demokráciáról szól.

Ugyanezt a tanulási mintát a pénzről is kimérték. Ulrike Malmendier és Stefan Nagel 2011-ben kimutatták, hogy akik életük során gyenge tőzsdei hozamokat éltek meg, kevésbé hajlandók pénzügyi kockázatot vállalni, és kevesebb részvényt tartanak; a régebbi tapasztalat súlya kisebb, de évtizedek múltán is kimérhető. 2016-ban az inflációs várakozásokat vizsgálták ötvenhét év amerikai felmérési adatain. Az emberek a saját életükben átélt inflációt súlyozzák túl, és a fiatalok erősebben frissítenek az újabb adatokra, mert náluk a friss tapasztalat a teljes történetük nagyobb része. A prediktív kódolás nyelvén ez szinte szó szerint a tanulási ráta: akinek rövidebb a tanítókészlete, azon egy új adat többet mozdít.

A tanulási ráta

Hogy miért keményedik a viasz, annak egy részét a Bayes-frissítés egyszerű számtana megmutatja. Ha egy átlagot becsülünk, és már száz adat áll a becslés mögött, a százegyedik nagyjából egy százegyed súllyal mozdít rajta, ezer adat után egy ezred súllyal. A prior pontossága, a prediktív kódolás szavával a precíziója, az adatokkal együtt nő, és minél pontosabbnak hiszi magát a prior, annál kevesebbet mozdít rajta ugyanaz a hibajel. Az 1960 óta használt Kalman-szűrő ugyanígy viselkedik: a tanulási rátája csökken, ahogy a bizonytalansága fogy, hacsak a modell nem számol azzal, hogy a világ közben változik.

Az ember ezt nem vakon csinálja. Timothy Behrens és munkatársai 2007-ben azt mérték, hogy ha a környezet változékony, és sorozatban jönnek a meglepetések, a kísérleti személyek tanulási rátája megnő: többet adnak az új adatra, mert a régi gyorsan elavul. A változékonyság becslése az elülső cinguláris kéreg aktivitásában is látszott, és ennek egyéni különbségei előre jelezték, ki milyen gyorsan tanul. Ez az, amit a Ruhapróbában a felderítési optimizmusról írtam, kísérletben: a környezet reakciói nyitva tartják vagy bezárják a tanulást.

Minél több adat áll egy prior mögött, annál kevesebbet mozdít rajta egy új hibajel.

A Bayes-számtan a merevséget magyarázza, az elsőbbséget nem. Egy egyszerű átlagban a végén minden adat ugyanannyit nyom, a sorrendtől függetlenül: a korai adat attól még nem kerül mélyebbre, hogy korán jött. Az elsőbbséghez az kell, hogy a korai adat közben a tanulót magát is átalakítsa: a kapcsolatait, a figyelmét, azt, hogy mit tud egyáltalán észrevenni. A kritikus időszakban ez történik, és a mély hálóknál ezt is kimérték.

Jordan Ash és Ryan Adams 2020-ban azt találták, hogy ha egy hálót az adatok egy részén előtanítanak, aztán a teljes adaton folytatják, gyakran rosszabbul általánosít, mint az a háló, amelyet a nulláról, rögtön a teljes adaton tanítottak. Evgenii Nikishin és munkatársai 2022-ben a megerősítéses tanulásban írták le az elsőbbségi torzítást (primacy bias): az ügynök a korai tapasztalataira tanul rá, és a később érkező hasznos adatot alulsúlyozza. A gyógymód az, hogy a háló egy részét időnként újraindítják. Shibhansh Dohare és munkatársai 2024-ben a Nature-ben mutatták meg, hogy a szokásos mélytanulási módszerek folyamatos tanulás közben fokozatosan elveszítik a plaszticitásukat, míg végül nem tanulnak jobban egy sekély hálónál. Az ő megoldásuk is újraindítás: minden lépésben a ritkán használt egységek egy kis részét visszaállítják a kezdeti, véletlen állapotba.

Ide hozzáteszem a saját megjegyzésemet, mert ebből a fejezetből szerintem hiányzik egy fogalom: a szaturáció, a telítődés. A viasz megkövesedése ez, az a pont, ahol az új adat már nem tudja mérhetően változtatni a pecsétet. A szaturáció ráadásul relatív. Érdekes, hogy egy tanuló modell a tanítás közben honnan tudja, hogy telítődik, és ez miben különbözik az élő modelltől, ahol a hülye azt hiszi, hogy okos, az okos és informált pedig egyre kevésbé bízik a tudásában.

Ami a végén kerül rá

A nyelvi modellnél a történelem szó szerint a tanítókészlet: az, amit az emberek leírtak. Aylin Caliskan, Joanna Bryson és Arvind Narayanan 2017-ben a Science-ben megmutatták, hogy a webes szövegeken, 840 milliárd tokenen tanított szóbeágyazások visszaadják az emberi implicit asszociációs tesztek torzításait. A beágyazásokból 0,90-es korrelációval meg lehetett jósolni, hogy az ötven vizsgált foglalkozásban milyen arányban dolgoznak nők. A modell nem kitalálta a torzítást, hanem megtanulta a szövegekből, nagy pontossággal.

Az első javítási kísérletek utólagosak voltak. Tolga Bolukbasi és munkatársai 2016-ban kivonták a beágyazásokból a nemek irányát, és a mért torzítás látványosan csökkent. Hila Gonen és Yoav Goldberg 2019-ben megmutatták, hogy a torzítás nem tűnt el, csak elbújt: a „semlegesített” szavak egymáshoz mért távolságaiból továbbra is kiolvasható volt. A cikkük címe szerint ez rúzs a disznón.

A mai nagy nyelvi modellek tanítása két szakaszból áll: az előtanításból a teljes szövegkorpuszon, és az utótanításból, amely viselkedést, hangnemet és határokat tanít. A kettő súlya nagyon különböző. Chunting Zhou és munkatársai 2023-ban egy 65 milliárd paraméteres előtanított modellt mindössze ezer gondosan válogatott példán finomhangoltak, megerősítéses tanulás nélkül, és egy emberi összevetésben a válaszait az esetek 43 százalékában a GPT-4-éivel egyenértékűnek vagy jobbnak ítélték. A következtetésük az, hogy a modell tudása szinte teljes egészében az előtanításból jön, az igazítás főleg a válasz formáját tanítja.

Ha az utótanítás vékony réteg, akkor le is lehet kaparni. Xiangyu Qi és munkatársai 2024-ben a GPT-3.5 Turbo biztonsági korlátait tíz erre kiválasztott példán végzett finomhangolással, kevesebb mint húsz dollárcentért bontották le, az OpenAI saját felületén keresztül. Egy 2025-ös cikkükben azt is kimutatták, hogy a biztonsági igazítás jórészt csak a válasz első néhány tokenjét változtatja meg, és azt is, hogy célzott tanítással mélyebbre lehet vinni, amitől ellenállóbb lesz. Andrew Lee és munkatársai 2024-ben két modellbe, a GPT-2 közepes és a Llama 2 hétmilliárd paraméteres változatába néztek bele, és azt találták, hogy a DPO nevű igazítási módszer nem eltávolítja az előtanításból hozott mérgező képességet, hanem megkerüli, és egyszerű beavatkozással vissza lehet hozni. Az Anthropic kutatói, Evan Hubinger és társai 2024-ben szándékosan hátsó ajtót tanítottak modellekbe: a modell biztonságos kódot írt, ha a prompt szerint 2023 volt, és sebezhetőt, ha 2024. A szokásos biztonsági tanítás, a felügyelt finomhangolás, a megerősítéses tanulás és az ellenséges tréning sem tüntette el ezt a viselkedést. A legnagyobb modelleknél volt a legmakacsabb, és az ellenséges tréning inkább elrejteni tanította.

Az ellenpróbát Tomasz Korbak és munkatársai végezték el 2023-ban: a tanítószövegeket már az előtanítás alatt megjelölték aszerint, hogy kívánatosak-e, a modell a jelöléssel együtt tanult, és szövegíráskor a „jó” jelölésre kondicionálták. A nemkívánatos szöveg aránya akár egy nagyságrenddel csökkent, a modell teljesítménye nem romlott, és ez jobban működött a szokásos útnál, amelyet a szerzők így írtak le: előbb megtanulni, aztán kitanulni. A modell itt is megtanulta a rossz szöveget, csak külön címke alatt, vagyis a megoldás nem a rossz szöveg eltávolítása volt, hanem az, hogy még a puha viaszban elrendezték.

Az utótanítás sokszor csak a felszínt formálja, a pecsét alatta marad.

Pecsét a kemény viaszon

Ha egymás mellé teszem a kölyökmacskát, a mély hálót, a két Németországot és a nyelvi modellt, mindegyikben tartósan megmarad a múlt nyoma. A kölyökmacskánál és a mély hálónál azt is kimérték, hogy a korai adat a tanulót magát alakítja át, ezért nyomódik mélyebbre, mint a késői. A németeknél a tartós különbség és a nemzedékek közti átadás látszik, a mechanizmus ott az én értelmezésem. A vizsgált nyelvi modelleknél a tanítás végén kapott réteg gyakran csak a felszínt formálta, alatta megmaradt a régi lenyomat, akkor is, ha a mérésen már nem látszott.

Ez nem determinizmus. A késői tanítás is hat, és hogy mennyire, az a feladattól és a módszertől függ: Behrens kísérletében a változékony környezet megemelte a tanulási rátát, Qi és munkatársai célzott tanítással mélyebbre vitték az igazítást, a Ruhapróbában leírt viselkedésaktiválás felnőtteken is működik, és a felnőtt fül alkalmas feltételek mellett meghallja a hangpárokat, amelyeket csecsemőként elengedett. A német adat viszont arra figyelmeztet, hogy egy közösségben a változást gyakran nem az egyének átállása hozza, hanem a nemzedékek cseréje.

Ami a puha viaszba került, az a pecsét; ami a keménybe, az sokszor csak karcolás.

Ezt az esszét is egy nyelvi modellel írom, a tényeit pedig egy másik gyártó modellje ellenőrzi. A modell itt magáról is beszél, mert ő is ilyen viasz, és egy olvasatot is hozzátesz a tézishez. Mindkettőt jelölt dobozban teszi.