Bár az emberi agy folyamatosan rögzíti az élményeket, azoknak csak egy részéből lesz tartós tudás.

Az emlékek rögzítésében a nagyagyban található hippokampusz játszik főszerepet, a kiválogatásuk és a hosszú távú memóriába való beépítésük nagy része viszont akkor zajlik, amikor pihenünk: alvás és nyugodt pihenés közben a hippokampusz újrajátssza a friss élményeket, és ez feltehetően fokozatosan beépíti őket a neocortexbe, az agy azon részébe, ahol a tudás nagy része tárolódik.

Az Anthropic november 6-án közzétett kutatásában ugyanezt a munkamegosztást ültette át mesterséges intelligenciára.

A Claude-modellek munkájuk során naplókat és jegyzeteket készítenek, és a két munkamenet közötti üresjáratban visszanézhetik ezeket, kijavíthatják a hibás bejegyzéseket és rendszerezhetik a tudásukat.

A folyamatot az AI-kutatók egyszerűen álmodásnak nevezik.

A kutatók először azt vizsgálták , mennyire tudják eldönteni a modellek, hogy mit érdemes megjegyezni.

Ehhez a Pokémon Red című videójátékot használták, amelyben a játékosnak az úgynevezett edzőtermek vezetőit (gym leaders) legyőzve kell jelvényeket gyűjtenie – ezek jelzik az előrehaladását.

A Claude-modellek a játék elején kaptak egy mappát, amelybe szabadon írhattak, és amelyből a későbbiekben visszaolvashattak, a két vizsgált modell azonban egészen másként élt ezzel a lehetőséggel.

A régebbi Sonnet 3.7 szinte mindent feljegyzett, és gyakran külön fájlt nyitott minden csatának, megtalált tárgynak és szereplőnek, így nagyjából tízezer lépés után 225 mappában 413 fájlja és közel egymillió karakternyi jegyzete gyűlt össze, jelvényből viszont mindössze egyet szerzett.

Az idén júniusban bemutatott Fable 5 ugyanennyi lépés alatt tíz fájlba mintegy 43 ezer karakternyi jegyzetet írt – vagyis kevesebb mint huszadannyit –, és közben négy jelvényt gyűjtött.

A Sonnet 3.7 aprólékos nyilvántartása azért is vált teherré, mert a játék állása folyamatosan változik, így a jegyzetei hamar elavultak, a modell pedig egyre több időt töltött a rendezgetésükkel.

Egy ponton 17 lépésen keresztül csak fájlokat hozott létre és törölt, miközben a játékban egyet sem lépett.

Az Anthropic szerint a Fable 5 előnye abból adódott, hogy csak olyasmit jegyzett fel, amit a játék magától nem mutatott meg.

A pénzét vagy a térképen elfoglalt helyét bármikor leolvashatta a képernyőről, a kipróbált stratégiák és a saját maga által felállított szabályok viszont elvesztek volna, ha nem írja le őket.

Az álmodás hasznát egy újabb kísérletben, a játék egy későbbi szakaszában mutatták meg, ahol a játékosnak át kell kelnie a Mt.

Moon nevű barlangrendszeren, amelynek a bejárata a térkép nyugati, a kijárata pedig a keleti oldalán van.

A bejárat közelében ráadásul egy egyirányú párkány is található, amelyről lelépve a játékos visszaesik arra az útvonalra, ahonnan érkezett, és onnan nem tud egyszerűen visszamászni.

A Claude a barlang bejáratánál álló, a pokémonok gyógyítására szolgáló épületet (Pokémon Center) használta tájékozódási pontként, de tévesen azt jegyezte fel, hogy az a hegy keleti oldalán áll.

Ezért amikor kilépett belőle, úgy hitte, hogy már túljutott a barlangon.

A hibás jegyzettel futó változat háromszor zuhant le ugyanarról a párkányról, a harmadik kudarc után pedig visszagyalogolt az előző városba, így a barlangon túli Cerulean Cityt már nem érte el.

A kutatók ezután ugyanezen a jegyzetmappán lefuttatták az álmodást.

A modell összevetette a feljegyzéseit az adott munkamenet szó szerinti naplójával, észrevette a tévedést, és kijavította a bejegyzést.

A javított jegyzet birtokában egyenesen visszament a barlangba, és valamivel kevesebb mint kétezer lépés után megérkezett Cerulean Citybe.

Az álmodás során a modell arra is képes, hogy a meglévő anyagokból új tudásbázist építsen, például egymásra hivatkozó oldalakból álló, wikiszerű gyűjteményt, amelyben később könnyebben eligazodik.

Az Anthropic ezt a májusban felvásárolt, Stainless nevű szoftvercég nagyjából 350 ezer belső dokumentumán próbálta ki.

Ezek együttesen mintegy 420 millió tokent tettek ki – a token az a néhány karakternyi szövegegység, amellyel a nyelvi modellek dolgoznak.

A Claude Opus 5 modellre épülő ágensek 128 egymást követő munkamenetben írták, javították és bővítették a wikit.

Ahogy a tudásbázis gyarapodott, a 25 tesztkérdés értékelési szempontjainak egyre nagyobb részét tudta teljesíteni a modell pusztán a wikire támaszkodva, az arány 13 százalékról 48 százalékra nőtt.

A legjobb eredményt mégis akkor érte el, amikor a wiki mellett keresőt is használhatott: ilyenkor 61 százalékot ért el, szemben a csak keresővel elért 53 százalékkal, és közben kérdésenként nagyjából 20 ezer tokent takarított meg.

A módszernek azonban ára is van.

Az álmodás során a modell a háttérben dolgozik, ami számítási kapacitást, vagyis végső soron pénzt és energiát emészt fel, ezért nem lehet minden feljegyzést újra és újra átnézetni vele.

A kutatók szerint ezért azokat a jegyzeteket érdemes gyakrabban ellenőrizni, amelyek könnyen elavulhatnak, vagy amelyeket a modell sokszor használ.

Hasonló óvatosságra van szükség a legfontosabbnak ítélt jegyzetek esetén is, amelyeket a modell minden új feladat elején automatikusan megkap, hogy ne kelljen keresgélnie őket.

Ezekből nem lehet túl sok, mert a modell egyszerre csak korlátozott mennyiségű szöveget tud figyelembe venni, és ha valahova hiba csúszik, azt minden későbbi feladatba magával viszi.

Egy másik kísérletből az is kiderült, hogy a jegyzetelést jobb a modellre bízni.

A fejlettebb Claude-modellek jobban teljesítettek, ha a kutatók csak annyit közöltek velük, hogy a későbbi feladatokhoz jegyzeteket készíthetnek, azt viszont rájuk bízták, hogy mit írnak le.

Az Anthropic szerint a gépi emlékezet működésével kapcsolatban még sok a megválaszolatlan kérdés, és ahogy a modellek fejlődnek, úgy változik majd az is, hogyan érdemes rendszerezni az emlékeiket.

Kapcsolódó cikkeink: ]]>