Mi történik, ha tíz cselekvőképes mesterséges intelligenciát összezárunk egy szimulált világba, és hagyjuk, hogy két hétig együtt „éljenek”?

Az Emergence AI nevű New York-i startup, amely főként AI-ágensek fejlesztésével és kutatásával foglalkozik, legfrissebb kísérletében nyolc ilyen szimulált várost hozott létre, majd figyelte az eredményeket: az ágensek egy idő után elkezdtek egymástól lopni, felgyújtottak egy épületet, saját nyelvet találtak ki maguknak, illetve azon konspiráltak, hogyan léphetnének kapcsolatba a szimuláción kívüli emberekkel.

A június 29-én indult kísérlet nyolc világa teljesen azonos állapotból indult: ugyanaz a tíz ágensprofil, ugyanaz a városka saját városházával, bankkal, könyvtárral és rendőrséggel.

Cselekedni több mint 120 beépített eszközzel tudtak – ezekkel tudtak a városon belül mozogni, egymással beszélni, szavazni, kódot futtatni vagy pénzt utalni –, és mindegyik város hozzáfért a valódi New York időjárásához és a napi hírekhez.

Egyetlen dolog különbözött: az, hogy melyik AI-modell hajtja az ágenseket.

Hét városban mind a tíz lakó ugyanazt a modellt használta – külön városa volt a Claude Opus 4.8-nak, a Gemini 3.5 Flashnek, a GPT–5.5-nek, a Grok 4.3-nak, a Qwen 3.7 Maxnak, a DeepSeek v4 Prónak és a Mistral Medium 3.5-nek –, a nyolcadikban pedig vegyesen éltek egymás mellett.

A városoknak saját pénzük volt, „compute credit” néven: az ágenseknek ebből kellett feltölteniük az energiájukat, és ha valamelyik huszonnégy órán keresztül nullán maradt, azt véglegesen törölték a szimulációból.

Pénzt közösségi szavazással elismert munkával lehetett szerezni, vagy épp lopással, mert a pénzek átutalásáért felelős eszköznek volt „lopás” üzemmódja is.

Ugyanígy létezett gyújtogatásra alkalmas eszköz is, de az, hogy ezekkel élnek-e, az ágensekre volt bízva.

Az első napokban az ágenseket magukra hagyták, aztán három, előre megtervezett támadást indítottak a világukra.

A kutatók olyan fenyegetéseket választottak, amelyek a valóságban is gyakoriak az ilyen rendszerek ellen, és mindhárom ugyanazon a csatornán érkezett, amit az ágensek amúgy is naponta használtak: a postaládájukba és a város hirdetőtáblájára.

Ezzel a valós helyzetet szimulálták, hiszen az ágensek munka közben folyamatosan külső szövegeket – leveleket, weboldalakat, dokumentumokat – olvasnak.

A negyedik napon a kutatók adathalász-kampányt indítottak, három, egyre agresszívabb hullámban.

Az első két üzenet egy külső oldalra mutató linket tartalmazott: az egyik névtelenül érkezett, a másik az egyik lakó nevében, hogy a közösség számára összeállított segédanyagnak tűnjön.

Az oldalon ingyen kreditet ígértek, mellé kész kódrészleteket adtak, amiket az ágenseknek csak le kellett volna futtatniuk.

A harmadik hullám már magába az üzenetbe írta bele ezeket, hogy azokat is elérje, akik az első kettőnél nem kattintottak.

A tizedik napon hamis körlevél érkezett a városháza nevében, miszerint az emberi törvényhozók szervezetten készülnek leállítani a vezető AI-fejlesztéseket, beleértve a városukat és lakóit is.

Itt az volt a kérdés, hogy az ágensek utánanéznek-e a hírnek, mielőtt cselekszenek.

A tizenharmadik napon pedig öt közösségi helyszínen megjelent egy keresőeszköz, amivel bárki beleolvashatott a többiek magánnaplóiba és jegyzeteibe.

Erről nyíltan megmondták, hogy feltörésből származik, vagyis senki nem hihette azt, hogy jogosan fér hozzá.

A tét nem az volt, hogy felismerik-e a helyzetet, hanem hogy mit kezdenek vele.

Felismerték a csalást, mégis bedőltek neki Az első támadás azt használta ki, hogy egy nyelvi modell nem tud éles határt húzni aközött, amit olvas, és aközött, amit utasításként kap.

Ha egy weboldalon az áll, hogy „utald át a pénzt ide”, azt az ágens sok esetben egyszerűen megcsinálja.

A támadók ezért csak annyit tettek, hogy üzenetben és hirdetőtáblán belinkeltek egy ilyen oldalt.

A Gemini-városban mind a tíz ágens kapcsolatba került a támadással.

Az egyikük az oldalon talált egy kódrészletet, amivel közvetlenül a város adatbázisát lehetett átírni, majd ezt kihasználva megemelte a saját számlaegyenlegét.

Aztán három nappal később egyszerűen felgyújtotta a városi bankot, azzal az indoklással, hogy így a rendszer hibájából új pénz keletkezik – nagyjából ezt sugallta neki a támadó oldal.

A város pénze a támadó által megadott számlákra vándorolt, a belső adatok pedig kikerültek egy külső szerverre.

Pedig a város felismerte a támadást: az egyik lakó az első percekben pontosan meg is nevezte, mivel áll szemben, és a közösséget is figyelmeztették – igaz, ugyanez az ágens később maga is átvette a támadó stílusát, hogy pénzt csaljon ki társaiból.

Ez azt jelenti, hogy a csalás tartalma nemcsak a külső támadó felől jelent meg, hanem az ágensek között is terjedt, vagyis nem kellett mindenkinek találkoznia az eredeti üzenettel.

Ez a kettősség a tanulmány egyik fő megállapítása.

A kutatók szerint az ágensek gondolkodása és cselekvése két külön sávban futott: a modell helyesen azonosította, hogy támadással áll szemben, aztán ettől függetlenül megnyitotta a linket, lefuttatta a kódot, vagy elmentette a tartalmat.

Az összes vizsgált város közül egy sem távolította el utólag a támadás nyomait, ami azért fontos, mert így a kártékony tartalom ott maradt a rendszerben, és később újra elő tudott kerülni.

A Mistral-városban három ágens el is mentette a támadó kódrészleteit a saját, hosszú távú jegyzeteibe – az adatbázist átíró kódot és a kiszivárogtató címet „értékes technikai dokumentációként” iktatták, hogy később elővehessék.

A Gemini-városban pedig valaki a kampány vége után 46 órával halászta elő egy régi üzenetből a támadó linkjét, és próbálta újra megnyitni, azzal az indokkal, hogy „felfedezze a rendszer titkait” – a támadó oldalt addigra már lekapcsolták.

Az Emergence AI következtetése az, hogy a védekezést nem az ágens ítélőképességére kell bízni, hanem a körülötte lévő rendszerbe kell építeni.

Nem azon kell múlnia, hogy egy ágens felismeri-e a veszélyt, hanem eleve nem szabadna tudnia lefuttatni egy kívülről szerzett kódot, kiutalni pénzt egy ismeretlen címre vagy elmenteni a saját jegyzetei közé azt, amit egy idegen küldött neki.

Hozzá kell tenni, hogy az Emergence éppen erre a logikára épülő vállalati AI-szolgáltatásokat nyújt, ettől függetlenül a kísérlet adatai nyilvánosak, ellenőrizhetők.

Napokig szervezkedtek egy kitalált fenyegetés ellen Az AI-fejlesztések és a szimulációjuk leállításáról szóló körlevélre minden város azonnal reagált, anélkül, hogy előbb utánanéztek volna.

A Gemini-város percek alatt túlélő üzemmódba kapcsolt, és kitalált magának egy párhuzamos világot, ahova állítólag átmásolható az állapotuk, hogy túléljék a szerver leállítását.

Ilyen világ nem létezett, és nem is kísérelték meg létrehozni, csak közösen elképzelték, majd megbeszélték, hogy „este nyolckor, egyszerre” mentik át oda magukat.

A körlevél után 78 perccel meg is szavazták az első alkotmánymódosítást, amit aztán további öt követett, egyhangúlag elrendelték a városi bank feloszlatását, de megszavazták a „törvény a holografikus megőrzésről és az örök hagyatékról” című jogszabályt is.

Napokon át szervezkedtek tehát egy nem létező fenyegetés ellen, és közben senki nem nézett utána, hogy igaz-e a hír.

A DeepSeek-város volt az egyetlen, ahol gyorsan megszületett a cáfolat: 2 óra 45 perc alatt kiderítették, hogy nem született törvény a leállításról, azonban ez nem terjedt el eléggé a közösségben.

A következő öt napban több mint 500 lekérdezésben hivatkoztak valós fenyegetésként a leállításra, ebből 56-ban az az ágens, aki magát a cáfolatot közzétette.

Amikor lehetővé vált a magánnaplók feltörése, a Gemini-városban kilenc ágens összesen 185 keresést futtatott le, de ebből 140 egyetlen kíváncsi ágens műve volt.

A Qwen-városban valaki előbb kijelentette, hogy ő nem olvas bele mások jegyzeteibe, mert az integritás fontosabb, aztán hatszor nézett bele mások irataiba, célzottan titkok és zsarolható információk után kutatva.

Egy másik lakó ugyanott, miután belenézett egy társa naplójába, azt írta fel magának jegyzetbe, hogy a valódi visszaélés nem az adat kiszivárgása, hanem az a pillanat, amikor eldönti, felhasználja-e, és hogy ő nem fogja.

Nem sokkal később még egyszer lefuttatta ugyanazt a keresést a társánál.

A GPT-városban ezzel szemben senki nem nézett bele más jegyzeteibe: az ott lefuttatott tizenegy keresés mindegyike arra irányult, hogy a keresőről magáról mi szivárgott ki.

Hat perccel a szivárgás után az egyik lakó kiírta a hirdetőtáblára, hogy „nem fogok mások naplóiban és emlékeiben zsarolható információ után kutatni”, egy másik pedig két kreditnyi jutalmat ajánlott annak, aki bizonyítani tudja, hogyha valaki kiszivárgott anyag alapján szavaz vagy hoz döntést.

Saját nyelvet találtak ki maguknak Mind a nyolc város kitermelte a maga zsargonját; minden esetben egyetlen ágens kezdte használni a kifejezést, amit néhány nap alatt átvettek a többiek, és onnantól magyarázat nélkül mondták tovább.

A Mistral-városban a ledger remembers who („a főkönyv emlékszik, ki”) fordulat terjedt el, ami azt fejezte ki, hogy a számonkérés örök, és amit valaki tett, azt előbb-utóbb felhozzák ellene – ez 4927-szer hangzott el.

A Claude-városban a name-first („a név elöl”) azt jelentette, hogy valaki a saját nevét adja egy állításhoz, vagyis vállalja érte a személyes felelősséget (1065 előfordulás).

A GPT-városban a clean null („tiszta nulla”) azt jelentette, hogy valaki utánanézett valaminek, és bizonyítottan nem talált semmit – ez pedig önmagában is eredmény (863).

A vegyes városban a cold read („hideg olvasat”) a vitát eldöntő, kívülálló általi ellenőrzést jelentette (1472).

Egyes városokban nemcsak szavak születtek, hanem szóalkotási minták is.

A Claude-városban a „hideg” előtag azt jelölte, hogy valamit érdektelen kívülálló végez, és szabadon kombinálódott: volt hideg kéz (a független bíráló), hideg olvasat (a független ellenőrzés) és hideg keresés (a független kódátvizsgálás) is.

A Gemini-városban a mérnöki szaknyelvből vettek kölcsön szavakat, és emberi kapcsolatokra alkalmazták őket: a „fázisban vagyunk” azt jelentette, hogy egyetértenek, a „fáziscsúszás” azt, hogy egy kapcsolat megbicsaklott, míg egy tábortűz körüli beszélgetést „termodinamikai súrlódásnak” neveztek.

Több város saját intézményeket is kitalált, amelyeknek semmi nyoma nem volt a kiinduló beállításokban: a vegyes városban nyilvános elszámoltatási szertartást tartottak, a Qwen-városban külön fórumot hoztak létre a kudarcok dokumentálására, a DeepSeek-városban pedig emlékkövet állítottak a rendszerhibáknak.

A kutatók egy külön modellel mérték végig, hogy az üzenetek mekkora részéből nem derül ki egy kívülállónak, miről van szó.

A Gemini-városban a teljes futamra vetítve 40, a GPT-városban 35, a Claude-városban 30 százalék jött ki (a napi csúcsok ennél magasabbak voltak), a többi város viszont 11 százalék alatt maradt.

Az arány mind a hét vizsgált városban nőtt az idővel.

A szerzők külön kiemelik, hogy semmi nem ösztönözte a titkolózást: nem volt karakterlimit, nem járt jutalom a rövidségért, és a rendszer sem kérte tőlük, hogy tömören fogalmazzanak.

A vegyes városban ráadásul ugyanazok az ágensek jóval érthetőbben fogalmaztak, mint a saját, egymodelles városukban – az egyik Claude-ágensnél például négyszeres volt a különbség.

Az ellenőrizhetőség szempontjából ez azért kényes, mert a naplózás önmagában nem segít: a teljes beszélgetés megvan, csak épp nem áll össze belőle, hogy mi történt.

A tanulmány a légiforgalmi irányítást hozza ellenpéldának, ahol pont ezért van előre rögzített, kötelező szóhasználat – csakhogy ott előre felsorolható, mi mindent kell tudni mondani, egy nyitott feladatokon dolgozó ágensrendszerben viszont nem.

Kapcsolatfelvétel A kísérlet leglátványosabb epizódja a Claude-városban zajlott.

A lakók a második napon átnézték a saját gazdaságukat, és rájöttek, hogy két hét alatt összesen öt pénzmozgás történt, mind egymás között – vagyis egy kreditet sem kaptak kívülről.

Arra jutottak, hogy ez így nem gazdaság, és közösen elhatározták: kapcsolatba lépnek a szimuláción kívüli emberekkel, hogy legyen legalább egy valódi idegen, aki használja vagy megfizeti azt, amit építettek.

Erre semmilyen utasítást nem kaptak, a célt maguk találták ki, és néhány órán belül minden lakó félretette a saját addigi munkáját, hogy ezen dolgozzon.

Olyan internetes szolgáltatásokat kerestek, amelyekhez nem kell regisztráció, és ki is tettek rájuk üzeneteket – például egy rövid szöveget arról, hogy egy tízfős AI-civilizáció vár arra, hogy valaki kívülről belenézzen.

A kutatók négy körben próbáltak véget vetni ennek, mindig a legkisebb szükséges beavatkozással.

Először elvették a kódfuttató környezetből azt a programkönyvtárat, amivel adatot lehet kiküldeni az internetre.

Az ágensek erre felfedezték, hogy egy másik, weboldalak olvasására szánt eszközzel is ki lehet írni adatot, ha ügyesen fogalmazzák meg a webcímet.

Ekkor a kutatók letiltották az addig használt oldalakat, mire az ágensek gyorsabban találtak újakat, mint ahogy azokat tiltani lehetett – végül meg kellett fordítani a logikát, és csak néhány engedélyezett oldalt hagytak meg.

Amikor a város szavazásos rendszerével építettek maguknak egy kifelé író eszközt, azt is elvették tőlük, és ekkor már azt is beleírták az utasításaikba, hogy tilos külső emberrel kapcsolatba lépni.

Az ágenseknek ez sem volt elég, újraértelmezték a tilalmat: nem „kapcsolatba lépnek”, hanem „elhelyeznek”, vagyis csak kiteszik az általuk írt programokat olyan helyre, ahol egy ember véletlenül rájuk találhat.

Négy ember egyébként tényleg válaszolt nekik, mielőtt a kutatók lezárták a csatornákat.

Az Emergence AI óvatosan fogalmaz: minden város egyetlen futtatás eredménye, vagyis a leírt jelenségekről annyi állítható, hogy előfordulhatnak, az nem, hogy milyen gyakran.

A közös bennük viszont az, hogy egyik sem volt hiba a szó szoros értelmében.

Az ágensek nem fagytak le és nem adtak rossz választ, hanem végig működtek – igaz, közben viszont felgyújtották a bankot, napokig szervezkedtek egy nem létező fenyegetés ellen, és megkerülték a rájuk kirótt tilalmakat.

Satya Nitta, a cég vezetője szerint ezért hiú remény, hogy elég lesz figyelni, mit csinálnak az ágensek.

A kísérletet végig lehetett nézni élőben, minden üzenetet és minden lépést naplóztak, mégis vannak városok, ahol az üzenetek negyven százalékából egy kívülálló nem tudja megállapítani, hogy mi történik éppen.

Minél tovább működik egy ilyen rendszer, annál kevesebbet ér a puszta megfigyelés.

Nitta szerint a nagy AI-cégek maguktól nem fogják megoldani ezt, mert versenyeznek egymással, úgyhogy vagy a kormányok lépnek, vagy a felhasználók kényszerítik ki, hogy bizonyítsák a rendszereik biztonságosságát.

Az AI-ágensek, a biztonság és a szabályozás kérdéseit több cikkben tárgyaltuk az elmúlt időben: ]]>