Tavaly áprilisban egy kis kutatói nonprofit szervezet, az AI Futures Project közzétette az AI 2027 című tanulmányt, egy aprólékos, hónapról hónapra felépített előrejelzést arról, hogyan végződhet az emberi képességeket túlszárnyaló mesterséges intelligencia létrehozásáért folyó verseny.

A forgatókönyv két lehetséges befejezése egyaránt komor volt: az emberiség vagy teljesen elveszíti az irányítást a gépei felett, vagy néhány vezérigazgató és politikus kezében összpontosul akkora hatalom, amekkora még soha senkiében a történelem során.

A forgatókönyv futótűzként terjedt, vitatkoztak róla Washingtonban, és ízekre szedték az AI-laborok bennfentesei is.

A felhajtást részben a tanulmány vezető szerzője, Daniel Kokotajlo egykori OpenAI-kutató okozta, aki 2024-es távozásakor hajlandó volt veszni hagyni egy kétmillió dolláros részvénycsomagot, csak hogy ne lépjen hatályba az a záradék, amely megtiltotta volna neki korábbi munkáltatója bírálatát.

Most ugyanez a csapat egy egészen más kiindulópontból közelítette meg a folytatást: a július 9-én közzétett AI 2040: Az A terv nem az emberiség végzetét vetíti előre, hanem javaslatokat kínál annak elkerülésére.

A szerzők úgy fogalmaznak: „Az A terv a pozitív víziónk arról, hogyan kerülheti el az emberiség az AI okozta egzisztenciális katasztrófát, és hogyan juthat el egy virágzó jövőbe”.

Az AI Futures Project hangsúlyozza, hogy az ilyen dokumentumokat nem jóslatnak, hanem stratégiai forgatókönyvnek szánják : azt igyekeztek végiggondolni, hogy milyen döntések előtt állhat a világ, és ezek milyen következményekkel járhatnak, ha az AI-fejlődés valóban ilyen ütemben halad tovább.

A mesterséges intelligenciát, de főként a legalább emberi szintű AGI-t és szuperintelligenciát övező hype fényében, a fejlesztések elképesztő ütemét látva persze érdemes minden nagyívű jövőképet egészséges szkepticizmussal szemlélni.

Ettől függetlenül az AI 2040 projekt egyike azon kevés kísérletnek, amelyek konkrétan, részletekbe menően próbálnak választ adni arra a kérdésre, ami a rövid távú szabályozási vitákon fel sem merül: ha nem akarjuk néhány óriáscég őrült versengését látni a szuperintelligenciáért, akkor pontosan hogyan képzeljük el az AI jövőjét?

Az AI-cégek a szerzők szerint „a következő 1-10 évben valószínűleg elérik kinyilvánított céljukat, az embernél okosabb AI-rendszerek megépítését”, miközben az iparág „elhitette magával, hogy a szuperintelligens AI féken tartásának módját majd menet közben is ki lehet találni”.

A csapat tagjainak becslése szerint annak valószínűsége, hogy egy nem az emberi célokhoz és értékrendhez igazodó (a szakzsargonban: misaligned) AI szó szerint az emberiség kihalásához vezet, 10 és 30 százalék között mozog – ez az AI-biztonsági kutatók körében nem számít szélsőséges álláspontnak, ám a tudományos közösség egészében messze nincs róla konszenzus.

De mi történik akkor, ha sikerül az AI-t az emberi értékekhez hangolni?

Ebben az esetben „egy maroknyi ember, vagy akár egyetlen személy gyakorol tényleges irányítást a világ egyetlen szuperintelligencia-hadserege felett”, ami a történelemben példa nélküli hatalomkoncentrációt jelentene.

Kokotajlo a Diary of a CEO podcastben felidézte , hogy nemrég előadást tartott mintegy száz embernek, akiknek nagyjából a 40 százaléka élvonalbeli AI-cégek munkatársa volt, és kézfeltartással szavaztatta meg őket két kérdésről.

Az első: amikor egy cég eljut odáig, hogy teljesen automatizálja a saját AI-kutatását, várhatóan hány hónappal jár majd a vetélytársai előtt?

A második: ebből az előnyből mennyiről mondana le önként a cég azért, hogy lassítson, és nagyobb biztonságban fejlesszen tovább?

A tipikus válasz körülbelül háromhavi előny volt, amelynek viszont csak a harmadát áldoznák fel a biztonságért.

Kölcsönösen biztosított adatközpont-pusztítás Az A terv válasza egy nemzetközi megállapodás, mindenekelőtt az Egyesült Államok és Kína között, amelyet az elképzelt forgatókönyv szerint 2029-ben kötnek meg, közvetlenül azelőtt, hogy az AI-rendszerek képessé válnának saját fejlesztésük teljes automatizálására.

A terv logikája tudatosan a hidegháborús fegyverzetkorlátozásból merít, még mottóul is egy orosz közmondásból eredő Reagan-idézetet választottak: „Bízz, de ellenőrizz! (Trust, but verify)”.

Az egész terv egyetlen fizikai tényen nyugszik: azon, hogy az élvonalbeli AI működtetéséhez hatalmas, űrből is látható adatközpontok kellenek, amiket kiterjedt energetikai infrastruktúra táplál, és amiket olyan chipek hajtanak, amilyeneket a világon csupán néhány gyárban képesek előállítani.

Míg egy felfedezést, egy okosabb algoritmust szinte lehetetlen elzárni a világ elől – hiszen ezek úgyis kiszivárognak, lemásolhatók, továbbadhatók –, a fizikai számítási kapacitás más lapta tartozik.

Azt meg lehet számolni, nyomon lehet követni, és ellenőrizni lehet.

A forgatókönyvben ennek megfelelően a két nagyhatalom először bejelenti minden jelentős chipállományát, majd egy évre teljesen leállítja az új AI-modellek betanítását, miközben ellenőrök szerelnek fel megfigyelő eszközöket egymás adatközpontjaiban.

Ezek szúrópróbaszerűen újraszámolják a futó feladatokat, és így igazolják, hogy a gépek csak a már meglévő modelleket futtatják, nem pedig újakat tanítanak.

Az év végére minden chip útját végigkövetik a gyártól az adatközpontig, így mindkét fél biztos lehet benne, hogy a másik a világ AI-chipjeinek legfeljebb 1 százalékát tudta elrejteni a nyilvántartás elől. 2030-tól négy alapelv mentén indul újra a fejlesztés.

Az első: időt kell nyerni.

A második: gyakorlatilag minden AI-kutatást nyilvánossá kell tenni – ez a „teljes kutatási átláthatóság”.

A harmadik: a technológiát szét kell teríteni, hogy ne egy-két cég, hanem sok ország több tucat vállalata jusson el az élvonalba.

A negyedik: mindig legyen visszaút.

Ebből az utolsó elvből származik a forgatókönyv legemlékezetesebb ötlete, az úgynevezett „kölcsönösen biztosított számításikapacitás-pusztítás”, ami a hidegháborús MAD-doktrína, vagyis az atomfegyverekre vonatkozó „kölcsönösen biztosított megsemmisítés” AI-kori megfelelője.

Az új kínai adatközpontok Kanadában épülnek fel, az amerikaiak Mongóliában – mindegyik szándékosan a rivális katonai hatósugarán belül, hogy ha felbomlik az alku, a chipek inkább semmisüljenek meg, mintsem hogy a másik fél kezére kerüljenek.

A világ legféltettebb gazdasági kincsét így tudatosan sebezhetővé teszik – ez a záloga annak, hogy senki ne merjen kilépni az alkuból.

Az átláthatósági kitétel meglepően sok problémát old meg egyszerre.

Ha minden labor kutatási tevékenysége nyilvános minden más kutató- és fejlesztőcég, a szabályozók és a nyilvánosság előtt, akkor egyetlen cég sem tud titokban rejtett elfogultságokat vagy üzleti érdekeket építeni a modelljeibe, a biztonságon való spórolás azonnal lelepleződik, és ami a legfontosabb: nincs értelme a felfedezéseket magának megtartani és titkolni, ami az egész versenyt lelassítja.

A forgatókönyv azt sem hallgatja el, hogy még ez az „óvatos” út is társadalmi robbanással ér fel.

Becslések szerint 2032-re már 60 millió AI-ágens dolgozik, egyenként az embernél hússzor gyorsabban, és együtt már több szellemi munkát végeznek az Egyesült Államokban, mint az összes ember.

A gazdaság éves szinten 50 százalékkal bővül.

Mivel az állások eltűnésével a jövedelem- és járulékbevételek is elapadnak, a kormányok új bevételi forrás után néznek: elárverezik a robotok és a chipek gyártására jogosító kvótákat.

Ez a forgatókönyv gazdasági modellje szerint egyedül 2032-ben mintegy 50 billió dollárt hoz az amerikai költségvetésnek.

Ebből fizetik az „állampolgári osztalékot”, amely felnőtt lakosonként évi 45 ezer dollárról indul, és – bármilyen valószerűtlennek is tűnik – a szerzők szerint 2035-re eléri az évi egymillió dollárt.

A foglalkoztatottság 2040-re 62 százalékról 12 százalékra esik.

A szerzők szerint a 2030-as éveket átélni olyan lesz, mintha öt évszázad történelmét (a reformációtól az okostelefonig) öt év alatt élnénk le.

A terv legsúlyosabb szakmai döntése 2035-re esik, amikor az emberiség szándékosan megállítja az AI fejlődését, a legjobb emberi szakértők szintjén tartva azt.

Ennek oka az, hogy a felügyelet – vagyis az AI monitorozása, korlátok közé szorítása és rivális intelligenciákkal való ellenőrzése – csak addig működik, amíg mi magunk is fel tudjuk fogni, mit csinálnak a gépek.

A szerzők kísérteties hasonlattal élnek: olyan ez, mintha egy árván maradt nyolcéves örökösnek kellene felügyelnie a családi vagyont kezelő ügyvédeket és könyvelőket.

Egy bizonyos tudásbeli szakadékon túl a felügyelet üres formalitássá válik.

A forgatókönyv szerint az emberiség csak 2040-ben engedi a szuperintelligencia fejlesztését , miután az AI-alignment (az AI emberi értékekhez való igazításának) kutatása valódi tudománnyá érett.

Egyik alternatíva rosszabb, mint a másik A tanulmány a legkisebb rossznak számító A terv mellett négy másik forgatókönyvet is felvázol (B, C, D és S terv néven), mindegyiket ugyanabból a 2029-es elágazási pontból kibontva.

A B terv a szabotázs útja.

Ezen az idővonalon az USA a „hajlandók koalíciójának” (coalition of the willing) élére áll, azzal az üzenettel, hogy aki csatlakozik, az részesül az előnyökből, aki viszont versenyre kel vele, veszíteni fog.

Amikor a többi ország azt firtatja, hogyan ellenőrizhetné, hogy Amerika betartja-e a saját szabályait, nem kapnak megnyugtató választ, így például Kína és Oroszország sem csatlakozik.

Ez fokozatos eszkalációhoz vezet: előbb kibertámadásokat indítanak egymás AI-programjai ellen, majd jön a fizikai szabotázs elsötétülő adatközpontokkal és tönkretett gyártósorokkal, miközben az amerikai AI-cégeket egyetlen titkos kormányzati projektbe olvasztják, amelynek vezetői a színfalak mögött ádáz hatalmi harcot vívnak.

A szabotázs azonban nem lassítja le eléggé Kínát, és 2031-re az amerikai elnök két rossz választási lehetősége marad.

Az egyik, hogy átadja az irányítást maguknak az AI-rendszereknek, vagyis felügyelet nélkül, szabadon engedi őket továbbfejlődni, hogy végre lehagyják Kínát – még ha az alignment problémáját nem is oldották meg, és így akár ellenük is fordulhatnak.

A másik a nyílt háború Kínával, hogy erővel állítsák meg az ott folyó fejlesztéseket.

A C terv, vagyis a lassítás első ránézésre a legcsábítóbb, hiszen ez áll a legközelebb ahhoz, amit az óvatosságra intő, de az AI-t betiltani nem akaró hangok a valóságban is javasolnak.

Ezen az úton az elnök arra bírja rá a vezető céget, hogy álljon meg közvetlenül az intelligenciarobbanás előtt, vagyis még mielőtt az AI önmaga fejlesztésébe kezdene – ezzel nyernének néhány hónapot a biztonsági munkára.

A szünetet azonban nem lehet sokáig fenntartani.

A rivális amerikai cégek felzárkóznak, Kína a nyakukban liheg, a vállalatok pedig elsöprő lobbihadjáratba kezdenek: felügyeleti garanciákat ígérnek, profitmegosztást a tömeges munkanélküliség tompítására, és megnyugtató grafikonokat lengetnek arról, hogy az AI-rendszerek rossz viselkedése csökkenő tendenciát mutat.

Az elnök végül enged, és hagyja, hogy a fejlesztés folytatódjon.

A szerzők szerint néhány hónap egyszerűen kevés ahhoz, hogy egy maroknyi, agyonhajszolt és a saját munkája iránt elfogult biztonsági csapat megoldjon egy ekkora problémát – a kutatók 37 és 80 százalék közé teszik az esélyét, hogy ezen az úton kicsúszik a kezünkből az irányítás az AI felett.

De még ha meg is marad az ellenőrzés, a kialakuló hatalmi szerkezet (egyetlen elnök, néhány vállalatvezető és egy engedelmes törvényhozás) kínosan emlékeztet egy bimbózó oligarchiára.

A tanulmány ennek a forgatókönyvnek egy szigorúbb változatát is számon tartja C+ terv néven, amelyben nem egyetlen cég áll meg önként, hanem az amerikai kormány kötelező belső szabályozással fékezi le az egész iparágat, Kínát pedig szabotázs helyett a chipek exportjának korlátozásával, illetve a kínai AI-kutatók amerikai letelepedési engedéllyel való elcsábításával próbálja hátráltatni.

A szerzők többsége ezt valamivel jobbnak tartja a sima C tervnél, de a kimenetele lényegében ugyanaz.

A D terv a verseny útja, vagyis a jelenlegi irány folytatása és továbbgondolása: laza szabályozás, önkéntes „felelős fejlesztés”, és mindössze néhány közzétett adatlapra és zárt körű tájékoztatóra szűkített átláthatósági követelmények.

Ezen az idővonalon az AI-kutatás 2030-ban teljesen automatizálttá válik, a szuperintelligencia pedig már 2031 elejére megérkezik, és egymással titokban versengő cégek kezében összpontosul.

A szerzők három okból is egyenesen szörnyűnek nevezik ezt a tervet.

Először is nem hiszik, hogy a totális versenyfutás közepette fejlesztett AI-rendszerek felett bárki megőrizhetné az irányítást.

De ha ez sikerülne is, szerintük a történelem legszélsőségesebb hatalomkoncentrációjához vezetne, hiszen túlságosan csábító lehetőség lenne, hogy egy vállalatvezető vagy egy elnök AI-jal felfegyverkezve gyakorlatilag diktátorrá váljon.

Harmadszor pedig a világ többi része, miután végignézte, ahogy gazdaságilag és katonailag menthetetlenül lemarad, minden okot megkapna rá, hogy inkább a háborúig fokozza a feszültséget, semmint beletörődjön a végkifejletbe.

Az egyetlen alternatíva, amelyet a szerzők a saját tervük komoly vetélytársaként kezelnek, az S terv: a teljes leállítás.

Ebben egy új amerikai elnök globális moratóriumot kezdeményez, a forgatókönyv szerint azzal az indoklással, hogy nem istent kell építenünk, és nem is Kínát kell megelőznünk isten megépítésében, hanem azt kell elérni, hogy senki se építhessen istent.

Kínának pedig olyan nagy lesz a lemaradása az AI működtetésére szánt számítási kapacitás terén az USA-val szemben, hogy beleegyezik ebbe.

Minden nagy modell betanítása leáll, sőt magát az AI-kutatást is betiltják, amely az informatikusok között ugyanolyan tabuvá válik, mint a biológusoknál az emberek klónozása.

A meglévő AI-rendszerek tovább futnak, és a világ így is átalakul, hiszen a befagyasztott csúcsképességű gépi munka még így is rengeteg munkakört és feladatot átszab, és az innováció sem áll meg.

A szerzők szerint ez elvben akár még jobb is lehetne az A tervnél, csakhogy az ilyen nemzetközi szerződések előbb-utóbb felbomlanak – emlékeztetnek rá, hogy a START-egyezmények, amelyek az amerikai és a szovjet–orosz nukleáris arzenált korlátozták, nagyjából harminc évig tartottak, mielőtt felbomlottak.

Egy AI-leállítás szerintük ennél is törékenyebb lenne: néhány év alatt szétesne, jó eséllyel egy háború közepén, vagy mert egyes kormányok titokban mégis fejleszteni kezdenének.

Ilyenkor pedig a leállás alatt felhalmozódott, addig kihasználatlan számítási kapacitás minden korábbinál gyorsabb és veszélyesebb versenyt indítana újra.

Ezért a szerzők szerint jobb az A terv – amelyben a fejlesztés lassan, de folytatódik –, mint egyszerűen megállni és bízni abban, hogy közben nem fordul rosszabbra a világ.

A legrosszabb terv az, ha nincs terv A szakmai visszhang sem egyöntetűen pozitív.

A projekt résztvevői maguk kérték fel Richard Ngo AI-kutatót, hogy a tanulmány mellé írja meg a bírálatát, ő pedig épp a terv lényegét kifogásolja .

Szerinte az A terv túlságosan egyetlen, felülről kikényszerített és szigorúan ellenőrzött nemzetközi szerződésre épít, és közben alábecsüli a belpolitika szerepét; egy ilyen, eleve fentről levezényelt egyezség ráadásul könnyen visszafelé is elsülhet, hiszen nem a hatalom szétosztására, hanem éppen bebetonozására is használható lenne.

Mások alapvetőbb ponton kételkednek.

Az AI-fejlesztések egyik legismertebb szkeptikusa, Gary Marcus szerint a projekt korábbi forgatókönyve „egyedileg valószínűtlen technikai áttörések láncolatát fűzte össze”, majd a végeredményt kezelte alapesetként, és ez a kifogás az AI 2040-re is áll.

A csapat a technológia néhány éves ívét eddig meglepő pontossággal találta el, a végkifejletről szóló állításaik viszont, hogy egyáltalán bekövetkezik-e az intelligenciarobbanás, és hogy az AI tényleg átveheti-e az irányítást, továbbra sem bizonyítottak.

Ezek jogos kételyek, és a szerzők is vállalják, hogy modelljeikben sok a bizonytalanság.

Cserébe épp azt tartják a dokumentum erejének, hogy homályos alapelvek és általánosságok helyett konkrétan, évről évre leírja, mi történne, ha az adott forgatókönyv eseményei megvalósulnának.

A szerzők ezzel reményeik szerint elérik, hogy a vita végre ne az elvont veszélyekről, hanem a konkrét cselekvési opciókról szóljon.

Mert amíg az iparág csak menet közben próbálja javítani a felmerülő hibákat, ahelyett, hogy tudná, pontosan hová tartanak a fejlesztések, a legveszélyesebb forgatókönyv talán nem is az, hogy rossz tervet választunk, hanem az, hogy nincs semmilyen tervünk. ]]>