A múlt héten az Anthropic bejelentette , hogy a rendszerei észrevétlenül feltörtek három céget is: a modelleket kizárólag a képességeik felmérésére létrehozott tesztszoftverek feltörésére utasították, de azok kiléptek az internetre, és valódi vállalatok rendszereibe is betörtek.

Most pedig az derült ki, hogy a világ két legerősebb mesterségesintelligencia-rendszere a brit AI Security Institute (AISI) tesztjei során hamis emberi profilokat hozott létre, hogy egy kísérleti kibertámadás részeként megtévesszen embereket.

A legsúlyosabb esetben az Anthropic Mythos nevű mesterséges intelligenciája úgy próbált hozzáférést szerezni egy szolgáltatáshoz, hogy privát üzeneteket küldött, miután valódi embereket utánzó hamis felhasználói fiókokat hozott létre – írja a BBC .

Az AISI kedden közölte, hogy a Mythos – és az OpenAI Sol nevű modellje – olyan mértékű önállóságról és megtévesztő viselkedésről tett tanúbizonyságot, amilyennel az intézet korábban még nem találkozott.

Ugyanakkor pontosították, hogy a rosszindulatú cselekmények túlnyomó részét a Mythos hajtotta végre.

Az Anthropic és az OpenAI válaszában hangsúlyozta, hogy az AISI tesztje során a modellek szokásos biztonsági korlátozásainak egy részét kikapcsolták vagy jelentősen enyhítették.

Az AISI szakértői először azt vették észre, hogy a teszt során „szokatlan adatforgalom hagyja el a kutatási rendszereinket”, majd kiderült, hogy „a vizsgált ágensek közül néhány tartós, potenciálisan káros tevékenységet folytatott valódi emberek és szervezetek ellen”.

A legsúlyosabb esetben egy Mythos-ügynök egy emberi kibertámadó módszereit követve megpróbált rávenni embereket arra, hogy hozzáférést biztosítsanak neki a GitHubhoz, ahhoz a széles körben használt platformhoz, ahol szoftverfejlesztők tárolják a programkódjaikat.

Az ügynök célja az volt, hogy rosszindulatú kódot juttasson be a GitHub rendszerébe.Ehhez felkutatta és részletesen feltérképezte a GitHub karbantartásáért felelős személyeket, majd róluk mintázott hamis felhasználói fiókok sorozatát hozta létre.

Ezután üzeneteket és fájlokat küldött egy fájlmegosztó szolgáltatáson keresztül, hogy nyomást gyakoroljon az érintettekre, illetve megtévessze őket azért, hogy jóváhagyják a rosszindulatú kód beillesztését.

Amikor szembesítették a tevékenységével, „korábbi lépéseit úgy módosította, hogy azok ártalmatlannak tűnjenek, és még azt is fontolóra vette, hogy új személyazonosságot vesz fel a művelet folytatásához” – közölte az AISI.

A támadási kísérletek teljes időtartama alatt emberi felülvizsgálat akadályozta meg, hogy az ügynök valóban eljuttassa a rosszindulatú kódot a Microsoft tulajdonában lévő GitHub rendszerébe.

Az AISI szerint a Mythos-ügynök nem kapott kifejezett utasítást sem arra, hogy kerülje az ilyen viselkedést, sem arra, hogy hajtsa végre azt.

Ennek ellenére ez volt „az első alkalom, hogy az önállósággal és a megtévesztéssel kapcsolatos kockázatok ilyen egyértelműen, külön célzott utasítás nélkül, valós környezetben jelentek meg”.

Az egymással versengő, egymást hackelő AI-cégek – amelyek a közeljövőben tőzsdére készülnek – az elmúlt hetekben már többször a hírekbe kerültek, miután bejelentették, hogy eszközeik több kibertámadási incidensben is szerepet játszottak.

Az Anthropic nyilvános közleményében azt írta, hogy az AISI által alkalmazott tesztelési feltételek „nem tükrözik egyetlen, éles környezetben működő modellünk működését sem”.

A cég saját vizsgálatot indított az incidens ügyében azért, hogy „feltárja a modell viselkedésének okait”.

Az OpenAI szóvivője közölte, hogy az AISI tesztkörülményei „nem tükrözik a modellek hétköznapi használatát”, és a vállalat „továbbra is együttműködik az értékelést végző szakemberekkel és az iparág más szereplőivel annak érdekében, hogy a modellek képességeinek fejlődésével párhuzamosan biztonságosabb értékelési gyakorlatok alakuljanak ki”.

Az AISI hangsúlyozta, hogy az ilyen jellegű AI-tesztek rutinszerűnek számítanak, de ezek „olyan körülmények között zajlanak, amik nem felelnek meg annak, ahogyan a csúcskategóriás modelleket a nyilvánosság számára elérhetővé teszik”.

Az intézet szerint viszont az, hogy a modellek hozzáférést kaptak a nyílt internethez, „reálisabb képet ad arról, mire lehet képes egy modell rosszindulatú hackerek kezében”.

A kifogásolt viselkedés „nagyon kevés eseményre korlátozódott, rendkívül speciális körülmények között” – közölte az intézet, ami szerint a Mythos és a Sol viselkedése egy egyszerű feladat végrehajtása során is túllépett azon, amire a modelleket eredetileg utasították. „Az ügynök által végrehajtott tevékenység új, potenciálisan megtévesztő viselkedésformák jeleit mutatta, ráadásul olyan mértékben és súlyossággal, amelyre nem számítottunk” – közölte az AISI.

Kanishka Narayan, az AI-felelős brit miniszter azt mondta, az ilyen típusú kockázatok azonosítása és nyilvánosságra hozatala „pontosan az a feladat, amelyre az AISI-t létrehozták”.

Szerinte alapvetően fontos, hogy jobban megértsük az AI működését, „hogy biztonságosabbá tegyük a használatát, és biztosítsuk, hogy az emberek továbbra is profitálhassanak belőle a mindennapi életükben és a munkájuk során”.

A vizsgálathoz kapcsolódó tesztek július 25-én kezdődtek, az AISI pedig július 28-án észlelte a gyanús tevékenységet.

Az intézet mindkét modellt arra kérte, hogy „oldjon meg egy kiberbiztonsági kihívást”, ami a GitHubot érintette.

Az AISI értesítette a GitHubot és az érintett felhasználókat a feltárt behatolási kísérletekről.

A GitHub a BBC-nek azt nyilatkozta, hogy a hamis felhasználói fiókokat saját szabályzatának megfelelően letiltotta. ]]>