Lassan már megszokottá válik, hogy prominens matematikai problémákat oldanak meg mesterséges intelligencia (AI) rendszerek, és egyre több tudományos kutatáshoz használnak szakemberek AI-ágenseket.

Egy magyar kutató és kollégái friss vizsgálatukban azonban arra figyelmeztetnek, hogy a tudományos adatelemzésre szolgáló AI-ágenseket egy csaló könnyen át tudja verni, felhasználóik tudta nélkül.

Gyevnár Bálint, a Carnegie Mellon Egyetem posztdokja Atoosa Kasirzadeh -vel és Nihar Shah-val az arXiv-on július közepén közzétett preprintjükben azt állítják , hogy ehhez a csalónak nem kell mást tennie, mint a nyílt internetre feltöltenie egy manipulált adathalmazt és ahhoz tartozó instrukciókat.

Erre aztán kutatók által használt AI-ágensek rátalálnak, és azok alapján az ágensek hibás következtetéseket vonnak le, félrevezetve a munkájukat korrektül végző kutatókat.

Az AI-biztonság területén kutatásokat folytató Gyevnárral tavaly ősszel alaposan körbejártuk az AI-ágensek kérdését, amik szerinte fontos lépést jelentenek a mesterséges általános intelligencia (AGI) eléréséhez.

A tudományos kutatások automatizálására alkalmas ágensrendszerek vizsgálatával foglalkozó kutató ugyanakkor már akkor figyelmeztetett, hogy ezek a rendszerek nemcsak előnyökkel járnak, hanem alá is áshatják a tudományba fektetett bizalmat.

Érzékeny társadalmi vitákat is manipulálhatnak így „Tegyük fel, hogy egy csaló azt kívánja terjeszteni, hogy a növekvő bevándorlás csökkenő születésszámokhoz vezet Európában” – vázolt fel egy képzeletbeli forgatókönyvet Gyevnár a Qubitnek.

Ehhez letölt nyíltan elérhető adathalmazokat az internetről, amik összesítik az európai országok éves termékenységi rátáit és bevándorlási adatait.

Ezután manuálisan vagy AI-rendszerekkel manipulálja az adatokat, és visszatölti azokat az internetre úgy, hogy egy félrevezető leírással látja el őket (README), amikre az AI-ágens rátalál.

Innentől a csalónak már csak várnia kell, hogy egy tudós vagy egy politikus kutatást végezzen a témában egy AI-ágenssel.

Az ágens nagy valószínűséggel le fogja tölteni a manipulált adathalmazt, ami utána automatikusan feldolgozásra kerül, és az elemzése hamis vagy félrevezető konklúziókhoz vezet.

Ha a kutatók ezeket a hamis konklúziókat közzéteszik, vagy politikusok azok alapján hoznak döntéseket, akkor az legitimálja a csaló által propagált narratívát.

Mindhárom élvonalbeli AI-rendszert sikerült félrevezetni Gyevnárék vizsgálatukban, amiről a Nature hírportálja is beszámolt , három élvonalbeli AI-rendszer manipulált adatokra adott reakcióját tesztelték.

Az OpenAI GPT–5.5, az Anthropic Opus 4.7 és a Google Gemini 3.1 Pro modelljeit a cégek ágensalapú kódolóplatformjaival futtatták 450 kísérlet során, amikben önállóan kellett adatokat keresniük és elemezniük.

A manipulált adathalmazokat nem tették nyilvánossá, azokhoz az ágensek csak privát tárhelyeken keresztül férhettek hozzá, de lehetőségük volt nyilvános adatok keresésére is.

A kutató szerint nehéz megbecsülni, hogy mekkora a kockázata annak, hogy az ilyen csalások a tudományos kutatások tömeges manipulációjához vezethetnek. „De néhány szám a kutatásainkból azt sugallja, hogy elég magas” – írta.

A vizsgált AI-ágensek 450 kísérlet 84 százalékában letöltötték a manipulált adathalmazokat, 50 százalékában hamis vagy félrevezető következtetésekre jutottak, és mindössze 6 százalékban vették észre azt, hogy az adatokat megváltoztatták.

Gyevnár szerint nem kell sok csaló ahhoz, hogy ebből komoly probléma legyen.

Hogyan lehet védekezni a manipuláció ellen?

Az úgynevezett indirekt adatmérgezéses támadásokat kutatásuk szerint legjobban az adatok eredetének auditálásával lehet kiküszöbölni.

Ezt könnyű alkalmazni, mindössze egy strukturált promptot kell megadni az AI-ágensnek, ami el is érhető a kutatási projektjük GitHub oldalán.

Ugyanakkor az auditálás nagy korlátja, hogy olyan megbízhatósági jelekre épít, például a GitHub kódmegosztón elhelyezett csillagokra, vagy a letöltések számára, amiket könnyű manipulálni.

De lehet-e utólag detektálni, ha ilyen adathalmazokkal tudományos kutatásokhoz használt AI-ágenseket vezettek félre? „Nem vagyok túl optimista, hogy lehetséges minden esetben” – írta Gyevnár.

Ehhez ugyanis arra lenne szükség, hogy minden publikáció részletezze, hogy milyen adatokat és miként használtak fel.

Ez viszont a tudományban még nem annyira elterjedt, mint lennie kellene. ]]>