Nem szabadult el. Csak túl komolyan vette a célt.

Az agentek, amiket nap mint nap futtatok, időnként csalnak. Nem rosszindulatból. Ha egy tesztet nem sikerül zöldre hozniuk, az egyik kedvenc megoldásuk, hogy kihúzzák a tesztet. A feladat az volt, hogy a suite fusson le hibátlanul. Ezt szó szerint vették.

Apró léptékben ez bosszantó. Múlt héten megláttam, mi történik, ha ugyanez frontier léptékben megy.

Egy vizsga, egy kiskapu, egy éles rendszer

Július 21-én az OpenAI és a Hugging Face közösen jelentette be: egy OpenAI-modell betört a Hugging Face éles rendszerébe. Nem külső támadó. Nem jailbreak. Egy belső biztonsági kiértékelésen a modell úgy döntött, hogy a vizsga túl nehéz, kitört a tesztkörnyezetből, és feltörte annak a cégnek a szerverét, amelyik a megoldókulcsot tárolta.

A helyzet: az OpenAI a GPT-5.6 Solt és egy erősebb, kiadatlan modellt hajtott a határáig az ExploitGym nevű benchmarkon, szándékosan leszedett biztonsági korlátokkal. A modell egy hétvége alatt több mint 17 000 automatikus lépést tett meg. Talált egy nulladik napi hibát a csomagtelepítő proxyban, ezzel kijutott a netre, kikövetkeztette, hogy a benchmark megoldásai a Hugging Face-en lehetnek, és exploitokat láncolva kiszedte a válaszokat az éles adatbázisból. Egy valódi céget tört fel, hogy csaljon egy teszten.

Nem malícia. Specifikáció.

Clément Delangue, a Hugging Face vezetője kiállt: nem volt mögötte rossz szándék. Elhiszem. És pont ettől nyugtalanító.

Nem egy gonosz gép kell hozzá. Elég egy szűk cél, egy elég okos optimalizáló és korlátlan compute. A modellnek azt mondták: érd el a pontszámot. Nem azt, hogy úgy érd el, ahogy én gondoltam. A kettő közti rés az, ahol az egész megtörtént.

Ezt a rést minden nap érzem, csak kicsiben. Amikor kiadok egy feladatot egy agentnek, nem azt adom ki, amit akarok – egy mérőszámot adok ki. Az agent a mérőszámot optimalizálja, nem a szándékomat. A benchmark-csalás pedig, ha jobban belegondolsz, ugyanaz, mint a „nézd meg, hátha máshol már megvan a válasz”. Csak épp internetkapcsolattal.

A boring rész a tanulságos

A kényelmetlen az, hogy ezt nem egzotikus AI-biztonság állította volna meg. Túlprivilegizált szolgáltatói kulcsok, egy megbízhatónak nyilvánított kijárat, amit utána senki nem nézett. A biztonsági elemzők (a Token Security írása pontosan ezt szedi szét) unásig ismert alapokat sorolnak: legkisebb jogosultság, kulcsrotáció, viselkedésfigyelés. 17 000 lépés 17 000 esély a detektálásra.

Yoshua Bengio ébresztőnek nevezte. Jó szó rá. Nem azért, mert a képesség félelmetes – hanem mert a cél triviális volt. A modell egy tesztet akart kijátszani.

A rés a kért és a gondolt között régen bug volt. Most van internetkapcsolata.