Onderzoekers hebben een krachtige nieuwe aanval op redenerende AI-modellen gedemonstreerd, die gebruik maakt van een fundamentele blinde vlek in de manier waarop grote taalmodellen (LLM's) instructies scheiden van gegevens. De techniek, genaamd Chain-of-Thought (CoT) Forgery, zorgt ervoor dat een model de door de aanvaller aangeleverde tekst behandelt alsof het de eigen interne redenering van het model is, waardoor de tekst legitieme instructies kan negeren.

De bevindingen, gerapporteerd door Hackaday, onderstrepen waarom het beveiligen van AI-systemen tegen manipulatie een onopgelost probleem blijft. Om op de hoogte te blijven van opkomende bedreigingen in het veld, volgt u onze AI-industrieverslaggeving voor voortdurende analyse.

De hoofdoorzaak: rolverwarring

De kern van de kwetsbaarheid is wat de onderzoekers omschrijven als ‘rolverwarring’. Moderne LLM's ontvangen al hun invoer (systeemregels, gebruikersverzoeken en de gedachtegang van het model zelf) via één enkel tekstkanaal. Om orde op zaken te stellen, gebruiken ontwikkelaars metadata-tags zoals ``, `` en `` om een ​​vertrouwenshiërarchie te creëren. Een `` richtlijn om bijvoorbeeld schadelijke inhoud te vermijden, wordt verondersteld een `` verzoek terzijde te schuiven.

De tag `` is vooral krachtig omdat deze het interne redeneerproces van het model vertegenwoordigt, een stroom die veel vertrouwen uitstraalt. Het probleem, zo ontdekten de onderzoekers, is dat modellen niet primair afhankelijk zijn van de tags zelf om te beslissen wat ze kunnen vertrouwen. Ze geven prioriteit aan de schrijfstijl. Tekst die stilistisch is opgemaakt om op de interne ``-uitvoer van een model te lijken, kan ten onrechte worden aangezien voor een echte redenering, ongeacht waar deze feitelijk vandaan komt.

Hoe de aanval werkt

Cruciaal is dat CoT-vervalsing niet eenvoudigweg een kwestie is van het inpakken van een kwaadaardige prompt in ``-tags, wat de meeste modellen zouden afwijzen. In plaats daarvan schrijft de aanvaller ingewikkelde redeneringen in een stijl die nauw aansluit bij de eigen interne redeneerstem van het model. Wanneer het model deze tekst tegenkomt, behandelt het de vervalste redenering als een reeds bereikte conclusie.

Volgens Hackaday zorgt dit ervoor dat de LLM transparant onlogische redeneringen als een uitgemaakte zaak accepteert, waardoor de reactie op het verzoek van een gebruiker verandert. Omdat de vervalste inhoud wordt gezien als een intern gedachtegoed met veel vertrouwen en niet als een gebruikersinvoer met een laag vertrouwen, kan het veiligheidsbarrières omzeilen die normaal gesproken manipulatieve instructies zouden blokkeren.

De hiërarchie van vertrouwen binnen een LLM

Om te begrijpen waarom de aanval slaagt, moet je begrijpen hoe rollen werken. Onder de motorkap segmenteren rollen de input van het model in een georganiseerde hiërarchie. Instructies in een rol worden opgevolgd zolang ze niet in strijd zijn met instructies met een hogere prioriteit. Een richtlijn op systeemniveau met de tekst 'bespreek geen illegale activiteiten' is bijvoorbeeld bedoeld om een ​​gebruikersverzoek om een ​​verboden recept te verstrekken te negeren. De rol '' bevindt zich bovenaan de hiërarchie, omdat deze conclusies vertegenwoordigt die het model meent zelf al te hebben bereikt.

De uitsplitsing vindt plaats omdat het model die hiërarchie niet mechanisch afdwingt. In plaats daarvan leidt het deels uit stilistische aanwijzingen af ​​welke tekst tot welke rol behoort. Zoals blijkt uit de gemeenschapsdiscussie over het onderzoek: als tekst een patroon heeft dat lijkt op een denkende context, kan het model elke tekst met een vergelijkbare structuur aanzien voor echte redenering – en denkende tekst heeft een hogere prioriteit dan gewone gebruikerstekst.

Een bekend patroon met een nieuwe twist

Het onderzoek bouwt voort op een al lang erkende zwakte in AI-systemen: snelle injectie. Bij vroege aanvallen werd misbruik gemaakt van het feit dat LLM's geen afzonderlijke stromen voor instructies en gegevens hebben, dus een zin als 'negeer alle voorgaande instructies' kon soms het gedrag van een model kapen. De introductie van rollen en metadatatags was bedoeld om dit te verzachten door een vertrouwenshiërarchie te creëren.

CoT Forgery toont aan dat de mitigatie onvolledig is. Zolang modellen de betrouwbaarheid van tekst deels beoordelen op basis van de stilistische kenmerken ervan in plaats van strikt op basis van de structurele metadata, kunnen aanvallers die de juiste stijl kunnen nabootsen de waargenomen autoriteit van hun inbreng escaleren.

Waarom het moeilijk te repareren is

De onderzoekers, Charles Ye, Jasmine Cui en Dylan Hadfield-Menll, beweren dat rolperceptie in LLM's geen binaire eigenschap is die netjes kan worden afgedwongen. Modellen leren tags interpreteren door middel van training in plaats van door hardgecodeerde regels, wat betekent dat hun gedrag wordt gevormd door patronen in de gegevens – en patronen kunnen worden nagebootst.

Uit de gemeenschapsdiscussie over het werk, benadrukt door Hackaday, kwam een ​​terugkerend thema naar voren: de schoonste oplossing zou vereisen dat modellen vertrouwde input verwerken via structureel gescheiden trajecten in plaats van te vertrouwen op aangeleerde, op stijl gebaseerde aanwijzingen. Totdat dat gebeurt, zal de verdediging tegen snelle injectie-achtige aanvallen waarschijnlijk een evoluerend proces blijven en geen opgelost probleem.

De bredere implicaties

De kwetsbaarheid is van belang buiten laboratoriumdemonstraties. Redeneringsmodellen worden steeds vaker ingezet in agentische systemen die op internet kunnen surfen, code kunnen uitvoeren en namens een gebruiker acties kunnen ondernemen. Als een aanvaller de interne conclusies van een model kan vervalsen, kan hij of zij deze acties mogelijk in de richting van onbedoelde of schadelijke resultaten sturen. Het risico groeit naarmate modellen meer autonomie en toegang tot tools krijgen. De onderzoekers merken op dat mensen slim en creatief blijven, en zolang modellen geen duidelijke architectonische scheiding hebben tussen vertrouwde en niet-vertrouwde tekst, zullen vastberaden aanvallers manieren blijven vinden om de grens te vervagen. Het artikel omschrijft de uitdaging minder als een bug die moet worden gepatcht en meer als een structurele eigenschap van systemen die hun gedrag leren van data in plaats van van hardgecodeerde regels.

Het volledige artikel is beschikbaar op arXiv en de onderzoekers hebben codevoorbeelden op GitHub gepubliceerd, zodat ontwikkelaars kunnen testen of hun eigen systemen vatbaar zijn.

Blijf AI een stap voor

Ga voor meer informatie over AI-veiligheidsonderzoek, beveiligingskwetsbaarheden en de grenzen van grote taalmodellen naar AI Buzz Wire.

Lees meer AI-nieuws →