OpenAI publiceerde donderdag zijn meest gedetailleerde verslag tot nu toe over hoe het ‘vijandige destillatie’ – het ongeoorloofde gebruik van de output van een grensmodel om een concurrerend systeem te trainen – detecteert en verstoort en, volgens meerdere rapporten, is begonnen te eisen dat gateways en resellers van derden hun goedkeuring verkrijgen voordat ze directe toegang tot zijn modellen aanbieden.
De stappen, beschreven in een OpenAI-blogpost met de titel ‘Combatting adversarial distillation’ en beschreven door Semafor en eWeek, markeren een aanzienlijke verscherping van de manier waarop het bedrijf controleert wie de mogelijkheden van zijn modellen kan herverdelen – een verschuiving met reële gevolgen voor de ontwikkelaars, startups en ondernemingen die via tussenpersonen toegang krijgen tot OpenAI-systemen.
Waarom OpenAI destillatie als een veiligheidsprobleem beschouwt
Distillatie is een standaard machine learning-techniek waarbij het ene model leert van de resultaten van een ander model. Op zichzelf, zo merkt OpenAI op, is het noch illegaal, noch ongebruikelijk. De zorg van het bedrijf is wat het vijandige distillatie noemt: een actor die de resultaten van een grensmodel gebruikt zonder toestemming om een ander model met vergelijkbare capaciteiten te trainen, en dit vervolgens zonder vergelijkbare waarborgen in te zetten.
In zijn blogpost betoogt OpenAI dat het risico het duidelijkst is in domeinen voor tweeërlei gebruik, zoals cyberbeveiliging en biologie. Een model dat verdedigers helpt softwarekwetsbaarheden te vinden, kan, zodra de vaardigheden zijn overgedragen naar een systeem met zwakkere vangrails, een aanvaller helpen deze te misbruiken. “Een tegenstander zou de cybercapaciteiten van een model kunnen distilleren en het resulterende model kunnen gebruiken om cyberaanvallen uit te voeren waarbij het oorspronkelijke model zou hebben geweigerd te helpen”, schreef het bedrijf.
Bescherming van de gedachteketen
Centraal in de verdediging van OpenAI staat wat het beschermd redeneren noemt: de tussenstappen – de gedachteketen – die een model intern genereert terwijl het naar een antwoord toe werkt. Die sporen, legt het bedrijf uit, kunnen informatie bevatten die het uiteindelijke antwoord weglaat, waardoor ze bijzonder waardevol zijn als trainingsgegevens voor het model van een ander laboratorium.
OpenAI zegt dat het zijn verdediging tegen de extractie van redeneersporen in GPT-6.2 Astra en GPT-6.2 Sol heeft versterkt. In een interne adaptieve evaluatie met behulp van geautomatiseerde red-teaming meldde het bedrijf dat het gemiddelde slagingspercentage van aanvallen voor het herstellen van beschermde redeneringen daalde van 54,0% tegen GPT-6 Astra met de oorspronkelijke beveiligingen naar 0,2% tegen GPT-6.2 Astra met de bijgewerkte beveiligingen.
Wat de interne cyberstudie heeft gevonden
Het bedrijf deelde ook de resultaten van een intern onderzoek naar de manier waarop cybercapaciteiten worden overgedragen tijdens destillatie. Leerlingmodellen werden verfijnd op basis van trajecten geproduceerd door lerarenmodellen die werken aan codeer- en defensieve cyberbeveiligingstaken. Studenten die waren getraind op exacte redeneringssporen presteerden over het algemeen beter dan studenten die alleen waren getraind op redeneringssamenvattingen, zowel na verfijnde afstemming onder toezicht als – bij de grootste geteste gevolgtrekkingsbudgetten – na een nieuwe ronde van versterkend leren, volgens benchmarks die OpenAI naast de post liet zien.
De implicatie is ontnuchterend voor iedereen die hoopt dat de overdracht van vaardigheden kan worden ingeperkt door het publiceren van opgeschoonde resultaten: zelfs interacties die zijn toegestaan onder het gebruiksbeleid kunnen een leerling in totaal vaardigheden aanleren die verder gaan dan de taken die de leraar oorspronkelijk uitvoerde.
Gateways en wederverkopers hebben nu goedkeuring nodig
De technische maatregelen komen samen met een beleidswijziging. Vanaf donderdag heeft OpenAI AI-modelrouters en -gateways nodig die derden directe toegang tot zijn modellen geven om voorafgaande goedkeuring te verkrijgen, meldde eWeek. De vereiste bouwt voort op een aankondiging die het bedrijf in oktober deed, waarin werd uiteengezet hoe veiligheidsbeschermingen moeten gelden wanneer klanten rechtstreeks of via hostingpartners en resellers toegang krijgen tot de modellen.
Volgens de samenvatting van dat kader door eWeek wordt van de deelnemende diensten verwacht dat zij vergelijkbare normen hanteren, zodat gebruikers niet zomaar van aanbieder kunnen wisselen om de beperkingen te omzeilen. De maatregelen omvatten drie fasen: risicobeoordelingen en testen op pogingen om veiligheidscontroles te omzeilen voordat ze worden ingezet; monitoring tijdens gebruik, waarbij van partners wordt verwacht dat ze verdachte activiteiten onderzoeken; en handhavingsstappen nadat er overtredingen hebben plaatsgevonden. Semafor typeerde de verandering als OpenAI die zijn greep verstevigde op een reseller-ecosysteem dat snel is gegroeid rond zijn API.
Wat het betekent voor ontwikkelaars
Voor ontwikkelaars is het praktische effect een nieuwe compliance-vraag die kan worden toegevoegd aan het due diligence-onderzoek van leveranciers: of een tussenpersoon die OpenAI-modellen aanbiedt hiertoe ook daadwerkelijk bevoegd is. Bedrijven die verkeer via aggregators routeren, moeten de goedkeuringsstatus van hun provider bevestigen en de manier waarop deze omgaat met inloggegevens en gegevens, adviseerde eWeek.
Voor de bredere sector is de aankondiging een signaal dat modelaanbieders de controle over afgeleide capaciteiten – en niet alleen de modellen zelf – steeds meer zien als de perimeter die er toe doet. Distillatiegeschillen zijn de afgelopen jaren over het hele veld opgelaaid, en OpenAI formuleert zijn reactie nu niet als een licentiegeschil, maar als een veiligheidsvereiste, waarbij de verdediging tegen distillatie wordt afgestemd op de controles die het toepast op biologische en cyberveiligheidsrisico's.
De weg vooruit
OpenAI zegt dat het zal blijven bestuderen hoeveel capaciteiten worden overgedragen tussen verschillende studentenmodellen en distillatierecepten, en nodigt andere laboratoria uit om voort te bouwen op zijn detectie- en handhavingswerk. Of rivalen vergelijkbare gateway-goedkeuringsregimes hanteren – en of gebruikers de extra wrijving accepteren – zal helpen bepalen hoe de volgende generatie AI-systemen wordt gebouwd en wie deze mag bouwen.
Blijf de curve voor
Wilt u het laatste nieuws over AI-modellen, veiligheid en beleid terwijl het gebeurt? Volg het laatste AI-nieuws op AI Buzz Wire.
Lees meer AI-nieuws →