OpenAI publicerade i torsdags sin mest detaljerade redogörelse hittills för hur den upptäcker och stör "motståndsdestillation" - den otillåtna användningen av en gränsmodells utdata för att träna ett konkurrerande system - och har, enligt flera rapporter, börjat kräva att tredjepartsgateways och återförsäljare ska få dess godkännande innan de erbjuder direkt tillgång till sina modeller.
Åtgärderna, som beskrivs i ett OpenAI-blogginlägg med titeln "Combatting adversarial destillation" och i bevakning av Semafor och eWeek, markerar en betydande skärpning av hur företaget kontrollerar vem som kan omfördela sina modellers kapacitet - en förändring med verkliga konsekvenser för utvecklarna, startups och företag som får tillgång till OpenAI-system genom mellanhänder.
Varför OpenAI behandlar destillation som ett säkerhetsproblem
Destillation är en standardteknik för maskininlärning där en modell lär sig av en annans resultat. I sig, noterar OpenAI, är det varken otillåtet eller ovanligt. Företagets oro är vad det kallar kontradiktorisk destillation: en aktör som använder en gränsmodells utdata utan tillstånd för att träna en annan modell med liknande kapacitet och sedan implementera den utan jämförbara skyddsåtgärder.
I sitt blogginlägg hävdar OpenAI att risken är tydligast i domäner med dubbla användningsområden som cybersäkerhet och biologi. En modell som hjälper försvarare att hitta sårbarheter i programvara kan, när dess färdigheter överförs till ett system med svagare skyddsräcken, hjälpa en angripare att utnyttja dem. "En motståndare kan destillera en modells cyberkapacitet och använda den resulterande modellen för att hjälpa till att utföra cyberattacker som den ursprungliga modellen skulle ha vägrat att hjälpa till med", skrev företaget.
Skydda tankekedjan
I centrum för OpenAI:s försvar är vad det kallar skyddat resonemang: de mellanliggande stegen – tankekedjan – en modell genererar internt samtidigt som den arbetar mot ett svar. Dessa spår, förklarar företaget, kan innehålla information som det slutliga svaret utelämnar, vilket gör dem särskilt värdefulla som träningsdata för ett annat labbs modell.
OpenAI säger att de har stärkt sitt försvar mot resonemang-spårextraktion i GPT-6.2 Astra och GPT-6.2 Sol. I en intern adaptiv utvärdering med automatiserad red-teaming rapporterade företaget att den genomsnittliga framgångsfrekvensen för attacker för att återställa skyddade resonemang sjönk från 54,0 % mot GPT-6 Astra med dess ursprungliga skydd till 0,2 % mot GPT-6.2 Astra med de uppdaterade skydden.
Vad dess interna cyberstudie fann
Företaget delade också resultat från en intern studie av hur cyberkapacitet överförs under destillation. Elevmodeller finjusterades på banor som tagits fram av lärarmodeller som arbetar med kodning och defensiva cybersäkerhetsuppgifter. Elever som tränats på exakta resonemangsspår överträffade i allmänhet elever som tränade endast på resonemangssammanfattningar, både efter övervakad finjustering och - med de största slutsatserna som testades - efter ytterligare en omgång av förstärkningsinlärning, enligt riktmärken OpenAI som visas bredvid inlägget.
Innebörden är nykter för alla som hoppas att kapacitetsöverföring kan begränsas genom att publicera sanerade utdata: även interaktioner som är tillåtna enligt användningspolicyer kan sammantaget lära en elev modellfärdigheter som generaliserar utöver de uppgifter som läraren ursprungligen utförde.
Gateways och återförsäljare behöver nu godkännande
De tekniska åtgärderna kommer tillsammans med en policyändring. Från och med torsdag kommer OpenAI att kräva AI-modellroutrar och gateways som ger tredje part direkt tillgång till dess modeller för att få förhandsgodkännande, rapporterade eWeek. Kravet bygger på ett tillkännagivande som företaget gjorde i oktober som beskriver hur säkerhetsskydd ska gälla när kunder kommer åt dess modeller direkt eller via värdpartners och återförsäljare.
Enligt eWeeks sammanfattning av det ramverket förväntas deltagande tjänster hålla jämförbara standarder så att användare inte bara kan byta leverantör för att undvika restriktioner. Åtgärderna sträcker sig över tre steg: riskbedömningar och testning mot skydds-bypass-försök före utplacering; övervakning under användning, med partner som förväntas undersöka misstänkt aktivitet; och verkställighetsåtgärder efter att överträdelser inträffat. Semafor karakteriserade förändringen som att OpenAI stärkte sitt grepp om ett återförsäljarekosystem som har vuxit snabbt kring sitt API.
Vad det betyder för utvecklare
För utvecklare är den praktiska effekten en ny efterlevnadsfråga att lägga till leverantörens due diligence: om en mellanhand som erbjuder OpenAI-modeller faktiskt är auktoriserad att göra det. Företag som dirigerar trafik genom aggregatorer bör bekräfta sin leverantörs godkännandestatus och hur den hanterar referenser och data, rekommenderade eWeek.
För den bredare industrin är tillkännagivandet en signal om att modellleverantörer i allt högre grad ser kontrollen av härledda funktioner – inte bara själva modellerna – som den omkrets som betyder något. Destillationstvister har blossat upp över fältet under de senaste åren, och OpenAI formulerar nu sitt svar inte som en licenstvist utan som ett säkerhetskrav, och anpassar destillationsförsvaret med de kontroller som tillämpas på biologi- och cybersäkerhetsrisker.
Vägen framåt
OpenAI säger att de kommer att fortsätta att studera hur mycket kapacitet som överförs mellan olika studentmodeller och destillationsrecept, och det uppmanar andra laboratorier att bygga vidare på sitt upptäckts- och tillämpningsarbete. Huruvida rivaler antar jämförbara system för gateway-godkännande – och om användarna accepterar den extra friktionen – kommer att hjälpa till att avgöra hur nästa generation av AI-system byggs och vem som får bygga dem.
Håll dig före kurvan
Vill du ha det senaste om AI-modeller, säkerhet och policy när det händer? Följ de senaste AI-nyheterna på AI Buzz Wire.
Läs mer AI-nyheter →