OpenAI ve čtvrtek zveřejnilo svůj dosud nejpodrobnější popis toho, jak zjišťuje a narušuje „nepříznivou destilaci“ – neoprávněné použití výstupů hraničního modelu k trénování konkurenčního systému – a podle mnoha zpráv začalo vyžadovat, aby brány a prodejci třetích stran získali jeho souhlas, než nabídne přímý přístup k jeho modelům.

Tyto kroky, popsané v příspěvku na blogu OpenAI nazvaném „Bojování proti nepřátelské destilaci“ a v pokrytí Semaforem a eWeek, znamenají významné zpřísnění toho, jak společnost kontroluje, kdo může redistribuovat schopnosti jejích modelů – posun se skutečnými důsledky pro vývojáře, startupy a podniky, které přistupují k systémům OpenAI prostřednictvím zprostředkovatelů.

Proč OpenAI považuje destilaci za bezpečnostní problém

Destilace je standardní technika strojového učení, při které se jeden model učí z výstupů druhého. OpenAI poznamenává, že samo o sobě to není ani nezákonné, ani neobvyklé. Zájmem společnosti je to, co nazývá kontradiktorní destilací: aktér využívající výstupy hraničního modelu bez oprávnění trénovat jiný model s podobnými schopnostmi a poté jej nasazovat bez srovnatelných záruk.

OpenAI ve svém příspěvku na blogu tvrdí, že riziko je nejjasnější v doménách dvojího užití, jako je kybernetická bezpečnost a biologie. Model, který pomáhá obráncům najít softwarová zranitelnost, by mohl, jakmile jsou jeho dovednosti přeneseny do systému se slabšími mantinely, pomoci útočníkovi je zneužít. „Protivník by mohl destilovat kybernetické schopnosti modelu a použít výsledný model k pomoci při provádění kybernetických útoků, se kterými by původní model odmítl pomáhat,“ napsala společnost.

Ochrana řetězce myšlení

V centru obrany OpenAI je to, co nazývá chráněné uvažování: mezikroky – myšlenkový řetězec – model generuje interně, zatímco pracuje na odpovědi. Tyto stopy, vysvětluje společnost, mohou obsahovat informace, které konečná odpověď vynechává, takže jsou zvláště cenné jako tréninková data pro model jiné laboratoře.

OpenAI říká, že posílila svou obranu proti extrakci logických stop v GPT-6.2 Astra a GPT-6.2 Sol. V interním adaptivním hodnocení pomocí automatizovaného red-teamingu společnost oznámila, že průměrná úspěšnost útoku pro obnovení chráněného uvažování klesla z 54,0 % proti GPT-6 Astra s původními ochrannými prvky na 0,2 % proti GPT-6.2 Astra s aktualizovanými ochranami.

Co zjistila jeho interní kybernetická studie

Společnost také sdílela výsledky z interní studie o tom, jak se kybernetické schopnosti přenášejí během destilace. Studentské modely byly doladěny na trajektoriích vytvořených učitelskými modely pracujícími na kódování a defenzivních úlohách kybernetické bezpečnosti. Studenti trénovaní na přesných trasách uvažování obecně překonali studenty trénované pouze na souhrnech uvažování, a to jak po doladění pod dohledem, tak – s největšími testovanými odvozenými rozpočty – po dalším kole posilování, podle benchmarků OpenAI zobrazených vedle příspěvku.

Důsledky jsou střízlivé pro každého, kdo doufá, že přenos schopností lze omezit publikováním upravených výstupů: dokonce i interakce povolené v rámci zásad používání mohou v souhrnu naučit modelové dovednosti studenta, které zobecňují nad úkoly, které učitel původně vykonával.

Brány a prodejci nyní potřebují schválení

Technická opatření přicházejí spolu se změnou politiky. Počínaje čtvrtkem bude OpenAI vyžadovat modelové routery a brány AI, které poskytují třetím stranám přímý přístup k jeho modelům, aby získaly předchozí souhlas, uvedl eWeek. Požadavek vychází z oznámení, které společnost učinila v říjnu a které stanoví, jak by se měla bezpečnostní ochrana uplatňovat, když zákazníci přistupují k jejím modelům přímo nebo prostřednictvím hostitelských partnerů a prodejců.

Podle shrnutí tohoto rámce eWeek se očekává, že zúčastněné služby budou udržovat srovnatelné standardy, takže uživatelé nemohou jednoduše změnit poskytovatele, aby se vyhnuli omezením. Opatření zahrnují tři fáze: posouzení rizik a testování proti pokusům o ochranné obejití před nasazením; monitorování během používání, přičemž se očekává, že partneři budou vyšetřovat podezřelou aktivitu; a vynucovací kroky poté, co dojde k porušení. Semafor charakterizoval změnu jako OpenAI, která upevňuje svou kontrolu nad ekosystémem prodejců, který se rychle rozrostl kolem jeho API.

Co to znamená pro vývojáře

Pro vývojáře je praktickým efektem nová otázka dodržování předpisů, kterou je třeba přidat k náležité péči dodavatele: zda je zprostředkovatel nabízející modely OpenAI k tomu skutečně oprávněn. Společnosti, které směrují provoz přes agregátory, by měly potvrdit stav schválení svého poskytovatele a způsob, jakým nakládá s pověřeními a daty, doporučil eWeek.

Pro širší průmysl je toto oznámení signálem, že poskytovatelé modelů stále více považují ovládání odvozených schopností – nejen modelů samotných – za okraj, na kterém záleží. Spory o destilaci se v posledních letech rozhořely napříč oborem a OpenAI nyní svou odpověď nestaví jako licenční spor, ale jako bezpečnostní požadavek, čímž sladí obranu proti destilaci s kontrolami, které uplatňuje na rizika v oblasti biologie a kybernetické bezpečnosti.

Cesta vpřed

OpenAI říká, že bude pokračovat ve studiu toho, kolik schopností se přenáší napříč různými studentskými modely a destilačními recepturami, a vyzývá další laboratoře, aby stavěly na své práci v oblasti detekce a prosazování. To, zda soupeři přijmou srovnatelné režimy schvalování brány – a zda uživatelé přijmou další třenice – pomůže určit, jak je postavena další generace systémů umělé inteligence a kdo je smí stavět.

Držte se před křivkou

Chcete aktuální informace o modelech umělé inteligence, bezpečnosti a zásadách? Sledujte nejnovější zprávy o AI na AI Buzz Wire.

Přečtěte si další zprávy o AI →