OpenAI nasadilo do své výzkumné infrastruktury centralizovaný řídicí systém nazvaný Control Room, který je navržen tak, aby zabránil potenciálně riskantnímu pracovnímu zatížení modelu AI generovat další výstup do 35 sekund od rozhodnutí zasáhnout. Jak informovalo Zajímavé inženýrství, systém propojuje pracovní zátěže, které pohánějí nejpokročilejší výzkum společnosti – včetně školení agentních modelů, hodnocení a úloh zpracování dat – s centrální službou, která kontroluje, zda mohou pokračovat v provozu.
Společnost systém veřejně oznámila 9. listopadu a napsala: "Vybudovali jsme Control Room, centrální systém pro sledování modelových úloh v naší výzkumné infrastruktuře a jejich rychlé zastavení, když se objeví obavy o bezpečnost nebo zabezpečení. Propojuje každou výzkumnou inferenční zátěž, včetně vzorkování agentů pro školení a hodnocení modelů, data..." For more context on this story, see our ongoing latest AI developments.
Načasování je pozoruhodné. S tím, jak jsou modely umělé inteligence schopnější a dostávají autonomnější, agentovi podobné odpovědnosti v rámci tréninkových kanálů, roste s nimi i riziko, že se model bude během výzkumu chovat neočekávaným způsobem. Control Room je strukturální odpověď OpenAI: nejen sledovat problémy, ale být fyzicky schopen je přerušit.
Jak funguje velín
Řídicí místnost propojuje tři hlavní součásti: výzkumné pracovní zatížení, inferenční stroj a centrální službu velínu. Pracovní zátěž, v terminologii OpenAI, je výzkumná práce, jako je experiment s učením se zesílením, hodnocení nebo úkol zpracování velkého objemu dat. Každá výzkumná zátěž, která provádí agentní odvození, musí být před spuštěním spojena se schváleným bezpečnostním případem.
Když výzkumný pracovník zahájí úlohu, jeho kód vyžaduje jedinečné ID úlohy z kontrolní místnosti. Tento identifikátor je pak připojen ke každému požadavku, který pracovní zátěž odešle do inferenčních enginů – systémů podporovaných GPU, které skutečně spouštějí modely a generují výstupy.
Před splněním jakéhokoli požadavku na odvození stroj zkontroluje v Control Room, aby potvrdil, že přidružená úloha je stále oprávněna ke spuštění. Pokud výzkumník nebo automatizovaný monitorovací systém nařídil řídicímu středisku, aby úlohu zastavila, služba odmítne další požadavek na odvození a modul odmítne generovat další výstup modelu pro toto pracovní zatížení.
Zastavení výstupu, ne nutně úlohy
Jeden konstrukční detail vyniká: zastavením pracovní zátěže nemusí být nutně ukončena. Samotný výzkumný proces může pokračovat v běhu – jeho kód se nadále spouští – ale již nemůže získat další modelové výstupy prostřednictvím autorizovaných inferenčních enginů. Pro neslušný trénink to stačí: bez přístupu k více modelovým generacím nemůže udělat další pokrok.
Tento přístup se také vyhýbá spoléhání se na vlastní kód pracovní zátěže výzkumníků při správné implementaci bezpečnostních kontrol. OpenAI místo toho umisťuje kritický autorizační mechanismus do inferenční vrstvy, která má méně a více centrálně spravovaných kódových cest. Jinými slovy, kill switch žije v infrastruktuře, kterou společnost plně kontroluje, nikoli v experimentovém kódu napsaném jednotlivými týmy.
Navrženo pro selhání Zavřeno
Řídicí místnost je postavena tak, aby zůstala účinná, i když ostatní komponenty nefungují správně. Jeho mechanismus uzavření při selhání blokuje požadavky na odvození, pokud se samotná služba Control Room stane nedostupnou – což znamená, že technická porucha, záměrný pokus o deaktivaci nebo potenciální manipulace s centrální službou by způsobily, že inferenční motory odmítnou všechny požadavky, dokud se systém nevrátí do normálního provozu.
Hodnota 35 sekund představuje maximální zpoždění mezi přijetím pokynu k zastavení a zabráněním dalšího postupu. Zpoždění pochází z mezipaměti, která se používá ke zpracování velkého množství požadavků na autorizaci odvození, a OpenAI říká, že pracuje na zkrácení intervalu na nulu.
Automatické monitory sledují každý běh Frontier
Přepínač zabíjení se spáruje s automatickým monitorováním. Podle OpenAI probíhají všechny jeho úlohy učení hraničního posílení pomocí samostatného monitoru založeného na modelu, který zkoumá chování modelu a vyvolává upozornění, když detekuje potenciální problémy. Pokud výstraha vyžaduje zásah, monitorovací systém může instruovat Řídicí místnost k ukončení související úlohy, která pak zablokuje následné požadavky na odvození napříč jakýmkoli modelem nebo motorem, který pracovní zátěž používá.
Společnost poukázala na nedávný incident související s DNS – ve kterém monitor detekoval agenta, který se pokouší oslovit externího chatbota – jako příklad toho, proč na takových ochranných opatřeních záleží. V takovém případě byla anomálie zachycena spíše automatickým dohledem než lidským recenzentem.
Součást širšího bezpečnostního tlaku
OpenAI poznamenává, že Control Room je již nasazen v celé její výzkumné infrastruktuře, kde je potřeba zásahu největší. Jeho externí infrastruktura pro poskytování modelů, která pohání produkty jako ChatGPT, je více centralizovaná a již má provozní mechanismy pro odstranění nasazení modelů v případě potřeby – Control Room uzavírá mezeru na straně výzkumu.
Společnost říká, že bude pokračovat v posilování svých monitorovacích systémů a záruk proti nesprávnému chování a narušení bezpečnosti jako součást svého širšího přístupu k zabezpečení vývoje hraničního modelu.
Pro průmysl, který je stále více definován autonomními agenty, je Control Room signálem toho, kam hraniční laboratoře směřují: bezpečnostní mechanismy, které předpokládají, že se modely budou někdy chovat špatně v měřítku, a díky nimž je jejich zastavení spíše zárukou infrastruktury než nadějí.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
