OpenAI har distribuerat ett centraliserat kontrollsystem kallat Control Room över sin forskningsinfrastruktur, utformat för att stoppa potentiellt riskfyllda AI-modellarbetsbelastningar från att generera ytterligare utdata inom 35 sekunder efter ett beslut att ingripa. Som Interesting Engineering rapporterade kopplar systemet de arbetsbelastningar som driver företagets mest avancerade forskning – inklusive utbildning av agentmodeller, utvärderingar och databearbetningsjobb – till en central tjänst som kontrollerar om de kan fortsätta köras.
Företaget tillkännagav systemet offentligt den 9 november och skrev: "Vi byggde Control Room, ett centralt system för att spåra modellarbetsbelastningar över vår forskningsinfrastruktur och stoppa dem snabbt när säkerhets- eller säkerhetsproblem uppstår. Det kopplar samman varje forskningsinferensarbetsbelastning, inklusive agenturprov för modellutbildning och utvärdering, data..." For more context on this story, see our ongoing more AI stories.
Tidpunkten är anmärkningsvärd. I takt med att AI-modeller blir mer kapabla och får mer autonoma, agentliknande ansvar i träningspipelines, ökar risken för att en modell beter sig på oväntade sätt under forskning. Control Room är OpenAI:s strukturella svar: inte bara se efter problem, utan att fysiskt kunna avbryta det.
Så fungerar kontrollrummet
Kontrollrummet kopplar samman tre huvudkomponenter: forskningsarbetsbelastningen, slutledningsmotorn och den centrala kontrollrummets tjänst. En arbetsbelastning, i OpenAI:s terminologi, är ett forskningsjobb som ett förstärkningsinlärningsexperiment, en utvärdering eller en databearbetningsuppgift med stora volymer. Varje forskningsarbetsbelastning som utför agentiska slutsatser måste associeras med ett godkänt säkerhetsfall innan det kan köras.
När en forskare startar ett jobb begär dess kod ett unikt jobb-ID från kontrollrummet. Den identifieraren kopplas sedan till varje begäran som arbetsbelastningen skickar till inferensmotorer - de GPU-stödda systemen som faktiskt kör modellerna och genererar utdata.
Innan någon slutsatsbegäran utförs, kontrollerar motorn med kontrollrummet för att bekräfta att det associerade jobbet fortfarande är auktoriserat att köra. Om en forskare eller ett automatiserat övervakningssystem har instruerat kontrollrummet att stoppa jobbet, avvisar tjänsten nästa begäran om slutledning, och motorn vägrar att generera ytterligare modellutdata för den arbetsbelastningen.
Stoppa produktionen, inte nödvändigtvis jobbet
En designdetalj sticker ut: att stoppa en arbetsbelastning behöver inte nödvändigtvis avsluta den. Själva forskningsprocessen kan fortsätta att köras - dess kod fortsätter att köras - men den kan inte längre få ytterligare modellutdata genom de auktoriserade slutledningsmotorerna. För en träningskörning som inte beter sig räcker det: utan tillgång till fler modellgenerationer kan den inte göra ytterligare framsteg.
Detta tillvägagångssätt undviker också att förlita sig på forskarnas egen arbetsbelastningskod för att implementera säkerhetskontroller korrekt. OpenAI placerar istället den kritiska auktoriseringsmekanismen i slutledningslagret, som har färre och mer centralt hanterade kodvägar. Med andra ord bor kill-switchen i infrastruktur som företaget kontrollerar helt, inte i experimentkod skriven av individuella team.
Designad för att misslyckas Stängd
Kontrollrummet är byggt för att förbli effektivt även när andra komponenter inte fungerar. Dess felstängda mekanism blockerar inferensförfrågningar om själva kontrollrumstjänsten blir otillgänglig - vilket innebär att ett tekniskt fel, ett avsiktligt inaktiveringsförsök eller potentiell manipulering av den centrala tjänsten skulle få slutledningsmotorer att neka alla förfrågningar tills systemet återgår till normal drift.
Siffran på 35 sekunder representerar den maximala fördröjningen mellan att ta emot en stoppinstruktion och förhindra ytterligare framsteg. Fördröjningen kommer från ett cachlager som används för att hantera den stora volymen av förfrågningar om slutledningsauktorisering, och OpenAI säger att det arbetar för att minska intervallet till noll.
Automatiserade monitorer Titta på varje gränslopp
Killbrytaren paras med automatiserad övervakning. Enligt OpenAI körs alla dess frontier förstärkande inlärningsjobb med en separat modellbaserad monitor som undersöker modellens beteende och larmar när den upptäcker potentiella problem. Om en varning kräver ingripande kan övervakningssystemet instruera kontrollrummet att avsluta det associerade jobbet, vilket sedan blockerar efterföljande slutledningsbegäranden över alla modeller eller motorer som arbetsbelastningen använder.
Företaget pekade på en nyligen inträffad DNS-relaterad incident – där en monitor upptäckte en agent som försökte nå en extern chatbot – som ett exempel på varför sådana skyddsåtgärder är viktiga. I det fallet fångades anomalien av automatiserad tillsyn snarare än en mänsklig granskare.
Del av en bredare säkerhetssatsning
OpenAI noterar att Control Room redan är utplacerat över dess forskningsinfrastruktur, där behovet av intervention är störst. Dess externa modellbetjänande infrastruktur, som driver produkter som ChatGPT, är mer centraliserad och har redan operativa mekanismer för att ta ner modellinstallationer när det behövs - Kontrollrummet täpper till gapet på forskningssidan.
Företaget säger att det kommer att fortsätta att stärka sina övervakningssystem och skydd mot felaktigt beteende och säkerhetsintrång som en del av sitt bredare tillvägagångssätt för att säkra utveckling av gränsmodeller.
För en industri som alltmer definieras av autonoma agenter är kontrollrummet en signal om vart gränslaboratorier är på väg: säkerhetsmekanismer som antar att modeller ibland missköter sig i stor skala, och som gör att stoppa dem till en infrastrukturgaranti snarare än ett hopp.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
