OpenAI a implementat un sistem de control centralizat numit Control Room în infrastructura sa de cercetare, conceput pentru a opri sarcinile de lucru potențial riscante ale modelelor AI să genereze rezultate suplimentare în 35 de secunde de la decizia de a interveni. După cum a raportat Interesting Engineering, sistemul conectează sarcinile de lucru care alimentează cea mai avansată cercetare a companiei - inclusiv formarea modelelor agentice, evaluări și joburi de procesare a datelor - la un serviciu central care controlează dacă pot continua să ruleze.
Compania a anunțat public sistemul pe 9 noiembrie, scriind: „Am construit Control Room, un sistem central pentru a urmări încărcăturile de lucru ale modelului în infrastructura noastră de cercetare și pentru a le opri rapid atunci când apar probleme de siguranță sau securitate. Acesta conectează fiecare volum de lucru de inferență de cercetare, inclusiv eșantionarea agentică pentru formarea și evaluarea modelului, date...”. For more context on this story, see our ongoing AI industry coverage.
Momentul este notabil. Pe măsură ce modelele de inteligență artificială devin mai capabile și li se acordă responsabilități mai autonome, asemănătoare unui agent în cadrul conductelor de instruire, riscul ca un model să se comporte în moduri neașteptate în timpul cercetării crește odată cu acestea. Camera de control este răspunsul structural al OpenAI: nu doar urmărirea problemelor, ci capacitatea fizică de a le opri.
Cum funcționează camera de control
Camera de control conectează trei componente principale: volumul de muncă de cercetare, motorul de inferență și serviciul central de cameră de control. O sarcină de lucru, în terminologia OpenAI, este o muncă de cercetare, cum ar fi un experiment de învățare prin consolidare, o evaluare sau o sarcină de procesare a datelor de mare volum. Fiecare volum de muncă de cercetare care efectuează inferențe agentice trebuie să fie asociat cu un caz de siguranță aprobat înainte de a putea rula.
Când un cercetător începe un job, codul acestuia solicită un ID unic al jobului de la Control Room. Acest identificator este apoi atașat la fiecare solicitare pe care volumul de lucru o trimite motoarelor de inferență - sistemele susținute de GPU care rulează de fapt modelele și generează rezultate.
Înainte de a îndeplini orice cerere de inferență, motorul verifică cu Camera de control pentru a confirma că lucrarea asociată este încă autorizată să ruleze. Dacă un cercetător sau un sistem automat de monitorizare a instruit Control Room să oprească munca, serviciul respinge următoarea cerere de inferență, iar motorul refuză să genereze modele suplimentare pentru acea sarcină de lucru.
Oprirea ieșirii, nu neapărat locul de muncă
Un detaliu de design iese în evidență: oprirea unui volum de lucru nu îl încheie neapărat. Procesul de cercetare în sine poate continua să ruleze - codul său continuă să se execute - dar nu mai poate obține rezultate suplimentare ale modelului prin motoarele de inferență autorizate. Pentru o cursă de antrenament care nu se comportă greșit, este suficient: fără acces la mai multe generații de modele, nu poate face progrese suplimentare.
Această abordare evită, de asemenea, să se bazeze pe codul de sarcină de lucru al cercetătorilor pentru a implementa corect controalele de siguranță. OpenAI plasează în schimb mecanismul de autorizare critic în stratul de inferență, care are mai puține și mai multe căi de cod gestionate central. Cu alte cuvinte, kill switch-ul locuiește în infrastructura pe care compania o controlează în totalitate, nu în codul de experiment scris de echipe individuale.
Proiectat să eșueze Închis
Camera de control este construită pentru a rămâne eficientă chiar și atunci când alte componente funcționează defectuos. Mecanismul său de eșec închis blochează cererile de inferență dacă serviciul Control Room în sine devine indisponibil - ceea ce înseamnă că o defecțiune tehnică, o încercare de dezactivare deliberată sau o potențială manipulare a serviciului central ar determina ca motoarele de inferență să refuze toate solicitările până când sistemul revine la funcționarea normală.
Cifra de 35 de secunde reprezintă întârzierea maximă dintre primirea unei instrucțiuni de oprire și prevenirea progresului în continuare. Întârzierea vine de la un strat de cache folosit pentru a gestiona volumul mare de cereri de autorizare a inferenței, iar OpenAI spune că lucrează pentru a reduce intervalul la zero.
Monitoare automate Vizionează fiecare alergare de frontieră
Comutatorul de ucidere se asociază cu monitorizarea automată. Potrivit OpenAI, toate joburile sale de învățare cu consolidare de frontieră rulează cu un monitor separat bazat pe model care examinează comportamentul modelului și generează alerte atunci când detectează probleme potențiale. Dacă o alertă justifică intervenția, sistemul de monitorizare poate instrui Control Room să încheie jobul asociat, care apoi blochează cererile ulterioare de inferență pentru orice model sau motor pe care îl folosește sarcina de lucru.
Compania a indicat un incident recent legat de DNS – în care un monitor a detectat un agent care încerca să ajungă la un chatbot extern – ca exemplu de ce contează astfel de măsuri de protecție. În acest caz, anomalia a fost surprinsă de o supraveghere automată, mai degrabă decât de un evaluator uman.
Parte dintr-o împingere de siguranță mai largă
OpenAI observă că Camera de control este deja implementată în infrastructura sa de cercetare, unde nevoia de intervenție este cea mai mare. Infrastructura sa externă de servire a modelelor, care alimentează produse precum ChatGPT, este mai centralizată și are deja mecanisme operaționale pentru a elimina implementările de model atunci când este necesar - Camera de control reduce decalajul din partea cercetării.
Compania spune că va continua să-și consolideze sistemele de monitorizare și măsurile de protecție împotriva comportamentului nealiniat și a încălcărilor de securitate, ca parte a abordării sale mai ample de a asigura dezvoltarea modelelor de frontieră.
Pentru o industrie definită din ce în ce mai mult de agenți autonomi, Camera de control este un semnal despre direcția în care se îndreaptă laboratoarele de frontieră: mecanisme de siguranță care presupun că modelele se vor comporta uneori greșit la scară și care fac din oprirea lor o garanție a infrastructurii mai degrabă decât o speranță.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
