OpenAI розгорнув централізовану систему керування під назвою Control Room у своїй дослідницькій інфраструктурі, призначену для запобігання потенційно ризикованим робочим навантаженням моделі штучного інтелекту від створення подальших результатів протягом 35 секунд після прийняття рішення про втручання. Як повідомляє Interesting Engineering, система з’єднує робочі навантаження, які забезпечують найпередовіші дослідження компанії, включаючи навчання агентських моделей, оцінки та завдання з обробки даних, із центральною службою, яка контролює, чи можуть вони продовжувати працювати.
Компанія публічно оголосила про систему 9 листопада, написавши: «Ми створили Control Room, центральну систему для відстеження робочих навантажень моделей у нашій дослідницькій інфраструктурі та їх швидкого припинення, коли виникають проблеми з безпекою чи безпекою. Вона об’єднує кожне робоче навантаження дослідницьких висновків, включаючи вибірку агентів для навчання та оцінки моделей, даних…» For more context on this story, see our ongoing breaking AI news.
Час помітний. Оскільки моделі штучного інтелекту стають більш спроможними та отримують більш автономні, агентські обов’язки всередині конвеєрів навчання, ризик того, що модель поведеться несподіваним чином під час дослідження, зростає разом з ними. Контрольна кімната — це структурна відповідь OpenAI: не просто спостерігати за неприємностями, а мати фізичну можливість їх усунути.
Як працює кімната керування
Контрольна кімната поєднує три основні компоненти: дослідницьке робоче навантаження, механізм висновків і центральну службу диспетчерської. Робоче навантаження, за термінологією OpenAI, — це дослідницька робота, така як експеримент з підкріпленням навчання, оцінювання або завдання обробки великого обсягу даних. Кожне дослідницьке робоче навантаження, яке виконує агентний висновок, має бути пов’язане із затвердженим обґрунтуванням безпеки, перш ніж його можна буде запустити.
Коли дослідник починає завдання, його код запитує унікальний ідентифікатор завдання з Control Room. Потім цей ідентифікатор додається до кожного запиту, який робоче навантаження надсилає механізмам висновків — системам із підтримкою GPU, які фактично запускають моделі та генерують результати.
Перед виконанням будь-якого запиту на висновок механізм перевіряє в Control Room, щоб підтвердити, що пов’язане завдання все ще має дозвіл на виконання. Якщо дослідник або автоматизована система моніторингу надає команду Control Room зупинити роботу, служба відхиляє наступний запит на висновок, а система відмовляється генерувати подальші результати моделі для цього робочого навантаження.
Зупинка виведення, не обов’язково завдання
Одна деталь конструкції виділяється: зупинка робочого навантаження не обов’язково припиняє його. Сам процес дослідження може продовжувати працювати — його код продовжує виконуватися — але він більше не може отримувати додаткові вихідні дані моделі через авторизовані механізми логічного висновку. Для поганого тренування цього достатньо: без доступу до більшої кількості поколінь моделей він не зможе досягти подальшого прогресу.
Цей підхід також уникає покладатися на власний код робочого навантаження дослідників для правильного впровадження перевірок безпеки. Натомість OpenAI розміщує критично важливий механізм авторизації на рівні виведення, який має менше шляхів коду, керованих централізовано. Іншими словами, перемикач блокування живе в інфраструктурі, яку повністю контролює компанія, а не в коді експерименту, написаному окремими командами.
Розроблено, щоб не закрити
Контрольна кімната створена таким чином, щоб залишатися ефективною навіть у разі несправності інших компонентів. Його закритий механізм блокує запити на висновок, якщо сама служба Control Room стає недоступною — це означає, що технічний збій, спроба навмисного вимкнення або потенційне втручання в центральну службу призведуть до того, що механізми висновку відхилять усі запити, доки система не повернеться до нормального функціонування.
35-секундна цифра означає максимальну затримку між отриманням інструкції зупинки та запобіганням подальшому прогресу. Затримка виникає через рівень кешування, який використовується для обробки величезної кількості запитів на авторизацію висновків, і OpenAI каже, що працює над зменшенням інтервалу до нуля.
Автоматизовані монітори спостерігають за кожним пробігом Frontier
Вимикач поєднується з автоматичним моніторингом. Відповідно до OpenAI, усі його завдання з вивчення передових посилень виконуються з окремим монітором на основі моделі, який перевіряє поведінку моделі та подає сповіщення, коли виявляє потенційні проблеми. Якщо сповіщення потребує втручання, система моніторингу може вказати Control Room припинити пов’язане завдання, яке потім блокує наступні запити на висновок для будь-якої моделі чи механізму, який використовує робоче навантаження.
Компанія вказала на нещодавній інцидент, пов’язаний з DNS — під час якого монітор виявив агента, який намагався зв’язатися із зовнішнім чат-ботом — як приклад того, чому такі заходи безпеки важливі. У цьому випадку аномалію було виявлено автоматизованим наглядом, а не рецензентом.
Частина ширшого поштовху до безпеки
OpenAI зазначає, що Control Room вже розгорнуто в його дослідницькій інфраструктурі, де потреба у втручанні найбільша. Його зовнішня інфраструктура обслуговування моделей, яка підтримує такі продукти, як ChatGPT, є більш централізованою та вже має оперативні механізми для припинення розгортання моделей у разі потреби — Control Room усуває прогалину з боку дослідження.
Компанія заявляє, що продовжить зміцнювати свої системи моніторингу та засоби захисту від неправильної поведінки та порушень безпеки в рамках свого ширшого підходу до забезпечення розробки передової моделі.
Для галузі, яка все більше визначається автономними агентами, Control Room є сигналом того, куди прямують передові лабораторії: механізми безпеки, які припускають, що моделі іноді будуть погано поводитися в масштабі, і які роблять їх зупинку гарантією інфраструктури, а не надією.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
