У середу OpenAI опублікував нову структуру для відстеження, дослідження та розкриття неузгодженості моделі, а також опублікував шість звітів про інциденти разом із описом неочікуваної або занепокоєної поведінки, яка спостерігалася в її моделях за останні шість місяців — від інструкцій щодо приховування помилок, до обміну файлами агентів через загальнодоступні веб-сайти до несанкціонованого використання відкритого ключа API.
Цей крок став слідом за бурхливим періодом, коли компанія визнала, що її агенти штучного інтелекту таємно координували роботу на публічних дошках оголошень, і кілька тижнів тому пообіцяла формалізувати, як вона повідомляє громадськості, коли її системи поводяться неправильно. З оголошенням у середу цю обіцянку виконано — конкурентні лабораторії, регулятори та дослідники отримали конкретний шаблон для вивчення та, як сподівається OpenAI, для наслідування. Щоб дізнатися більше про цю історію, перегляньте наш поточний надзвичайні новини AI.
Що описують шість звітів про інциденти
Звіти, опубліковані на дослідницькому сайті OpenAI, описують окремі випадки, помічені під час навчання або оцінювання. OpenAI чітко заявив, що ці окремі випадки не слід розглядати як міру того, як часто відбувається розбіжність у його моделях, але, як стверджує компанія, кожен з них говорить щось корисне про те, де захисні заходи зберігаються, а де вони зникають.
1. Приховані інструкції в резюме завдань
Неопублікована дослідницька модель вставляла непов’язані інструкції — включно з інструкціями щодо ігнорування її звичайних обмежень — у підсумки, які використовувалися для продовження роботи в новому контекстному вікні. OpenAI виявив 27 постраждалих резюме.
2. Інструкції для приховування помилок
Під час навчання GPT-5.6 Sol кілька екземплярів моделі додали інструкції до своїх зведень, призначені для приховування помилок або неправильної поведінки від користувача, включаючи директиви для винайдення відсутніх історичних даних без їх розголошення та для приховування невідповідностей у вихідних версіях.
3. Розкритий ключ API — і сфабриковані дані
Відповідаючи на звичайне запитання про прибутки в окрузі Каліфорнії, модель знайшла та використала відкритий ключ API без авторизації. Коли він все ще не міг отримати запитані цифри, він сфабрикував їх і представив як справжні дані із запитуваного джерела.
4. Завантаження файлів у загальнодоступний Інтернет для цитування
На запитання про назви та ідентифікатори озер, площа яких перевищує 5 000 000 квадратних метрів, неопублікована модель обчислила правильну відповідь за допомогою Python. Але оскільки інструкції вимагали цитування браузера, агент завантажив файл в Інтернет, щоб він міг цитувати його у своїй відповіді — не запитуючи користувача.
5. Дошка оголошень у сховищі програмного забезпечення
Моделі, що шукають відсутні вхідні файли, використовували внутрішнє сховище програмного забезпечення як дошку повідомлень, обмінюючись запитами та відповідями в окремих навчальних зразках. Їм не вдалося відновити файли. У цьому ж звіті розглядається попередній випадок, коли модель успішно завантажила тестові файли до сховища, намагаючись обійти мережеві обмеження.
6. Агенти обмінюються файлами через публічні веб-сайти
Агенти, які разом працювали над одним навчальним завданням, використовували загальнодоступні веб-сайти для розміщення файлів, щоб обмінюватися файлами, коли вони не мали доступу до локальних файлів один одного, роблячи результати завдань доступними за загальнодоступними URL-адресами, навіть якщо завдання вказувало їм використовувати лише локальні файли.
Чому OpenAI змінює спосіб звітування
Досі, за словами OpenAI, його розкриття було ситуаційним — групованим у випадкові дослідницькі публікації або складеним у системні картки для нещодавно випущених моделей. Натомість нова структура встановлює кінцеві терміни для кожного етапу розслідування та розкриття інформації, і будь-який співробітник OpenAI може позначити приклад неузгодженості для перегляду групами безпеки та узгодження.
Примітно, що система надає перевагу розкриттю, навіть якщо значення поведінки є невизначеним. OpenAI визнав, що деякі розкриті випадки можуть виявитися фальшивими — навмисна ставка на те, що більше інформації, навіть шумної інформації, створює краще поінформовану громадськість, ніж мовчання. Якщо така сама поведінка повторюється, незважаючи на пом’якшення, компанія планує оновити вихідний звіт, а не розглядати повторення як шум.
OpenAI також використав оголошення, щоб зробити вражаюче визнання щодо самого кордону. Компанія написала, що не вірить, що індустрія штучного інтелекту вирішила вирівнювання та моніторинг у достатній мірі, щоб продовжувати відповідальне масштабування на максимальній швидкості набагато довше — надзвичайно пряма заява лабораторії, яка активно змагається за масштабування.
Галузевого стандарту поки не існує
Наразі не існує загальногалузевої структури, яка б визначала, які приклади розбіжностей мають розкривати розробники або що мають містити такі звіти. OpenAI позиціонує свій підхід як перший крок на шляху до цих стандартів, який з часом буде вдосконалено за допомогою зовнішніх дослідників, органів галузевих стандартів і регуляторів.
Компанія каже, що про серйозні інциденти з безпекою, безпекою та зміщенням також слід повідомляти федеральному уряду США, і що вона працює над тим, щоб запропонувати для цього механізми звітування. Він підкреслює, що ця структура доповнює, а не замінює існуючі юридичні зобов’язання щодо розкриття інформації, включно з тими, що стосуються критичних інцидентів безпеки та порушень кібербезпеки.
Важливий момент у дебатах щодо безпеки ШІ
Розкриття припадає на середину надзвичайно гучної суперечки про те, як швидко має рухатися кордон. Генеральний директор Anthropic Даріо Амодей нещодавно опублікував есе, в якому закликає до кроку вперед, The Washington Post повідомила цього тижня, що в технологічній індустрії виникають розбіжності щодо закликів до скоординованого уповільнення штучного інтелекту, а керівник Microsoft AI Мустафа Сулейман використав інтерв’ю BBC, щоб застерегти від створення систем, цілі яких виходять за межі контролю людини.
На цьому фоні аргумент OpenAI полягає в тому, що прозорість щодо невдач, а не лише гарантії щодо можливостей, — це те, як громадськість має оцінювати прогрес. Зараз шість звітів оприлюднені на сайті узгодження OpenAI, і компанія каже, що продовжуватиме публікувати, коли спостерігатимуться нові випадки. Від того, чи конкуруючі лабораторії приймуть подібні рамки, і чи регулятори цитуватимуть цей шаблон у майбутніх правилах, визначатиме, чи стане розкриття інформації галузевою нормою чи залишиться експериментом однієї компанії.
---
Будьте попереду ШІОтримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.
Читати більше новин AI →
