Anthropic почав надавати команді METR, некомерційної організації, яка оцінює передові моделі штучного інтелекту, «доступ співробітників» до своїх внутрішніх систем — апаратного забезпечення компанії, офісних приміщень та інструментів приблизно на тому ж рівні, що й власні групи оцінки ризиків — щоб зовнішня група могла самостійно оцінювати ризики прикордонних моделей Anthropic і публікувати результати.

Домовленість, оголошена в блозі Anthropic у середу, виходить за рамки відносин у стилі аудиту, які зазвичай терплять компанії зі штучним інтелектом, і містить положення, яке виділяється: METR публікуватиме результати своєї оцінки ризиків, і Anthropic не може накласти вето на публікацію.

Що насправді означає "доступ, як у працівника".

Шість співробітників METR отримали апаратне забезпечення компанії, офісне приміщення та доступ до внутрішніх інструментів і систем, які Anthropic описує як приблизно такі ж, які отримують її власні групи оцінки ризиків. За винятком невеликої кількості чітко визначених категорій — даних про клієнтів, конфіденційної інформації між адвокатами й клієнтами та інформації про архітектури моделей — Anthropic каже, що її співробітникам рекомендується ділитися інформацією з командою METR так само, як вони ділилися б з колегами, які працюють над узгодженням ризиків.

Заручини навмисно вузькі. Він охоплює невелику команду, яка працює згідно з обов’язковими угодами, а інші співробітники METR відсторонені від роботи цієї групи, включаючи дослідників, які співпрацюють з Anthropic в інших проектах. Anthropic зазначає, що встановлення дає кілька кваліфікованих людей, які працюють за стандартами безпеки Anthropic, детальне уявлення про те, як працює компанія; це не канал для отримання іншими організаціями інформації Anthropic або її клієнтів.

Права на публікацію, з огородженнями

Згідно з угодою METR опублікує свій аналіз рівнів ризику, інцидентів або практики Anthropic. Anthropic не може заблокувати публікацію, але може вимагати редагування, якщо інформація потрапляє до попередньо визначених категорій, описаних вище, і Anthropic сам вирішує, що підпадає під ці категорії, а що ні. METR, зі свого боку, зберігає за собою право робити певні заяви щодо рівня доступу та інформації, яку він отримав, як противагу, спрямовану на те, щоб функція редагування не стала кнопкою вимкнення звуку.

Чому Anthropic відкривається

Цей крок став результатом зобов’язання, яке Anthropic взяла минулого місяця щодо посилення незалежної сторонньої оцінки своїх моделей і методів безпеки, а також підписання Угоди Білого дому про суперінтелект, в якій компанії ШІ зобов’язалися співпрацювати з незалежними зовнішніми аудиторами або оцінювачами. Це також розширює існуючі відносини: протягом минулого року Anthropic працювала з METR над кількома переглядами своїх звітів про ризики.

METR не єдиний у портфоліо. Anthropic каже, що також співпрацює з SecureBio та Accenture як оцінювачами — Факультет Accenture був названий першим вбудованим оцінювачем компанії у вересні — і веде переговори з кількома іншими організаціями, включаючи Hugging Face. Ці партнерства на ранніх стадіях мають більш обмежений доступ до інформації та права на публікацію, поки компанія вивчає, які види партнерства працюють.

Аналогія банківського нагляду

Власне обрамлення Anthropic запозичено з фінансів. Банки знають більше про свої власні ризикові позиції, ніж сторонні особи, тому регулятори призначають постійних інспекторів для роботи в найбільших банках; якщо прийняття банком ризику може загрожувати громадськості, треті сторони намагаються побачити це заздалегідь. Компанія позиціонує вбудовану оцінку як версію цієї логіки індустрії ШІ — крок до надійного нагляду за безпекою в сфері, де розробник завжди знає більше, ніж сторожовий пес.

В основі всього цього лежить проголошена мета: усунення розриву між тим, що незалежні оцінювачі розуміють про системи передової компанії ШІ, і тим, що розуміє сама компанія.

Що потрібно оцінювачам

В оголошенні також викладено, що, на думку Anthropic, вимагає значуща оцінка: знання в оцінці можливостей граничної моделі, включаючи розуміння того, як оцінки можуть піти не так через такі явища, як підробка вирівнювання; незалежність, що означає відсутність власного капіталу чи фінансової чи операційної залежності від оцінюваної компанії; достатній доступ для значущої оцінки ризиків, виходячи за межі останніх моделей до того, як вони були навчені та як функціонують запобіжні заходи; і свобода публікації спостережень і оцінок моделі або процесу.

Тестовий приклад для всієї галузі

Аранжування буде оцінено за результатом. Перша опублікована оцінка METR за новим режимом доступу покаже, чи доступ, подібний до співробітників, дає результати зі справжніми зубами чи звіти, урізані категоріями редагування, які визначає сама компанія. Скептики зауважать, що Anthropic контролює межі категорій і що пілотна команда невелика; Прихильники зауважать, що право на публікацію, яке Anthropic не може накласти вето, є справжньою новинкою серед передових лабораторій.

У будь-якому випадку галузь спостерігає. Якщо вбудований доступ METR відкриває матеріальні висновки та публікує їх без змін, модель стає очевидним шаблоном для кожної лабораторії, яка підписала угоду Білого дому, і еталоном для політиків, які зважують, чи може добровільний нагляд замінити обов’язкові аудити. Щоб постійно висвітлювати політику безпеки штучного інтелекту та [новини індустрії штучного інтелекту] (https://aibuzzwire.news), які її формують, AI Buzz Wire стежить за кожною розробкою, коли вона з’являється.

---

Будьте попереду ШІ

Отримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.

Читати більше новин AI →