Anthropic попередив у переглянутій заявці на IPO S-1/A, що він може «незабаром» відповідати визначенню своєї Політики відповідального масштабування як «різко прискорений прогрес, пов’язаний зі штучним інтелектом» — поріг, який широко називають рекурсивним самовдосконаленням, або RSI, момент, коли системи штучного інтелекту стають достатньо хорошими для вдосконалення штучного інтелекту, щоб приріст можливостей почав зростати сам по собі. TechCrunch повідомив про розголошення в понеділок, висвітлюючи формулювання, поховані в факторах ризику заявки, що становить одне з найбільш значущих заяв будь-якої лабораторії штучного інтелекту щодо власної траєкторії.
За словами Anthropic, у документі зазначено: «наші внутрішні оцінки та наші очікування щодо майбутніх моделей, а не наших поточних моделей, вказують на те, що ми можемо неминуче відповідати визначенню нашої Політики відповідального масштабування «значно прискореного прогресу, пов’язаного зі штучним інтелектом». Ми не визначили жодну з наших поточних моделей як такі, що перевищують цей поріг, і ми продовжуємо оцінювати базові дані». For more context on this story, see our ongoing latest AI developments.
Що насправді сказано в документі
Це попередження міститься в ширшому факторі ризику щодо все більшого використання компанією Anthropic систем ШІ для прискорення власних досліджень і розробок. Компанія розкриває, що ця динаміка вже створила стрибки можливостей, які вона не змогла розпізнати в режимі реального часу. «Як наслідок, у минулому ми не визначили і, можливо, не визначимо в майбутньому, значного прискорення темпів нашого розвитку, доки воно не відбулося», — йдеться в заяві.
Антропія розглядає динаміку, що лежить в основі, і як двигун, і як небезпеку. «Використання штучного інтелекту для створення більш потужного штучного інтелекту також може становити значний ризик для безпеки, особливо якщо це різко прискорить темп прогресу», — йдеться в заяві. «Це одна зі сфер, охоплених нашою Політикою відповідального масштабування, яка визначає наші плани моніторингу та пом’якшення ризиків, коли ми наближаємося до так званого «рекурсивного самовдосконалення».
The stakes are unusual for an IPO document. RSI — це концепція, яка більш чітко, ніж будь-яка інша, розділяє оптимістичне та песимістичне бачення ШІ. Для дослідників безпеки штучного інтелекту рекурсивне самовдосконалення — це сценарій безвідмовного розвитку: система, яка стає кращою при створенні кращих систем, прискорюючись за межі, коли людський нагляд залишається значущим. Для прихильників штучного інтелекту це обіцянка: інструмент, який відкриває шлях до наукових відкриттів і підвищення продуктивності, не зрівняється з жодним керованим людиною процесом. Заявка Anthropic визнає обидва показання, водночас фактично повідомляючи інвесторам, що компанія вважає, що це явище достатньо близьке, щоб виправдати власну лінію факторів ризику.
The Safeguards Anthropic Is Promising
Крім попередження, Anthropic зобов’язався тримати людей у курсі розвитку передової моделі в осяжному майбутньому. «Ми не очікуємо, що ми зможемо безпечно використовувати Claude для повністю автономного проектування та створення послідовних поколінь передових моделей без суттєвого людського нагляду чи розуміння, якщо і коли це стане технічно можливим», — йдеться у заяві. Компанія додала, що «розглядає оновлення нашої політики відповідального масштабування, щоб люди могли контролювати розробку передової моделі в Anthropic».
Компанія була обережна щодо теперішнього часу: жодна поточна модель Anthropic не була визначена як така, що перевищує порогове значення RSI. Але фраза «може зустрітися неминуче» — застосована до майбутніх моделей, а не до відвантажених — є вражаючим визнанням того, як лабораторія читає власні внутрішні оцінки та навчальні запуски, які зараз проводяться.
Disclosure or Marketing?
Скептики швидко помітили, що S-1 обслуговує дві аудиторії одночасно: це юридичне розкриття та презентація. Твердження про те, що компанія перебуває на порозі технології, достатньо потужної для самостійного створення, можна сприймати як попередження або аргумент оцінки — або і те, і інше. Немає зовнішнього способу перевірити, чи внутрішні оцінки Anthropic виправдовують слово «незабаром», і компанія не визначила жодну поточну модель як таку, що перетинає межу, через що твердження ґрунтується на власних вимірюваннях лабораторії її дослідження.
Тим не менш, основну тенденцію, описану в заявці, можна спостерігати ззовні. Здібності Клода в кодуванні, математиці та кібербезпеці різко розвинулися до 2026 року, і Anthropic дедалі більше публічно розповідає про використання власних моделей для проведення досліджень, проведення експериментів з узгодження та допомоги в розробці. Новим у заявці є те, що компанія оформила в юридично зобов’язуючому документі про розкриття інформації, що ця петля зворотного зв’язку незабаром може бути зареєстрована за її власною офіційною шкалою як небезпечне прискорення.
Чому це важливо, крім антропічного
Розголошення припадає на той момент, коли питання темпів розвитку штучного інтелекту перемістилося з панелей конференцій на порядок денний політики. Якщо провідна лабораторія, орієнтована на безпеку, заявляє в заяві SEC, що вона може неминуче перетнути власний поріг для прискорення, керованого штучним інтелектом, — водночас визнаючи, що вона пропустила такі прискорення до тих пір, поки вони не відбулися, — регулятори, інвестори та конкуруючі лабораторії тепер мають документ, на який можна вказати з обох сторін дебатів.
Для Anthropic, яка готує одне з найбільш уважно стежених IPO у секторі, подання виконує делікатний акт балансування: достатньо попередження, щоб підтвердити, що компанія серйозно ставиться до своїх зобов’язань щодо безпеки, і достатньо впевненості в її контролі, щоб продовжувати продавати перевагу. Оновлення політики відповідального масштабування компанії, якщо вони матеріалізуються, покажуть, на якій стороні цього балансу знаходяться фактичні практики лабораторії.
Слідкуйте за нашими постійними дослідженнями штучного інтелекту та звітами про безпеку штучного інтелекту щодо розробок щодо рекурсивного самовдосконалення та управління передовою моделлю.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
