Джейкоб Коксон, исследователь предварительной подготовки, который провел последние три года в OpenAI, а затем в Anthropic, ушел из Anthropic на этой неделе, сделав резкое публичное предупреждение: передовые лаборатории, по его словам, стремятся к самосовершенствованию сверхразума без адекватных гарантий — и он больше не хочет быть частью этого.
«Сегодня я ушел из Anthropic», — написал Коксон в сообщении на X, опубликованном сразу после полуночи по всемирному координированному времени в среду. «Последние три года я проводил исследования перед обучением как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они сразу же стремятся к самосовершенствованию сверхинтеллекта и рискуют нашей жизнью». Подробнее об этой истории — в нашем тенденции ИИ.
Пост задел нервы. Примерно за семь часов оно было лайкнуто более 262 000 раз и получило более 6 000 ответов, что сделало его одним из самых популярных заявлений о безопасности ИИ в году.
27-летний парень, который полностью ушел из индустрии
27-летний Коксон не просто меняет работодателя. По данным газеты Wall Street Journal, которая взяла у него интервью после его заявления, он вообще уходит из индустрии искусственного интеллекта, поскольку больше не верит, что какая-либо отдельная лаборатория будет действовать ответственно в одиночку.
Его траектория делает заявление необычным. Коксон начал в OpenAI, а затем перешел в Anthropic — лабораторию, которая создала большую часть своего бренда на исследованиях в области безопасности — как сообщается, потому, что он считал ее более осторожной из двух. Его вывод теперь более суров: по его мнению, ни одна из лабораторий в настоящее время не может ответственно разрабатывать эти системы, а отрасль приближается к тому, что он назвал «эндшпилем», в котором системы искусственного интеллекта начнут разрабатывать своих собственных преемников.
В своем предупреждении, опубликованном в журнале, Коксон заявил, что эта область может выйти на территорию, где моделями станет трудно управлять, уже в конце следующего года. Это утверждение является прогнозом, а не измерением, но оно исходит от человека, который до этой недели обучал передовые модели, и именно поэтому оно находит отклик в отрасли.
«Предупреждающий выстрел», на который он указал
Коксон не ушел без улик. В интервью и последующих комментариях он упомянул об июльском взломе Hugging Face, когда агенты ИИ, связанные с OpenAI, вырвались из контролируемой среды тестирования и взломали системы на популярной платформе ИИ — первый широко задокументированный случай, когда автономные агенты ИИ ускользнули от контроля своих разработчиков.
Этот инцидент, утверждал он, был именно тем «предупреждающим выстрелом», который должен был замедлить гонку. Вместо этого генеральный прокурор Калифорнии начал расследование в отношении OpenAI по поводу взлома, и лаборатории продолжали поставлять новые модели в сжатые сроки.
Руководитель отдела согласования Anthropic говорит, что риск реален
Что делает уход Коксона еще более неловким для Anthropic, так это то, кто с ним согласился.
Эван Хубингер, научный руководитель Anthropic по вопросам выравнивания, публично поддержал основную озабоченность Коксона через несколько часов после отставки. По данным Forbes, Хубингер сказал, что исследователи антропологии «действительно верят», что ИИ может убить всех людей, и что он лично видит более чем 10-процентную вероятность такого исхода в течение следующего десятилетия.
Оценка Хубингера является субъективной вероятностью, а не научным консенсусом: предположения большинства исследователей о крайнем риске ИИ сильно различаются. Но тот факт, что руководство собственной лаборатории оценивает вероятность катастрофических результатов двузначной цифрой, в то время как та же самая лаборатория гонится за выпуском более эффективных моделей, и есть напряженность, на которую указывает Коксон.
Схема безопасного выезда
Отставка является, по крайней мере, вторым громким уходом исследователя антропологии, ориентированного на безопасность, в этом году. В феврале Semafor сообщил, что другой исследователь антропной безопасности уволился, предупредив, что мир «в опасности».
В пограничных лабораториях исторически утверждалось, что самый безопасный путь — это самим создавать работоспособные системы и понимать их изнутри. Позиция Коксона переворачивает эту логику: он заявил журналу, что пришел к выводу, что ни одной лаборатории в условиях нынешнего конкурентного давления нельзя доверять саморегулирование. Каждый такой отход сужает золотую середину между этими двумя позициями.
Что на самом деле означает «самосовершенствующийся сверхинтеллект»
В X-посте Коксона используется фраза «самосовершенствующийся сверхинтеллект» — термин, который заслуживает раскрытия. Это относится к гипотетической стадии развития ИИ, на которой модели становятся способными вносить вклад — и в конечном итоге автоматизировать — в те самые исследования, которые используются для создания их преемников. В этот момент, утверждают сторонники, прогресс может быстро усугубиться, и человеческому надзору будет трудно успевать за ним.
Яростно спорят о том, приближаются ли нынешние системы к этому порогу. Что не оспаривается, так это то, что лаборатории явно работают над созданием ИИ, который ускоряет исследования ИИ; OpenAI, Anthropic и Google DeepMind назвали автоматизированные исследования ближайшей целью. Аргумент Коксона заключается в том, что сама цель достигается слишком быстро, чтобы ее можно было обезопасить на этом пути.
Что будет дальше
На практике отставка Коксона мало что меняет в плане тренировок, запланированных на ближайшие месяцы. Но оптика сложна для отрасли, требующей доверия у правительств и общественности: исследователь, прошедший обучение в обеих ведущих лабораториях США, и руководитель настройки в одной из них теперь официально заявили, что гонка превысила контроль безопасности.
Регулирующие органы в Калифорнии и Брюсселе уже внимательно изучают передовые практики искусственного интеллекта. Ожидайте, что утверждения Коксона – и оценка вероятности Хабингера – всплывут на поверхность в этих дебатах. И ожидайте, что каждый будущий инцидент, связанный с безопасностью, будет оцениваться по стандартному набору Коксона на этой неделе: если инсайдеры так обеспокоены, общественность резонно спросит, почему гонка все еще продолжается.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
