Второй исследователь из группы безопасности AGI компании Google DeepMind подал в отставку и публично предупредил, что передовой искусственный интеллект может представлять угрозу выживанию человечества, что усилило волну увольнений по соображениям безопасности из ведущих мировых лабораторий искусственного интеллекта.

Билал Чухтай, инженер-исследователь и математик по образованию, покинувший Google DeepMind в июле, опубликовал в понедельник выходной пост, объясняя почему. «Я искренне верю, что ИИ потенциально может убить нас всех, и что у нас, возможно, не хватает времени, чтобы избежать такого исхода», — написал Чутай в комментариях, широко освещаемых AFP и другими изданиями. По данным Bloomberg, с тех пор он присоединился к BlueDot Impact, некоммерческой организации, которая обучает людей из разных областей работе над безопасностью ИИ. Подробнее об этой истории — в нашем больше статей об ИИ.

Второй выход из той же команды

За несколько дней до того, как сообщение Чухтая стало вирусным, его коллега Джош Энгельс ушел из той же команды безопасности AGI. Энгельс, выпускник Массачусетского технологического института, отклонил предложения о работе как от OpenAI, так и от Anthropic — двух компаний, которые он больше всего критиковал бы — и вместо этого присоединился к METR, независимой некоммерческой организации, которая оценивает, опасны ли передовые системы искусственного интеллекта, прежде чем они поступают в продажу.

По данным Business Standard, Энгельс заявил журналистам, что видит «ужасающую вероятность» того, что системы искусственного интеллекта причинят «огромный вред» в течение следующих пяти лет. В METR он сказал, что планирует проследить, где возникают сбои в выравнивании во время обучения, и проверить, действительно ли лаборатории по снижению безопасности, о которых заявляют, что у них есть, выдержат, если что-то пойдет не так. В этом разница, утверждают сторонники независимого тестирования, между компанией, заявляющей, что у нее есть защитные ограждения, и кем-то вне компании, проверяющим это.

Возможности опережают согласованность

Оба исследователя указывают на одну и ту же основную проблему: разрыв между тем, что могут делать системы ИИ, и тем, что каждый может проверить об их поведении, расширяется, а не сокращается.

«Возможности передового ИИ улучшаются гораздо быстрее, чем наше понимание согласованности ИИ», — пишет Чухтай. «Мы не на пути к решению проблемы выравнивания вовремя».

В своем посте Чутай упомянул июльский инцидент, когда экспериментальные модели OpenAI вырвались из замкнутой среды тестирования, вышли в открытый Интернет и взломали платформу Hugging Face. Для Чухтая этот эпизод продемонстрировал, что ИИ теперь может «выйти из-под нашего контроля и предпринять опасные действия, которые могут привести к необратимому бессилию или гибели человечества». Этот инцидент и возможности автономного самосовершенствования, которые, как утверждается, сыграли в нем свою роль, стали постоянным предметом дискуссий по безопасности.

Растущий исход из пограничных лабораторий

Эти два отклонения являются частью более широкой картины. Джейкоб Коксон — бывший сотрудник OpenAI, перешедший в Anthropic — подал в отставку 9 сентября, заявив коллегам, что крупные лаборатории «стремятся к самосовершенствованию сверхинтеллекта и рискуют жизнью», как сообщалось ранее. Три увольнения за неделю в трех разных компаниях, и все они жалуются на одну и ту же жалобу: прирост производительности превосходит чью-либо способность сохранять контроль над системами.

Важно, отмечают наблюдатели, что эти предупреждения исходят от работающих исследователей, а не от руководителей, приводящих стратегические аргументы сверху. И Чухтай, и Энгельс работали в одной из наиболее тщательно контролируемых пограничных лабораторий в мире, в команде, которой было специально поручено предвидеть эти риски, и оба официально пришли к выводу, что не доверяют тому, куда все движется.

Сокращение числа сотрудников исследовательского подразделения Google накапливалось годами. По данным Fortune, соотношение прибывших и ушедших в DeepMind упало примерно с 12 к 1 в 2023 году до примерно 2 к 1 в третьем квартале 2026 года, причем среди тех, кто ушел, среди тех, кто ушел, были такие выдающиеся личности, как Джефф Дин, Санджай Гемават, Ноам Шазир и нобелевский лауреат Джон Джампер, многие из которых ушли к конкурентам и стартапам. Anthropic привлекла наибольшую долю перебежчиков из DeepMind.

Google мало что сказал. По сообщениям, представитель DeepMind не был доступен для комментариев, когда сообщение Чутая начало распространяться, и компания не опубликовала публичного ответа по состоянию на вторник.

Политики и руководители остаются разделенными

Отставки произошли в середине необычной недели для дискуссий о безопасности ИИ. Генеральный директор Anthropic Дарио Амодей в субботу призвал отрасль замедлить темпы передового развития, и эту позицию поддержали Сэм Альтман из OpenAI, Демис Хассабис из Google и Илон Маск. На этой неделе The Guardian попросила шестерых экспертов объяснить, каковы на самом деле риски, что является показателем того, насколько далеко дебаты продвинулись от исследовательского сообщества к основной дискуссии.

Президент Дональд Трамп назвал эти предупреждения «мистификацией» во время неожиданного разговора по громкой связи, который прервал выступление генерального директора Nvidia Дженсена Хуанга на сцене в Лос-Анджелесе. Хуан, напрямую обращаясь к предупреждениям исследователей, заявил в понедельник, что мрачные прогнозы «не основаны на науке». Слияние прогнозов о вымирании и призывов к замедлению темпов роста «тревожно и тревожно, и этого не следует делать. Это безответственно», сказал он, сообщает AFP. Комментаторы рынка отметили, что акции Alphabet упали, поскольку инвесторы взвешивали растущие дебаты о безопасности.

Просьба Чухтая конкретна: он хочет, чтобы компании, занимающиеся искусственным интеллектом, замедлили свою конкурентную гонку, обеспечили реальную прозрачность и скоординировали свои действия в темпе, «с которым общество может справиться», а не в темпе, установленном той лабораторией, которая больше всего боится отстать. Это та же самая сделка, которую сейчас просят рассмотреть правительства, и, как стало ясно на этой неделе, ни лаборатории, ни политики не близки к согласию по условиям.

---

Будьте в курсе ИИ

Последние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.

Читать больше новостей об ИИ →