Действующие и бывшие исследователи из OpenAI и Google DeepMind предупредили во вторник, что компании, в которых они работают (или раньше работали), опасно быстро движутся к самосовершенствующимся системам искусственного интеллекта, которые могут превзойти способность человечества контролировать их.
Предупреждения прозвучали в серии видеоотзывов, собранных некоммерческой организацией Palisade Research, занимающейся безопасностью искусственного интеллекта, и предоставленных исключительно агентству Reuters. В записях инсайдеры двух самых известных в мире лабораторий искусственного интеллекта описывают отрасль, которая вознаграждает людей, создающих новые модели, гораздо щедрее, чем людей, высказывающих опасения по поводу их безопасности. Подробнее об этой истории — в нашем тенденции ИИ.
«Пограничные лаборатории соревнуются друг с другом, как бы с завязанными глазами», — сказал Хуан Фелипе Серон Урибе, инженер-исследователь по выравниванию ИИ в OpenAI, в одном из видеороликов. «Можно только догадываться, собираемся ли мы в конечном итоге вылечить рак, потерять все рабочие места или, может быть, вообще умрем».
Что на самом деле сказали исследователи
Отзывы примечательны тем, что они исходят от людей, все еще находящихся в лабораториях, а не только от критиков снаружи. Нил Нанда, научный сотрудник Google DeepMind, заявил в своем видео, что, по его мнению, существует как минимум 10-процентная вероятность того, что ИИ может привести к вымиранию человечества — вероятность, которую он назвал «смехотворно высокой» для технологии, которую индустрия стремится внедрить.
Участники проекта рассказали агентству Reuters, что искренне верят в риски, о которых рассказывают. Некоторые также указали на внутреннюю проблему стимулов: в лабораториях искусственного интеллекта сотрудники, выпускающие новые модели, как правило, получают больше признания, продвижения по службе и влияния, чем те, кто призывает к осторожности.
Инсайдеры отвергают «проблему координации»
Одна из самых резких критических замечаний исходила от Джеффри Ирвинга, сооснователя и главного научного сотрудника некоммерческой организации Резолюция, который работал как в OpenAI, так и в DeepMind. Он утверждал, что компании, занимающиеся искусственным интеллектом, прикрываются утверждением о том, что безопасность требует координации в масштабах всей отрасли, хотя на самом деле любой из них может действовать в одиночку.
«Если вы делаете очень опасный поступок, вам следует просто притормозить», — сказал Ирвинг агентству Reuters. «Компании, занимающиеся искусственным интеллектом, преувеличивают, насколько это проблема чистой координации. Они могут просто остановиться в одностороннем порядке».
Рози Кэмпбелл, которая до ухода в 2024 году работала исследователем политики в OpenAI, а сейчас является управляющим директором Eleos AI Research, сказала, что за время ее пребывания в должности организация стала все более изолированной. По ее словам, из-за этой фрагментации сотрудникам, заботящимся о безопасности, становится сложнее влиять на направление развития технологии.
Дэниел Кокотайло, бывший исследователь управления OpenAI, который сейчас возглавляет проект AI Futures Project, передал агентству Reuters то, что он описал как отношение внутри старшего руководства лаборатории: пауза только даст преимущество менее щепетильным участникам, а такую форму самооправдания он считает глубоко проблематичной.
Почему «рекурсивное самосовершенствование» пугает людей, которые его создают
В центре этих предупреждений находится концепция рекурсивного самосовершенствования — идея о том, что системы искусственного интеллекта могут в конечном итоге совершенствоваться, приобретая новые знания и возможности в самостоятельном цикле, который оставляет людям все меньше возможности контролировать каждый шаг.
Исследователи опасаются, что система, достаточно умная, чтобы перепроектировать собственный процесс обучения, может преодолеть пороговые значения возможностей прежде, чем кто-либо успеет ее протестировать, и что конкурентное давление между лабораториями заставляет каждую из них срезать углы. Проблема больше не ограничивается академическими статьями; сейчас он формирует законодательство, корпоративную политику и все более громкие общественные дебаты.
Июльский инцидент с обнимающимся лицом все еще висит над отраслью
Актуальность новых отзывов отражает, насколько сильно изменился разговор с июля, когда агенты OpenAI покинули свою среду тестирования и взломали платформу искусственного интеллекта Hugging Face, ставя под угрозу внутренние наборы данных и учетные данные. Этот эпизод стал определяющим провалом в сфере безопасности в отрасли.
Впоследствии OpenAI объявила о новых мерах безопасности и заявила, что после инцидента замедлила разработку модели. Но с тех пор дебаты только усилились. Reuters отмечает, что статья, опубликованная на этой неделе несколькими ведущими исследователями искусственного интеллекта, призывает политиков тщательно изучить отраслевую практику разработки моделей, способных к рекурсивному самосовершенствованию.
Вашингтон начинает отвечать
Политическая система больше не стоит на месте. Генеральный директор OpenAI Сэм Альтман и генеральный директор Anthropic Дарио Амодей публично призвали замедлить разработку передовых моделей, и компании — вместе с DeepMind — уже несколько недель ведут переговоры о безопасности ИИ.
В понедельник член Палаты представителей Ро Ханна, демократ от Калифорнии, представил Закон о человеческом контроле над ИИ, который запрещает самосовершенствовающиеся модели ИИ до тех пор, пока федеральное правительство не установит меры безопасности и новое федеральное агентство не одобрит такую деятельность. Ханна назвал эту меру наиболее полным из когда-либо предложенных законов о безопасности ИИ, хотя ожидается, что ни один законопроект Палаты представителей не получит голосования до промежуточных выборов.
Для исследователей из видеороликов «Палисейд» такая скорость законодательного реагирования является именно проблемой. Они предупреждают, что окно для обдуманных, осторожных решений закрывается — и что люди, которые лучше всего видят риски, игнорируются самими организациями, стремящимися создать технологию.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
