Более 20 исследователей — среди них нобелевский лауреат Джеффри Хинтон, пионер ИИ Йошуа Бенджио, соучредитель Anthropic Джек Кларк и главный научный сотрудник OpenAI Якуб Пачоцки — предупредили правительства о необходимости подготовиться к «интеллектуальному взрыву» ИИ, который, по их словам, может стать самым значимым технологическим достижением в истории, сообщила The Guardian в понедельник.

В документе, озаглавленном «Что, если автоматизация исследований и разработок в области искусственного интеллекта вызовет взрыв интеллекта», призывает политиков действовать до того, как в технологии произойдет безудержный прогресс. Его авторы описывают этот сценарий как «резкое ускорение прогресса искусственного интеллекта, сжимающее достижения, которые в противном случае заняли бы годы, до месяцев или меньше». Для читателей, отслеживающих [последние новости исследований в области ИИ] (https://aibuzzwire.news), отчет примечателен не столько своей тревогой, сколько тем, кто его подписал: представители научных кругов и конкурирующих передовых лабораторий совместно доказывают, что автоматизированные исследования — это сценарий, к которому политики менее всего готовы.

Что будет означать взрыв интеллекта

Центральную озабоченность авторов вызывает перспектива самосовершенствования систем ИИ без вмешательства человека — процесс, известный как рекурсивное самосовершенствование, который в статье широко называется автоматизированными исследованиями и разработками ИИ.

Как утверждается в документе, как только системы искусственного интеллекта достигнут экспертного уровня в исследованиях и разработках искусственного интеллекта, один разработчик сможет управлять рабочей силой, эквивалентной «миллионам» ведущих исследователей-людей. Автоматизация исследований и разработок в области ИИ, по мнению авторов, является наиболее вероятным триггером интеллектуального взрыва, поскольку системы ИИ уже способствуют совершенствованию собственных технологий, а улучшенные системы, которые они помогают создавать, могут быть быстро развернуты после создания.

«Интеллектуальный взрыв может стать самым значительным технологическим достижением в истории человечества, сжимая годы прогресса до месяцев или даже меньше, ставя под угрозу человеческий контроль над системами искусственного интеллекта и серьезно разрушая контроль над властью внутри и между государствами, компаниями и ветвями власти», — говорится в статье, согласно The Guardian.

Почему авторы говорят, что окно закрывается

Актуальность доклада обусловлена заявлением о сроках: системы искусственного интеллекта, которые сегодня кажутся сбоями, могут к 2028 году полностью автоматизировать проекты исследований и разработок, которые в настоящее время занимают месяцы у человеческих команд.

«Прирост производительности от автоматизации исследований и разработок в области искусственного интеллекта еще не достиг порога, необходимого для запуска интеллектуального взрыва, но выигрыш от новых систем, вероятно, приближается к этому порогу», — пишут авторы. «Как только начнется интеллектуальный взрыв, окно для действий может закрыться».

В документе добавляется, что «предварительные данные свидетельствуют о том, что возможен взрыв программного интеллекта», который может привести к «чрезвычайно быстрому развитию высокоэффективных или сверхчеловеческих систем искусственного интеллекта».

Риски, которые они отмечают

Хотя интеллектуальный взрыв может привести к медицинским прорывам и быстрым технологическим скачкам, авторы выделяют три основные опасности:

  • Безудержные угрозы. Мощные системы могут способствовать возникновению биологических и киберугроз, которые развиваются быстрее, чем меры, необходимые для противодействия им.
  • Потерян контроль. По мере того, как люди будут меньше участвовать в исследованиях и разработках в области ИИ, они могут потерять возможность направлять и ограничивать системы, которые они создают.
  • Стратегическая нестабильность. Государства могут использовать взрывной рост разведки, чтобы превратить скромное преимущество – например, в киберпространстве – в решающее национальное преимущество.

В отчете откровенно говорится, что эти последствия являются «неопределенными». Для реализации технологического прорыва может потребоваться время, учитывая цепочки поставок специализированных материалов или нормативные требования, а системы искусственного интеллекта также могут ускорить скорость снижения рисков.

Что должны делать правительства

Авторы говорят, что подготовка к разведывательному взрыву "должна стать неотложным приоритетом, в том числе на самых высоких уровнях государственного руководства", и излагают ряд возможных политических мер:

  • Требование прозрачных отчетов о ходе исследований и разработок, связанных с ИИ, включая внедрение независимых аудиторов в компании, занимающиеся ИИ.
  • Ограничение скорости улучшения системы ИИ в течение заданного периода времени.
  • Работа с центрами обработки данных для возможности приостановки определенных проектов исследований и разработок в области искусственного интеллекта.
  • Обеспечение полной изоляции автоматизированных систем исследований и разработок в области искусственного интеллекта, которые не могут выйти из-под контроля человека.
  • Создание «планов реагирования на чрезвычайные ситуации» для ряда сценариев, которые может вызвать взрыв разведки.

Предложения расширяют идеи, уже присутствующие в западной политике в области искусственного интеллекта — обязательное сообщение об инцидентах, оценку третьей стороной и управление вычислениями — но применяют их к конкретной конечной точке: автоматизации самих исследований.

Почему именно эти авторы и почему именно сейчас

Подписавшиеся придают документу необычный вес. Хинтон и Бенджио — двое «крестных отцов» современного искусственного интеллекта, получившие признание за основополагающие работы в области нейронных сетей; оба стали известными голосами, предупреждающими о технологиях, которые они помогли создать. Кларк стал сооснователем Anthropic, а Пачоки — главным научным сотрудником OpenAI.

Их предупреждение прозвучало на фоне заметного движения отрасли в этом направлении. По данным The Guardian, Anthropic заявила, что ИИ теперь создает 80% собственного кода, в то время как OpenAI использует автономные агенты ИИ в таких областях, как обучение новых моделей. Обе лаборатории также согласились привлечь независимых оценщиков для оценки своих моделей после предупреждения о том, что развитие ИИ достигает критического уровня с точки зрения безопасности.

Другой вопрос, будут ли правительства действовать теми темпами, которых хотят авторы. Но основной аргумент газеты — что тормоза следует устанавливать еще до того, как они потребуются машине — теперь поддерживается людьми, наиболее близкими к машине.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →