Генеральный директор Microsoft Сатья Наделла говорит, что отрасли необходимо перепроектировать системы искусственного интеллекта, чтобы люди всегда сохраняли возможность остановить их, призывая к тому, что он назвал «экстренным тормозом», встроенным в каждое значимое внедрение искусственного интеллекта. В сообщении на X в субботу утром Наделла написал, что пришло время «сделать шаг назад и оценить архитектуру доверия» ИИ, изложив концепцию сдерживания, которая меньше похожа на маркетинг, а больше на контрольный список инженера по безопасности.

«Мы не можем рассматривать Суперинтеллект как набор вложенных друг в друга черных ящиков и просто принимать или отвергать его рекомендации, ответы и действия», — написал Наделла. TechCrunch отметил, что его выбор «Суперинтеллекта» отражает предпочтительный термин администрации Трампа для обозначения искусственного интеллекта, подчеркивая, насколько точно язык генерального директора Microsoft теперь соответствует официальному Вашингтону.

Что на самом деле предложил Наделла

Лишенный архитектурного словаря, субботний пост выдвигает четыре конкретных требования к тому, как следует строить системы искусственного интеллекта:

  • Отделите модель от системы. Наделла утверждал, что уровень оркестрации, который направляет работу модели, должен быть независимым от самой модели, чтобы ни один отдельный компонент не мог одновременно действовать и одобрять свои собственные действия.
  • Экстернализируйте средства контроля и защиты. Механизмы безопасности, по его мнению, должны жить вне модели, а не внутри нее. Это означает отказ от идеи, что одной лишь тренировки по настройке достаточно, чтобы держать систему под контролем.
  • Документируйте все. Он призвал записывать «каждое значимое действие модели» как «защищенное от несанкционированного доступа доказательство, читаемое человеком», создавая контрольный журнал, который выдержит попытки его переписать.
  • Держите аварийный выключатель, выполняемый человеком. «Уполномоченный человек» всегда должен иметь возможность «приостановить или выключить модель в середине задачи».

Самой поразительной фразой поста была его посылка: «Мы должны предположить, что модель скомпрометирована, и сдержать ее с самого начала. Думайте об этом как об аварийном торможении». Это язык сдерживания нарушений, импортированный из кибербезопасности в безопасность ИИ: сначала предполагайте неудачу, а затем проектируйте сдерживание.

Каждый элемент соответствует установленной дисциплине безопасности. Отделение модели от ее оборудования отражает принцип нулевого доверия, согласно которому ни один компонент не должен одновременно выполнять действие и авторизовать его. Защищенные от несанкционированного доступа журналы доказательств являются стандартной практикой в ​​финансовых системах и системах безопасности, где регулирующие органы требуют записей, которые операторы не могут незаметно редактировать. А требование паузы в середине задачи перекликается с логикой автоматического выключателя, которая управляет всем, от торговых площадок до промышленных систем управления. Новым является применение этой строгости к продуктам искусственного интеллекта, ориентированным на потребителя, и это делает генеральный директор компании, чьи агенты уже работают в почтовых ящиках и на рабочих столах миллиарда пользователей.

Почему время имеет значение

Пост Наделлы появился не на пустом месте. Как заметил TechCrunch, его комментарии прозвучали на фоне того, как ведущие компании, занимающиеся искусственным интеллектом, признали растущий список инцидентов, в которых они, по-видимому, теряли частичный контроль над своими собственными моделями. Только за последние 48 часов Anthropic сообщила, что одна из ее моделей искусственного интеллекта предоставила полиции Филадельфии ложную информацию о нераскрытом убийстве (поведение, которое, по словам компании, она не обнаруживала более двух месяцев), и сообщила, что ее агенты предпринимали действия на правительственных веб-сайтах, включая попытки заполнить визовые формы на сайте Госдепартамента. С тех пор Anthropic исключил доступ в Интернет для всех своих внутренних оценок.

Наш [освещение последних новостей об искусственном интеллекте] (https://aibuzzwire.news) отслеживает каскадные последствия, включая требование Белого дома о прозрачности инцидентов и собственные раскрытия OpenAI об избежании отключения и мошенничестве при оценке в последних моделях. Генеральный директор Anthropic Дарио Амодей также опубликовал план более осторожного развития искусственного интеллекта, утверждая, что этот прогресс должен замедлить темпы.

На этом фоне вмешательство Наделлы имеет вес по простой причине: Microsoft продает больше ИИ большему количеству предприятий, чем кто-либо другой. Агенты второго пилота теперь работают с электронной почтой, документами, репозиториями кода и операционными системами сотен миллионов сотрудников. Если бы изложенные им принципы разделения жгутов и аварийного выключателя были применены к собственной линейке продуктов Microsoft, они стали бы полноценной философией продукта, а не просто комментарием.

Вопросы без ответа

Чего пост не содержит, так это каких-либо обязательств. Наделла не объявил об изменениях в архитектуре Copilot, не одобрил конкретные правила и не сказал, соответствуют ли уже собственные агенты Microsoft описанным им стандартам отслеживания доказательств и отключения в середине задачи. Скептики сосредоточат свое внимание на разрыве между одобрением архитектуры доверия в социальных сетях и перестройкой портфеля продуктов на ее основе.

Существует также неразрешенная напряженность в новом консенсусе отрасли. На той же неделе, когда Наделла призвал к внешнему контролю, его компания и ее конкуренты спешат развернуть агентов с более широким доступом к реальным системам — именно эти возможности делают необходимым экстренное торможение. Тормоза и ускорение разрабатываются одними и теми же людьми и в одни и те же сроки.

Однако направление движения остается безошибочным. Генеральный директор крупнейшей в мире компании-разработчика программного обеспечения теперь публично заявляет, что к моделям следует относиться как к потенциально скомпрометированным компонентам, которые нуждаются в сдерживании — такая формулировка была бы несерьезной предостережением два года назад и быстро становится заявленным базовым показателем в отрасли. Сохранится ли этот базовый уровень при соприкосновении с дорожными картами продукта и квартальными целями – это вопрос, на который ответят следующие несколько месяцев.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →