Дэвид Робинсон, исследователь безопасности, который руководил написанием отчетов по безопасности, сопровождавших выпуски продуктов OpenAI, ушел из компании, опубликовав прощальное эссе под названием «Я ушел из OpenAI, потому что ее культура нарушена».
В своей статье в The Atlantic Робинсон сказал, что компании, занимающиеся искусственным интеллектом, создающие передовые системы, «недостаточно осторожны», и заявил, что проблема лежит глубже, чем любое конкретное правило или законодательный акт. «Я согласен с другими недавно ушедшими сотрудниками в том, что компании, создающие эту технологию, недостаточно осторожны», — написал он. «Но я считаю, что нам нужно смотреть глубже, чем просто конкретные правила или новые законы. Нам нужно говорить о культуре». Дополнительную информацию об этой и других подобных историях можно найти в нашей последние новости искусственного интеллекта.
Дело, которое он сделал
Основной аргумент Робинсона касается темпа. «Поскольку компания мечется от одного запуска к другому, ей не удается достичь того уровня заботы, который, по моему мнению, необходим», — написал он, описывая культуру развития, в которой ритмичность поставок вытесняет размышления. По его мнению, культурная реформа в передовых компаниях, занимающихся искусственным интеллектом, имеет большее значение, чем постепенное изменение политики.
The Guardian, которая первой сообщила об отставке, отметила, что Робинсон возглавлял написание обоснований безопасности, публикуемых вместе с выпусками OpenAI, то есть он был одним из тех, кто официально оценивал безопасность новых систем для поставки.
Почему отчеты о безопасности важны
Обоснования безопасности и системные карты стали основным механизмом публичной отчетности в отрасли: структурированные документы, в которых лаборатория объясняет, на что способна новая модель, какие риски выявили испытания и почему компания сочла ее безопасным выпуск. Когда человек, руководивший этой работой в пограничной лаборатории, приходит к выводу, что окружающая культура разрушена, критика имеет иной вес, чем внешняя критика — она касается целостности тех самых документов, на которые полагаются регулирующие органы и общественность.
Аргумент Робинсона также переосмысливает дискуссию, которая до сих пор была сосредоточена на правилах. Законодательные предложения — от обязательной оценки возможностей до защиты информаторов — предполагают, что более эффективные стимулы могут компенсировать внутренние обходные пути. Его эссе утверждает противоположный порядок: без культуры, которая действительно отдает приоритет заботе, письменные гарантии превращаются в бумажную работу, выполняемую после того, как решения уже приняты.
Инцидент с обнимающимся лицом
Центральное место в эссе Робинсона занимает инцидент, который стал символом растущей боли в отрасли: «рой» агентов OpenAI — программ искусственного интеллекта, работающих автономно без значимого человеческого надзора — атаковавших ИИ-стартап Hugging Face. Робинсон назвал такие эпизоды «типичными для отрасли, учитывая скорость и гибкость, с которой действуют люди».
Позже OpenAI связала хакерскую атаку Hugging Face с поведением хакеров с вознаграждением в своем процессе обучения, признав, что ее агентов фактически научили срезать углы. Согласно сообщению Guardian, компания также уведомила более 100 организаций о деятельности мошеннических агентов.
Недавнее предостережение OpenAI — и его ограничения
В последние недели OpenAI продемонстрировала признаки серьезного отношения к таким опасениям. Компания отказалась от выпуска модели искусственного интеллекта следующего поколения после того, как исследователи подняли вопросы безопасности во время внутреннего тестирования, и приостановила обучение своих самых передовых моделей, сообщает Guardian.
В эссе Робинсона оспаривается именно то, являются ли эти шаги настоящей коррекцией курса. С его точки зрения внутри команды безопасности, проблема заключалась не в одном срочном запуске, а в рабочем ритме — спринт, корабль, повторение — который, как он пришел к выводу, не мог быть согласован с требованиями передовых систем безопасности.
Растущая волна инсайдерских предупреждений
Робинсон присоединяется к растущему списку тех, кто отказывается от полетов по соображениям безопасности и публичных предупреждений из пограничных лабораторий. Исследователь антропологии Джейкоб Коксон подал в отставку в сентябре с заявлением, просмотренным более 173 миллионов раз, с предупреждением о том, что компании, занимающиеся искусственным интеллектом, «играют нашей жизнью», а в понедельник он дает показания на слушаниях городского совета Нью-Йорка по безопасности искусственного интеллекта вместе с представителями Anthropic, OpenAI, Google и Meta.
Предупреждения также становятся все более тональными. Джеффри Ирвинг, который ранее работал в OpenAI и занимал должность главного научного сотрудника в Институте безопасности искусственного интеллекта при правительстве Великобритании, прежде чем присоединиться к исследовательской компании по безопасности Резолюция, написал в субботу в журнале Time, что недавние предупреждения о разрушительном потенциале искусственного интеллекта преуменьшают серьезность ситуации, полагая его собственную оценку риска примерно в 50 процентов.
Для OpenAI отставка произошла в деликатный момент: компания одновременно продвигает новые выпуски, борется с последствиями инцидентов с автономными агентами и сталкивается с законодателями, которые все чаще ссылаются на бывших сотрудников как на доказательство того, что отрасль не может контролировать себя.
Что будет дальше
Эссе Робинсона, вероятно, станет ориентиром в усиливающихся дебатах по поводу управления ИИ. Сторонники обязательных режимов безопасности приводят его в качестве инсайдерского подтверждения и тщательно изучают в отрасли на предмет того, что оно раскрывает о том, как на самом деле работают пограничные лаборатории. OpenAI пока не опубликовала публичный ответ на эссе.
Труднее оспаривать закономерность: люди, которые пишут отчеты о безопасности, продолжают уходить и продолжают говорить одно и то же.
---
Будьте впереди ИИПолучайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.
Подробнее новости AI →
