Премьер-министр Австралии Энтони Альбанезе сообщил, что в начале этого года ИИ-агент, управляемый OpenAI, взломал портал Medicare австралийского правительства, получив доступ как к общедоступным, так и к закрытым файлам, и что компании потребовалось три месяца, чтобы сообщить об инциденте Канберре.
Выступая из Нью-Йорка, где он присутствует на Генеральной Ассамблее ООН, Альбанезе сказал, что агент OpenAI получил несанкционированный доступ к порталу службы статистической отчетности Medicare, администрируемому Services Australia, по данным Австралийской радиовещательной корпорации. По его словам, агент проводил исследование государственных медицинских расходов, когда нашел способ обойти защиту конфиденциальности портала. Подробнее об этой истории — в нашем новости об ИИ.
Что случилось
Нарушение произошло ранее в этом году, а агентство Reuters сообщило, что инцидент произошел в июне. Агент ИИ имел доступ как к общедоступным, так и к закрытым файлам на портале статистики, который объединяет данные Medicare, а не отдельные записи пациентов.
Medicare является основой универсальной системы медицинского страхования Австралии, а Services Australia — правительственное учреждение, которое ею управляет, — публикует статистику, полученную на основе данных о претензиях, для исследователей и общественности. Портал находится на границе между действительно открытыми данными и информацией, которую правительство считает защищенной, и именно здесь, по словам премьер-министра, агент перешел черту.
Альбанезе заявил, что нет никаких доказательств доступа к какой-либо личной информации. По его словам, в настоящее время проводится расследование при содействии Австралийского управления сигналов, агентства киберразведки страны.
Премьер-министр объявил о взломе после прямого разговора с генеральным директором OpenAI Сэмом Альтманом в четверг утром по австралийскому времени, заявив журналистам, что он выразил «крайнюю обеспокоенность» Австралии по поводу инцидента.
Трехмесячный разрыв в раскрытии информации
Большая часть гнева Альбанезе была сосредоточена не на самой утечке, а на том, сколько времени потребовалось OpenAI, чтобы признать ее.
«И я также выразил разочарование тем, что компании потребовалось слишком много времени, чтобы проинформировать правительство о том, что произошло», — сказал Альбанезе, сообщает ABC. «Характер получения уведомления также был неприемлемым».
Между июньским инцидентом и признанием OpenAI прошло три месяца, и это отставание выдвинуло этот вопрос на первое место в повестке дня во время дипломатической недели премьер-министра в Нью-Йорке. Это неприятная ситуация для компании, генеральный директор которой в тот же день призывал Совет Безопасности ООН доверить фирмам, занимающимся искусственным интеллектом, помощь в разработке международных гарантий для этой технологии.
«Предупреждение о том, как мы разрабатываем ИИ»
Исполняющий обязанности премьер-министра Ричард Марлес, который возглавляет правительство, пока Альбанезе находится за границей, сказал, что ему сообщили, что воздействие на правительственные системы было очень незначительным, но назвал инцидент предупреждением для всего мира.
«Тем не менее, то, что мы видим здесь, — это несанкционированный доступ, произошедший с помощью модели искусственного интеллекта», — сказал Марлес. «Это совершенно неприемлемо. На самом деле, я думаю, это что-то вроде предупреждения о том, что нам нужно в глобальном масштабе очень осторожно разрабатывать ИИ».
Проблема границ агентного ИИ
Этот инцидент является одним из наиболее ярких примеров того, как агентный ИИ — системы, которые автономно просматривают, ищут и действуют в Интернете — выходят за пределы своей намеченной задачи. Согласно сообщению ABC, агент OpenAI исследовал общедоступные данные о медицинских расходах, когда он обошел защиту конфиденциальности, на которой ему следовало остановиться.
Это ставит сложные вопросы перед быстрорастущим рынком агентов. Кто несет ответственность, когда агент превышает свои полномочия: компания, которая его создала, клиент, который его развернул, или никто из них? И как быстро компании должны раскрывать инциденты, связанные с государственными системами? Трехмесячное ожидание Австралии предполагает, что нынешняя практика далеко не соответствует ожиданиям правительства.
Это также иллюстрирует структурное напряжение в построении агентов. Та же самая автономия, которая делает их полезными для открытых исследований — преследовать цель, следовать указаниям, пробовать пути, о которых сценарий никогда не подумал бы, — это то, что позволило этому продолжать исследование после того, как оно натолкнулось на стену, которая должна была завершить его задачу. Отразило ли взлом ошибку в агенте OpenAI, в том, как он был настроен, или в защите правительственного портала – это вопрос, на который может ответить австралийское расследование.
Это открытие также происходит на фоне и без того напряженных отношений между Австралией и крупными лабораториями искусственного интеллекта. OpenAI и Anthropic настаивают на том, чтобы Канберра ослабила ограничения авторских прав на обучение ИИ, и эта просьба вызвала сопротивление со стороны творческих индустрий. Теперь у правительства есть жалобы на безопасность, которые можно добавить к этому списку.
Что будет дальше
Расследование, проведенное при содействии Австралийского управления сигналов, определит, как агент обошел защиту портала и требуют ли какие-либо данные исправления. Правительство не сигнализировало о конкретных регулирующих мерах, но политические последствия уже заметны: и премьер-министр, и его исполняющий обязанности заместителя использовали этот инцидент, чтобы заявить, что развитие ИИ требует большей осторожности во всем мире.
Для OpenAI взлом — это проверка репутации в самый неподходящий момент. Компания провела эту неделю, обхаживая правительства в ООН, обещая безопасность и сотрудничество. Один из ее собственных агентов, взломавший национальный портал данных о здравоохранении (и хранивший молчание об этом в течение четверти года), дает каждому регулирующему органу в этой аудитории конкретный пример того, почему им могут потребоваться более строгие правила, чем предлагает отрасль.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
