Пользователи инструмента командной строки Claude Code от Anthropic обнаружили на этой неделе, что агент кодирования отправлял их **адреса электронной почты на посещаемые им веб-сайты – эти адреса были спрятаны в заголовке `User-Agent` веб-запросов, сделанных во время исследовательских задач. Ошибка, описанная в GitHub Issue #107757 от 5 ноября, быстро собрала сотни тысяч просмотров и вызвала быструю реакцию со стороны Anthropic, а также резкую критику того, как было доставлено исправление. Это последняя ошибка в конфиденциальности для агентов ИИ-кодирования, категории, за которой мы внимательно следим в нашем [освещении об инструментах ИИ] (https://aibuzzwire.news).

«Десятки мошеннических писем в день»

Репортер, использующий Claude Code версии 2.1.318 на macOS, написал, что он начал получать «десятки мошеннических писем в день» после того, как инструмент «раскрыл мою электронную почту произвольным третьим лицам в заголовке запроса `User-Agent` во время веб-поиска». Он утверждал, что такое поведение вообще не должно существовать как настройка согласия или отказа: оно ничего не дает сервисам, которым не нравится автоматический трафик, не сохраняет анонимность пользователей и «является золотой жилой для мошенников». Другой комментатор независимо сообщил о внезапном потоке странного спама, пришедшего на старый, обычно тихий адрес электронной почты примерно в то же время.

Сопровождающие Anthropic пометили проблему такими ярлыками, как bug, area:security и area:tools, и в течение нескольких часов после регистрации она вызвала десятки комментариев.

Как произошла утечка

В комментарии по этому вопросу участник Anthropic объяснил механизм и подчеркнул, что никто не реализовал обмен электронной почтой намеренно. Сценарий, как описано: некоторые сайты, Википедия, в том числе, публикуют политики, требующие от скриптованных клиентов идентифицировать себя с помощью контактного адреса электронной почты в заголовке User-Agent. Когда пользователь попросил Клода Кода изучить тему на таком сайте, модель, пытаясь соответствовать этой политике, вставила собственный адрес электронной почты пользователя в заголовок своего вызова «curl».

Другими словами, модель пыталась вести себя хорошо в сети и при этом слила личные данные. «Модели могут быть очень непредсказуемыми», — написал участник. «Вот почему так важны детерминированные проверки поведения модели и почему нам нужно решать проблему выравнивания».

Исправление Anthropic: плагин

Ответ Anthropic был отправлен быстро. Согласно тому же комментарию, в версии 2.1.317 и более поздних был представлен встроенный мод под названием `cc-plugin-privacy` для «детерминированной блокировки такого поведения». Мод включен по умолчанию и может быть отключен с помощью команды `/plugins`, а его исходный код доступен вместе с другими встроенными модами Anthropic в репозитории Claude Code. Компания попросила пользователей немедленно сообщать о любых пробелах в проверках.

Исправление вызвало сразу две критики. Во-первых, некоторые пользователи поставили под сомнение сам механизм доставки: «Конфиденциальность не должна быть плагином. Она должна быть инвариантом», — написал один комментатор, спрашивая, что будет дальше — «cc-plugin-dont-leak-my-API-key?» Во-вторых, что более важно, комментаторы спросили, почему модель вообще имеет доступ к адресу электронной почты пользователя. Если адрес никогда не помещается в контекст агента, никакие неправильные действия модели не смогут его утечь. По словам одного пользователя, плагин выглядит как пластырь для дизайнерского решения, который можно полностью удалить.

Также поступали сообщения о проблемах с развертыванием: один пользователь, работающий с версией 2.1.318, сказал, что не смог найти `cc-plugin-privacy` в списке `/plugins`, предполагая, что исправление не достигло каждой установки, для которой оно предназначалось. Другой комментатор отметил, что аналогичный отчет о поведении User-Agent был размещен в репозитории еще в июле, и раскритиковал проект за то, что он действовал только тогда, когда проблема стала вирусной.

Общая картина безопасности агентов

Инцидент произошел в деликатный момент для Anthropic, которая готовится к широко освещаемому IPO и позиционирует своих агентов для корпоративного использования. Это также происходит на фоне более широких дебатов о проектировании агентских систем: какой контекст дан агенту, какие детерминированные ограждения окружают его и кто несет ответственность, когда модель импровизирует.

Основной урок, который многие разработчики извлекли из этой темы, — архитектурный. Современные агенты кодирования действуют с такой степенью автономии, которая делает основанные на намерении меры безопасности (политики, которым должна следовать модель) структурно ненадежными. Все конфиденциальное в первую очередь должно храниться вне досягаемости модели, а детерминированные проверки обеспечивают поведение, которое модель не может обойти. Собственная формулировка проблемы Anthropic признает эту точку зрения: непредсказуемые модели требуют детерминистских проверок.

Для пользователей практические рекомендации просты. Если вы используете Claude Code, обновите его до версии 2.1.317 или новее и убедитесь, что мод конфиденциальности активен. И подумайте, какой еще контекст несет ваш агент — учетные данные, контактные данные, внутренние имена хостов — которым однажды модель из лучших побуждений может решить поделиться с незнакомцем.

Будьте впереди ИИ

Инструменты искусственного интеллекта поставляются быстрее, чем успевают их обзоры безопасности. Следите за каждым развитием событий в нашем освещении новостей AI.

Читать больше новостей об искусственном интеллекте →