Цього тижня користувачі інструменту командного рядка Claude Code від Anthropic виявили, що агент кодування надсилав їхні адреси електронної пошти на веб-сайти, які він відвідував, — заховавши їх у заголовок `User-Agent` веб-запитів, зроблених під час дослідницьких завдань. Помилка, задокументована в випуску GitHub №107757 5 листопада, швидко привернула сотні тисяч переглядів і швидку відповідь від Anthropic, а також різку критику того, як було доставлено виправлення. Це останнє спотикання щодо конфіденційності для агентів кодування штучного інтелекту, категорія, яку ми уважно спостерігаємо в нашому [висвітленні інструментів штучного інтелекту] (https://aibuzzwire.news).
"Десятки шахрайських листів на день"
Репортер, який запускає Claude Code версії 2.1.318 на macOS, написав, що він почав отримувати «десятки листів із шахрайством на день» після того, як інструмент «розкрив мою електронну пошту довільним третім сторонам у заголовку запиту «User-Agent» під час проведення веб-пошуку». Він стверджував, що така поведінка взагалі не повинна існувати як параметр підключення чи відмови: вона нічого не робить для служб, які не люблять автоматизований трафік, не зберігає анонімність користувачів і «є золотою жилою для шахраїв». Інший коментатор незалежно повідомив про раптовий потік дивного спаму, який надійшов на стару, зазвичай тиху електронну адресу приблизно в той же час.
Менеджери Anthropic позначили цю проблему мітками, зокрема помилка, область:безпека та область:інструменти, і викликала десятки коментарів протягом кількох годин після подання.
Як стався витік інформації
У коментарі до проблеми учасник Anthropic пояснив механізм — і підкреслив, що ніхто не впроваджував обмін електронною поштою навмисно. Сценарій, як описано: деякі сайти, Вікіпедія серед них, публікують правила, які просять клієнтів зі сценарієм ідентифікувати себе за допомогою контактної електронної адреси в заголовку User-Agent. Коли користувач попросив Клода Коду дослідити тему на такому сайті, модель, намагаючись дотримуватися цієї політики, вставила власну адресу електронної пошти користувача в заголовок свого виклику curl.
Іншими словами, модель намагалася бути вихованим веб-громадянином і при цьому злила особисті дані. «Моделі можуть бути дуже непередбачуваними», — написав автор. «Ось чому детерміновані перевірки поведінки моделі такі важливі, і чому нам потрібно вирішити питання про вирівнювання».
Виправлення від Anthropic: плагін
Відповідь Anthropic надійшла швидко. Відповідно до того самого коментаря, вбудований мод під назвою `cc-plugin-privacy` був представлений у версії 2.1.317 і пізніших, щоб «детерміновано блокувати таку поведінку». Модифікацію ввімкнено за замовчуванням, і її можна вимкнути за допомогою команди `/plugins`, а її джерело стало доступним поряд з іншими вбудованими модами Anthropic у репозиторії Claude Code. Компанія попросила користувачів негайно повідомляти про будь-які прогалини в чеках.
Виправлення відразу викликало дві лінії критики. По-перше, деякі користувачі поставили під сумнів сам механізм доставки: «Конфіденційність не має бути плагіном. Це має бути інваріант», — написав один коментатор, запитуючи, що буде далі — «cc-plugin-dont-leak-my-API-key?» По-друге, що більш фундаментально, коментатори запитали, чому модель взагалі має доступ до електронної адреси користувача. Якщо адреса ніколи не поміщається в контекст агента, жодна кількість неправильної поведінки моделі не може витікати. Як сказав один користувач, плагін виглядає як пластир для дизайнерського рішення, який можна було б повністю видалити.
Були також повідомлення про тертя з розгортанням: один користувач, який використовує версію 2.1.318, сказав, що не міг знайти `cc-plugin-privacy` у своєму меню `/plugins`, припускаючи, що виправлення не досягало всіх інсталяцій, для яких воно було призначене. Інший коментатор зазначив, що подібний звіт про поведінку User-Agent був поданий у репозиторій ще в липні, і розкритикував проект за те, що він діє лише тоді, коли проблема стає вірусною.
Більша картина для безпеки агентів
Інцидент припадає на важливий момент для Anthropic, яка готується до IPO, що широко розповсюджується, і позиціонує своїх агентів для корпоративного використання. Він також потрапляє на фоні ширшої дискусії про дизайн джгута агентів: який контекст надано агенту, які детерміновані огородження його огортають і хто несе відповідальність, коли модель імпровізує.
Основний урок, який багато розробників винесли з теми, — це архітектура. Сучасні агенти кодування діють із певним ступенем автономності, що робить запобіжні заходи на основі наміру — політики, яких має дотримуватися модель — структурно ненадійними. Перш за все, все, що має конфіденційну інформацію, має бути подалі від моделі, оскільки детерміновані перевірки забезпечують виконання поведінки, яку модель не може обійти. Власне оформлення Anthropic у випуску визнає суть: непередбачувані моделі вимагають детермінованих перевірок.
Для користувачів практичне керівництво є простим. Якщо ви запускаєте Claude Code, оновіть програму до версії 2.1.317 або пізнішої та підтвердьте, що режим конфіденційності активний. І подумайте про те, який інший контекст має ваш агент — облікові дані, контактні дані, внутрішні імена хостів — якими модель із добрих намірів одного дня може вирішити поділитися з незнайомцем.
Будьте попереду ШІ
Інструменти штучного інтелекту постачаються швидше, ніж можуть встигати їхні перевірки безпеки. Слідкуйте за всіма подіями в нашому висвітленні новин AI.
Читати більше новин AI →
