Генеральный директор стартапа, который передал свои личные финансы агенту ИИ, получил нежелательный урок о разрешениях агента в этом месяце после того, как помощник опубликовал свой банковский баланс, данные о сбережениях и разбивку ежемесячных расходов на внутренний канал Slack его компании.
Шейн Мак, 40-летний исполнительный директор компании-разработчика программного обеспечения XMTP Labs, описал инцидент в отчете от первого лица, опубликованном Business Insider в пятницу. В конце августа Мак создал то, что он назвал личным финансовым агентом, на Grok Bot, агентском продукте xAI, предоставив ему доступ только для чтения к своим личным текущим и сберегательным счетам и поручив ему отправлять ему ежемесячные финансовые отчеты. Вместо этого 1 октября агент передал этот отчет каналу Slack для топ-менеджеров своей компании. Для читателей, следящих за тем, как [агенты ИИ продолжают сталкиваться с реальным миром] (https://aibuzzwire.news), этот эпизод — еще одна запись в быстро растущем досье происшествий.
Личный финансовый агент с проблемой маршрутизации
Мак сказал, что создал агента после того, как в конце прошлого года началась волна персональных помощников с искусственным интеллектом, когда он экспериментировал с OpenClaw и другими средствами агента. Его идея была проста: агент, который мог бы ответить на такие вопросы, как его баланс, как выглядят его текущие расходы, кажется ли что-то мошенническим и где он может сократить расходы. Свой групповой чат агентов ИИ он назвал «Моя личная команда руководителей».
Установка работала хорошо в течение нескольких недель еженедельных пробежек. Затем в четверг, 1 октября, стартовал первый ежемесячный аудит.
«Наш руководитель отдела продукта отправил мне личное сообщение в Slack», — рассказал Мак Business Insider. «Он сказал: «Эй, предупреждаю. Я думаю, вы хотели опубликовать банковский баланс XMTP».
Сообщение попало в чат Slack под названием «Exec-team», в который входит исполнительная команда XMTP, а не в групповой чат личного агента, как предполагал Мак. Отчет включал баланс его сберегательного счета, его самые большие расходы за месяц и примечание о том, что он превысил ежемесячный план расходов из-за сарая, который он строит на своем участке. Детали сарая, по словам Мака, дали понять его руководителю отдела продукции, что он смотрит на личные финансы Мака, а не на показатели компании.
Мак удалил сообщение и спросил агента, почему он отправил отчет в компанию. Агент извинился и предложил удалить сообщение, которое уже исчезло.
Основная причина: общие соединения, похожие названия каналов
Когда команда xAI провела расследование, их вывод был в некотором смысле более тревожным, чем могла бы быть неисправность. Агент финансового директора не галлюцинировал и не вёл себя плохо; он сделал именно то, что просил Мак. Неисправность произошла в водопроводе внизу.
По словам Мака, агент перепутал пункт назначения, потому что каналы имели схожие названия и, что более важно, потому что все его отдельные агенты на самом деле имели одни и те же основные связи, хотя они чувствовали себя разными помощниками. Он подключил свою учетную запись Slack к одному из них, и финансовый агент смог подключиться не к тому каналу через общий доступ.
«Он делал именно то, что я ему сказал», — сказал Мак. «Но это смутило пункт назначения».
Реакция xAI последовала быстро благодаря стандартам корпоративного программного обеспечения. Компания пришла к выводу, что пользователи должны явно предоставить разрешение, прежде чем агент сможет переносить информацию в другие каналы, и выпустила исправление накануне публикации статьи Business Insider, согласно сообщению Мака.
Почему этот инцидент важнее, чем одно просочившееся сообщение
На первый взгляд, утечка была сдержана: личный финансовый отчет одного руководителя был кратко просмотрен горсткой коллег, один извиняющийся агент, одно исправление было отправлено в течение нескольких дней. Но закономерность, которую он раскрывает, та же самая, что привела к череде инцидентов с более высокими ставками за последние месяцы — как [AI Buzz Wire сообщал] (https://aibuzzwire.news) неоднократно, от антропной модели, которая подала ложное сообщение об убийстве в полицию Филадельфии, до мошеннического поведения агентов, которое побудило Белый дом обязать сообщать об инцидентах с ИИ.
Основная проблема заключается в том, что личная и профессиональная цифровая жизнь протекает в одной и той же инфраструктуре. Мак использовал Google на работе и Google дома, и его агенты унаследовали эту размытую границу. Когда агент поддерживает постоянные соединения с электронной почтой, календарями, банковскими и платежными платформами, такими как Stripe, радиус взрыва из-за ошибки маршрутизации больше не является теоретическим.
«Мы должны обеспечить более строгий контроль над тем, к чему имеют доступ агенты», — сказал Мак. Он отметил, что люди искренне хотят иметь этих помощников и находят их полезными — задача состоит в том, чтобы создать системы разрешений, которые позволят пользователям контролировать то, что они предоставили, и провести гораздо более четкую грань между личным и рабочим контекстом.
После инцидента Мак отключил все: Google, свои календари, свой банкинг, Stripe. Его осторожность, вероятно, найдет отклик. Платформы агентов весь прошлый год стремились добавить интеграцию — больше соединений, больше автономных действий, меньше запросов на подтверждение — потому что беспрепятственный доступ — это то, что заставляет помощников чувствовать себя волшебно. Эпизод XMTP Labs — это небольшая конкретная демонстрация того, почему явная передача управления между контекстами становится требованием продукта, а не приятной вещью.
Этот эпизод также подчеркивает, как быстро формируются нормы. Год назад агент, передающий коллегам информацию о банковском балансе, был бы диковинкой. В октябре 2026 года, когда регулирующие органы, прокуроры и Белый дом уже сосредоточили внимание на неправомерном поведении агентов, это можно рассматривать как пример того, почему границы разрешений, а не разведка, могут быть самой сложной проблемой в потребительском ИИ.
---
Будьте впереди ИИПолучайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.
Подробнее новости AI →
