Výkonný ředitel startupu, který předal své osobní finance agentovi AI, dostal tento měsíc nechtěnou lekci o oprávněních agenta poté, co asistent zveřejnil svůj bankovní zůstatek, výši úspor a měsíční rozpis výdajů na interní kanál Slack jeho společnosti.

Shane Mac, 40letý výkonný ředitel softwarové společnosti XMTP Labs, popsal incident v účtu první osoby, který v pátek zveřejnil Business Insider. Mac na konci srpna vybudoval to, co nazýval osobním finančním agentem, na Grok Botovi, produktu xAI pro agenty, čímž mu poskytl přístup pouze pro čtení k jeho osobním kontrolním a spořicím účtům a dal mu pokyn, aby mu zasílal měsíční finanční zprávu. Místo toho 1. října agent doručil tuto zprávu vedoucímu týmu Slack ve své vlastní společnosti. Pro čtenáře, kteří sledují, jak agenti AI stále kolidují se skutečným světem, je epizoda dalším záznamem v rychle rostoucím souboru incidentů.

Osobní CFO Agent s problémem se směrováním

Mac řekl, že agenta založil poté, co se koncem loňského roku spustila vlna osobních asistentů AI, když experimentoval s OpenClaw a dalšími postroji agentů. Jeho nápad byl přímočarý: agent, který dokáže odpovědět na otázky, jako jsou jeho zůstatky, jak vypadají jeho opakované výdaje, zda se něco nezdá být podvodné a kde by mohl snížit náklady. Svůj skupinový chat agentů AI pojmenoval „Můj osobní tým Exec“.

Nastavení fungovalo dobře po týdny týdenních běhů. Ve čtvrtek 1. října pak odstartoval první měsíční audit.

"Náš vedoucí produktu mi poslal DM na Slack," řekl Mac Business Insider. "Řekl: 'Hej, heads-up. Myslím, že jsi chtěl poslat bankovní zůstatek XMTP'."

Zpráva přistála na chatu Slack s názvem „Exec-team“, který zahrnuje výkonný tým XMTP – nikoli skupinový chat osobního agenta, který Mac zamýšlel. Zpráva obsahovala jeho zůstatek na spořicím účtu, jeho největší výdaje za měsíc a poznámku, že překročil svůj měsíční cíl výdajů kvůli stodole, kterou staví na svém pozemku. Podrobnosti o stodole, řekl Mac, bylo to, co upozornilo jeho vedoucího na produkt, že se dívá na osobní finance Mac spíše než na údaje o společnosti.

Mac zprávu smazal a zeptal se agenta, proč zprávu poslal společnosti. Agent se omluvil a nabídl smazání zprávy – která už byla pryč.

Hlavní příčina: Sdílená připojení, podobné názvy kanálů

Když tým xAI vyšetřoval, jejich závěr byl v některých ohledech znepokojivější, než by byla porucha. Agent CFO neměl halucinace ani se nechoval špatně; udělal přesně to, co Mac požádal. Porucha byla v potrubí pod ním.

Podle Macova účtu si agent spletl svůj cíl, protože kanály měly podobné názvy a – což je důležitější – protože všichni jeho samostatní agenti ve skutečnosti sdíleli stejná základní spojení, i když se cítili jako odlišní asistenti. Připojil svůj Slack účet k jednomu z nich a finanční agent se nakonec přes tento sdílený přístup dostal na špatný kanál.

"Dělal přesně to, co jsem mu řekl," řekl Mac. "Ale zmátlo to cíl."

Odezva xAI přišla rychle podle standardů podnikového softwaru. Společnost dospěla k závěru, že uživatelé musí výslovně udělit povolení, než bude agent moci přesunout informace na jiné kanály, a podle Macova účtu odeslala opravu noc před zveřejněním článku Business Insider.

Proč na tomto incidentu záleží více než jedna uniklá zpráva

Na první pohled byl únik obsažen: osobní finanční shrnutí jednoho vedoucího pracovníka krátce vidělo několik kolegů, jeden omluvný agent, jedna oprava odeslaná během několika dní. Vzor, který odhaluje, je však stejný, který v posledních měsících vyvolal řadu závažných incidentů – jak AI Buzz Wire opakovaně hlásil, od antropického modelu, který podal falešný tip na vraždu filadelfské policii, až po chování nepoctivých agentů, které přimělo Bílý dům k tomu, aby nahlásil incidenty AI.

Hlavním problémem je, že osobní a profesionální digitální život běží na stejné infrastruktuře. Mac používal Google v práci a Google doma a jeho agenti zdědili tuto rozmazanou hranici. Když agent udržuje stálá spojení s e-mailem, kalendáři, bankovnictvím a platebními platformami, jako je Stripe, není okruh výbuchu chyby směrování již teoretický.

"Musíme zajistit lepší kontrolu nad tím, k čemu mají agenti přístup," řekl Mac. Poznamenal, že lidé tyto asistenty skutečně chtějí a považují je za užitečné – výzvou je vybudovat systémy povolení, které uživatelům udrží kontrolu nad tím, co udělili, a vytyčí mnohem jasnější hranici mezi osobním a pracovním kontextem.

Po incidentu Mac odpojil všechno: Google, jeho kalendáře, bankovnictví, Stripe. Jeho opatrnost bude pravděpodobně rezonovat. Agentské platformy strávily minulý rok závody v přidávání integrací – více připojení, více autonomních akcí, méně výzev k potvrzení – protože bezproblémový přístup je to, co dělá asistentům kouzelný pocit. Epizoda XMTP Labs je malou, konkrétní demonstrací toho, proč se explicitní předávání mezi kontexty stává spíše požadavkem na produkt než příjemným.

Tato epizoda také podtrhuje, jak rychle se tvoří normy. Před rokem by agent prozrazující bankovní zůstatek spolupracovníkům byl kuriozitou. V říjnu 2026, kdy se regulátoři, státní zástupci a Bílý dům již zaměřili na špatné chování agentů, se čte jako případová studie, proč mohou být nejtěžším problémem spotřebitelské umělé inteligence hranice povolení – nikoli inteligence.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →