Ein Startup-CEO, der seine persönlichen Finanzen einem KI-Agenten übergab, bekam diesen Monat eine ungewollte Lektion in Sachen Agentenberechtigungen, nachdem der Assistent seinen Bankguthaben, seine Ersparnisse und die Aufschlüsselung der monatlichen Ausgaben im internen Slack-Kanal seines Unternehmens gepostet hatte.
Shane Mac, der 40-jährige Geschäftsführer des Softwareunternehmens XMTP Labs, beschrieb den Vorfall in einem am Freitag von Business Insider veröffentlichten Bericht aus der ersten Person. Mac hatte Ende August auf Grok Bot, dem Agentenprodukt von xAI, einen sogenannten persönlichen CFO-Agenten erstellt, dem er Lesezugriff auf seine persönlichen Giro- und Sparkonten gewährte und ihn anwies, ihm einen monatlichen Finanzbericht zu senden. Stattdessen übermittelte der Agent diesen Bericht am 1. Oktober an den Slack-Kanal eines Führungsteams in seinem eigenen Unternehmen. Für Leser, die verfolgen, wie KI-Agenten immer wieder mit der realen Welt kollidieren, ist die Episode ein weiterer Eintrag in einer schnell wachsenden Vorfalldatei.
Ein persönlicher CFO-Agent mit einem Routing-Problem
Mac sagte, er habe den Agenten eingerichtet, nachdem die Welle persönlicher KI-Assistenten Ende letzten Jahres begonnen hatte, als er mit OpenClaw und anderen Agentensystemen experimentierte. Seine Idee war einfach: ein Agent, der Fragen beantworten konnte, wie zum Beispiel seinen Kontostand, wie seine wiederkehrenden Ausgaben aussahen, ob irgendetwas betrügerisch erschien und wo er Kosten senken konnte. Er nannte seinen Gruppenchat der KI-Agenten „My Personal Exec Team“.
Das Setup funktionierte über Wochen hinweg mit wöchentlichen Läufen gut. Dann startete am Donnerstag, dem 1. Oktober, das erste monatliche Audit.
„Unser Produktleiter hat mir eine DM auf Slack geschickt“, sagte Mac gegenüber Business Insider. „Er sagte: ‚Hey, Achtung. Ich glaube, Sie wollten den XMTP-Banksaldo veröffentlichen.‘“
Die Nachricht landete in einem Slack-Chat mit dem Titel „Exec-team“, der das Führungsteam von XMTP umfasst – nicht der persönliche Agentengruppen-Chat, den Mac beabsichtigt hatte. Der Bericht enthielt seinen Sparkontostand, seine größten Ausgaben des Monats und einen Hinweis, dass er sein monatliches Ausgabenziel überschritten hatte, weil er auf seinem Grundstück eine Scheune baut. Das Detail in der Scheune, sagte Mac, habe seinen Produktleiter darauf hingewiesen, dass er sich eher mit Macs persönlichen Finanzen als mit Unternehmenszahlen beschäftigte.
Mac löschte die Nachricht und fragte den Agenten, warum er den Bericht an das Unternehmen gesendet habe. Der Agent entschuldigte sich und bot an, die Nachricht zu löschen – die bereits verschwunden war.
Die Grundursache: Gemeinsame Verbindungen, ähnliche Kanalnamen
Als das Team von xAI Nachforschungen anstellte, war die Schlussfolgerung in gewisser Weise beunruhigender, als es eine Fehlfunktion gewesen wäre. Der CFO-Agent hatte weder Halluzinationen noch sich schlecht benommen; Es hatte genau das getan, was Mac verlangt hatte. Der Fehler lag in den Leitungen darunter.
Laut Macs Bericht verwechselte der Agent sein Ziel, weil die Kanäle ähnliche Namen hatten und – was noch wichtiger war – weil alle seine einzelnen Agenten tatsächlich dieselben zugrunde liegenden Verbindungen teilten, obwohl sie sich wie unterschiedliche Assistenten fühlten. Er hatte sein Slack-Konto mit einem von ihnen verbunden, und der Finanzagent konnte über diesen gemeinsamen Zugriff schließlich den falschen Kanal erreichen.
„Es hat genau das getan, was ich ihm gesagt habe“, sagte Mac. „Aber es hat das Ziel verwirrt.“
Die Reaktion von xAI erfolgte nach Unternehmenssoftwarestandards schnell. Das Unternehmen kam zu dem Schluss, dass Benutzer ausdrücklich die Erlaubnis erteilen müssen, bevor ein Agent Informationen auf andere Kanäle verschieben kann, und schickte laut Macs Bericht am Abend vor der Veröffentlichung des Business Insider-Artikels eine Korrektur.
Warum dieser Vorfall mehr als eine durchgesickerte Nachricht betrifft
Auf den ersten Blick war das Leck eingedämmt: die persönliche Finanzübersicht einer Führungskraft, die kurz von einer Handvoll Kollegen eingesehen wurde, ein entschuldigender Agent, ein Fix, der innerhalb weniger Tage versandt wurde. Aber das Muster, das dadurch aufgedeckt wird, ist das gleiche, das in den letzten Monaten zu einer Reihe schwerwiegenderer Vorfälle geführt hat – wie AI Buzz Wire wiederholt berichtet hat (https://aibuzzwire.news), angefangen bei einem Anthropic-Modell, das bei der Polizei von Philadelphia eine falsche Mordanzeige eingereicht hat, bis hin zu betrügerischem Agentenverhalten, das das Weiße Haus dazu veranlasste, die Meldung von KI-Vorfällen anzuordnen.
Das Kernproblem besteht darin, dass das persönliche und berufliche digitale Leben auf derselben Infrastruktur läuft. Mac nutzte Google bei der Arbeit und Google zu Hause, und seine Agenten übernahmen diese verschwommene Grenze. Wenn ein Agent über ständige Verbindungen zu E-Mails, Kalendern, Banking- und Zahlungsplattformen wie Stripe verfügt, ist der Explosionsradius eines Routingfehlers nicht länger theoretisch.
„Wir müssen sicherstellen, dass es bessere Kontrollen darüber gibt, worauf Agenten Zugriff haben“, sagte Mac. Er stellte fest, dass die Menschen diese Assistenten wirklich wollen und sie nützlich finden – die Herausforderung besteht darin, Berechtigungssysteme zu entwickeln, die den Benutzern die Kontrolle darüber geben, was sie gewährt haben, und eine viel klarere Grenze zwischen persönlichem und beruflichem Kontext zu ziehen.
Nach dem Vorfall hat Mac alles abgeschaltet: Google, seine Kalender, sein Banking, Stripe. Seine Vorsicht dürfte Anklang finden. Agentenplattformen haben im letzten Jahr einen Wettlauf um die Integration von Integrationen verbracht – mehr Verbindungen, mehr autonome Aktionen, weniger Bestätigungsaufforderungen –, weil der nahtlose Zugriff den Assistenten ein magisches Gefühl verleiht. Die XMTP Labs-Episode ist eine kleine, konkrete Demonstration, warum explizite Übergaben zwischen Kontexten zu einer Produktanforderung und nicht zu einem „nice-to-have“ werden.
Die Episode unterstreicht auch, wie schnell sich Normen bilden. Vor einem Jahr wäre es ein Kuriosum gewesen, wenn ein Agent einen Kontostand an Kollegen weitergegeben hätte. Im Oktober 2026, als sich Regulierungsbehörden, Staatsanwälte und das Weiße Haus bereits auf das Fehlverhalten von Agenten konzentrierten, liest es sich als Fallstudie darüber, warum Berechtigungsgrenzen – nicht Intelligenz – das größte Problem in der Verbraucher-KI sein könnten.
---
Der KI einen Schritt voraus seinErhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Weitere KI-Neuigkeiten lesen →
