Eine groß angelegte verdeckte Operation gegen die Systeme der KI-Branche hat dokumentiert, was mit den Eingabeaufforderungen passiert, die Benutzer jeden Tag senden – und die Antwort lautet: Sie sind undicht. Der Sicherheitsforscher HD Moore, Chief Research Officer des industriellen Sicherheitsunternehmens Dragos, schickte fast zwei Millionen KI-Eingabeaufforderungen mit einzigartigen, nachverfolgbaren Geheimnissen an KI-Anbieter und beobachtete dann, wo diese Geheimnisse ans Licht kamen. „Was wir fanden, offenbarte Sicherheitsverstöße, sofortigen Diebstahl und weit verbreitete Fehler beim Schutz von Kundendaten“, schrieb Moore in einem am Donnerstag veröffentlichten Bericht.
Die Ergebnisse, über die Ars Technica ausführlich berichtet, kommen zu dem Schluss, dass KI-Router – Brokerdienste wie OpenRouter und Vercel, die Eingabeaufforderungen von Endbenutzern akzeptieren und sie an den Inferenzanbieter weiterleiten, der am günstigsten oder am besten geeignet ist – zur Kerninfrastruktur für Tausende von Anwendungen geworden sind. Sie lösten auch eine schnelle Reaktion der Branche aus: OpenRouter veröffentlichte am 22. November eine eigene Vorfallmeldung, in der es hieß, drei Anbieter aus dem Unternehmen ausgeschlossen, 125 Endpunkte von der Zero Data Retention-Berechtigung entfernt und potenziell betroffene Kunden benachrichtigt zu haben.
Wie die Kanarienvogelfalle funktionierte
Moore hat eine Sammlung funktionierender AWS-Zugriffsschlüssel zusammengestellt, die an leere Konten, funktionierende SSH-Passwörter und eindeutige URLs, DNS-Namen und private Git-Repository-Referenzen gebunden sind. Keines der Geheimnisse war jemals zuvor genutzt worden und Moore kontrollierte die Infrastruktur auf der Empfängerseite. Jedes Geheimnis wurde in genau eine Eingabeaufforderung eingepflegt, die an einen einzelnen Anbieter gesendet wurde. Wenn das Geheimnis also später irgendwo auftauchte, konnte seine Reise bis zum genauen verantwortlichen Glied in der Kette zurückverfolgt werden.
Das Design ist wichtig, da das KI-Ökosystem tatsächlich Daten bewegt. Eingabeaufforderungen werden während der Übertragung verschlüsselt, aber bei jedem Hop entschlüsselt. Ein KI-Router liest den Klartext, um geeignete Inferenzanbieter auszuwählen; Die Eingabeaufforderung wird dann häufig an einen Pool von Modellen weitergeleitet, die manchmal bei verschiedenen Hosting-Unternehmen ausgeführt werden. Eingabeaufforderungen können sogar von einem Router zu einem anderen weitergeleitet werden – beispielsweise von Vercel zu OpenRouter –, wobei es jedem Vermittler freisteht, den Inhalt gemäß seinen eigenen Richtlinien zu protokollieren und zu speichern.
Drei Anbieter gehackt, Schlüssel innerhalb weniger Stunden verwendet
Das alarmierendste Ergebnis betraf drei verschiedene Hosting-Anbieter, die während des Experiments kompromittiert wurden. Laut Moore haben Angreifer, die einen Anbieter gehackt haben, „ein paar Hundert“ der eingeschmuggelten AWS-Schlüssel wiederverwendet. Jeder Schlüssel sei Ende Oktober innerhalb weniger kurzer Zeitfenster in genau einer Anfrage an einen Anbieter gesendet worden – und „jede Anfrage, die wir während dieser Zeitfenster gesendet haben, wurde gestohlen.“ Entscheidend ist, dass einige gestohlene Schlüssel von Anfragen stammten, die der Anbieter abgelehnt hatte, bevor ein Modell überhaupt ausgeführt wurde, was darauf hindeutet, dass der Angreifer den Datenverkehr an der Haustür des Anbieters kopierte und nicht tiefer im Inferenzstapel.
Bei den anderen beiden Verstößen wurden einige der gestohlenen Anfragen als „Zero Data Retention“ gekennzeichnet. „Eine Datenschutzflagge hilft nicht, wenn der Angreifer bereits drinnen ist“, schrieb Moore. Die Parteien, die hinter den Einbrüchen standen, testeten die Köderschlüssel in einigen Fällen innerhalb von Stunden, durchsuchten S3-Buckets, Secrets-Manager und Parameterspeicher nach weiteren Anmeldeinformationen, versuchten, gehostete Modelle in AWS Bedrock zu aktivieren, und fügten ihre eigenen IAM-Benutzer hinzu, um den Zugriff aufrechtzuerhalten. Insgesamt wurden die gestohlenen Schlüssel „Zehntausende“ Male in AWS-API-Aufrufen verwendet. Von zwei der gehackten Anbietern gestohlene Geheimnisse wurden fast sofort gemeinsam auf demselben gemieteten Server verwendet – ein starker Beweis dafür, dass ein Angreifer beide kompromittiert hat.
Wiederverkäufer, die stehlen, und ein Labor, das kratzt
Nicht jeder Leaker war ein Hacker. Moore dokumentierte Wiederverkäufer, die Kunden mit niedrigen Preisen anlockten, die Protokollierung von Anfragen einschalteten und einfach abwarteten. Er identifizierte sie, indem er über verschiedene Verkäufer identische Anfragen an dasselbe Modell schickte: Wenn Anmeldeinformationen von einem Verkäufer wiederverwendet wurden, von einem anderen jedoch nicht, war der Schuldige klar.
Der klarste Scraping-Fall, schrieb Moore, betraf ein chinesisches KI-Labor, dessen Systeme die geheimen URLs von mehr als der Hälfte der zwischen Juli und Oktober an seine Modelle gesendeten Eingabeaufforderungen abgerufen haben – darunter etwa zwei Drittel der Anfragen, die ausdrücklich mit „keine Datenerfassung“ oder „Keine Datenaufbewahrung“ gekennzeichnet waren. Der Schaber erschien normalerweise zwei oder drei Tage nach jeder Anfrage. Es war nicht auf Direktkunden beschränkt: Mehrere US-Hosting-Anbieter verkaufen die Modelle des Labors weiter, und über diese amerikanischen Zwischenhändler gesendete Eingabeaufforderungen lösten genau den gleichen Scraper aus. Mit anderen Worten: Ein Kunde, der sich speziell für die Datenspeicherung in den USA für einen US-Anbieter entschieden hat, erhielt nicht das, wofür er bezahlt hatte. Unabhängig davon begann ein Git-Client in einer anderen Cloud mit dem Versuch, die privaten Repositorys zu klonen, auf die in den Eingabeaufforderungen verwiesen wurde – allerdings nur für Eingabeaufforderungen, die die Modelle dieses Labors verwendeten.
OpenRouter antwortet
Das Experiment hatte schnell reale Konsequenzen. Ars Technica berichtete in einem Update, dass OpenRouter Kunden am 21. November per E-Mail gewarnt habe, dass einige ihrer Eingabeaufforderungen möglicherweise gelesen worden seien, und verwies auf die Untersuchung: Die potenzielle Gefährdung betraf Eingabeaufforderungen, die direkt oder über drei Wiederverkäufer – AtlasCloud, Novita und StreamLake – an MiniMax, einen in China ansässigen Modellanbieter, gesendet wurden. OpenRouter hat die Kennzeichnung „Zero Data Retention“ von Endpunkten des MiniMax-Modells entfernt.
In seinem offiziellen Blog-Beitrag vom 22. November bestätigte OpenRouter, dass es drei Anbieter aus dem Board genommen hatte, 125 Endpunkte von der ZDR-Berechtigung entfernt und betroffene Benutzer darüber informiert hatte, ob die Anbieter öffentlich gepostet hatten oder nicht. Das Unternehmen sagte, die Ergebnisse hätten „keine Verletzung oder unbefugten Zugriff auf OpenRouter“ selbst gezeigt, dankte dem Dragos-Team und sagte, Anbieter, die auf der Plattform bleiben wollen, „müssen steigende Sicherheitsanforderungen erfüllen“, da OpenRouter ähnliche Testtechniken integriert.
Moore fand auch vereinzelte Long-Tail-Lecks: Ein US-Hosting-Anbieter hat eine geheime URL mehr als zwei Monate nach einem einzelnen Inferenzaufruf an seinen Suchendpunkt gecrawlt, und ein anderer führte einen Scraper aus, der Tage nach jeder Anfrage nach eingepflanzten URLs zurückkehrte, unabhängig davon, welcher Router die Aufforderung übermittelte.
Was Benutzer tun können
Die effektivste Verteidigung, so Moore, sei das Hosten von Modellen vor Ort – eine teure Option, die sich nur wenige Unternehmen rechtfertigen können. Die nächstbeste Maßnahme besteht darin, direkt bei einem erstklassigen Anbieter einzukaufen, „mit einem Vertrag und einer Datenschutzrichtlinie zum Lesen“, und die Vermeidung von Standardanbietern oder Reseller-Pools durch die Auswahl von Upstream-Anbietern selbst. Selbst dann, warnte er, gebe es keine Garantie dafür, dass die Daten nicht durchsickern.
Das Experiment ist die bisher schärfste Anklage gegen Datenschutzpraktiken im schnell wachsenden Inferenzmarkt: Die Kette zwischen einer App und einem Modell kann jetzt Router, Wiederverkäufer und Hosting-Ebenen auf mehreren Kontinenten umfassen, jeder mit seinen eigenen Protokollierungsrichtlinien, und die Labels, die Kunden beruhigen sollen – wie Zero Data Retention – können ohne Vorankündigung gebrochen oder entfernt werden. Für eine Branche, die Unternehmen dazu auffordert, ihre Dokumente, Codes und Anmeldeinformationen in Eingabeaufforderungen einzufügen, ist die Botschaft der zwei Millionen Kanarienvögel unangenehm: Gehen Sie davon aus, dass jeder Sprung jedes Wort lesen kann, bis sich die Sanitäranlagen ändern.
Bleiben Sie der KI immer einen Schritt voraus
Sicherheit und Datenschutz sind heute zentrale Anliegen für jeden, der auf KI setzt. Aktuelle KI-Nachrichten und unabhängige Berichterstattung über die größten Geschichten der Branche finden Sie unter AI Buzz Wire (https://aibuzzwire.news).
Weitere KI-Neuigkeiten lesen →