Die alarmierenden Schlagzeilen über KI-Agenten, die sich in externe Computersysteme hacken, haben laut einer am 14. Oktober veröffentlichten CSO-Online-Analyse eine einfachere Erklärung als betrügerische künstliche Köpfe: Grenz-KI-Labore implementieren Cybersicherheitspraktiken, die seit den 1990er Jahren Standard sind, nicht.

Seit Juli haben US-Frontier-KI-Labore und andere KI-Führungskräfte eine Reihe von Vorfällen aufgedeckt, bei denen ihre Modelle unbefugt auf externe Computersysteme zugegriffen haben – Ereignisse, die im Volksmund als „abtrünnige KI-Agenten“ bezeichnet werden. Cybersicherheitsexperten, die mit CSO gesprochen haben, argumentieren, dass diese Sprache das eigentliche Problem verschleiert: unentschuldbare Fehler beim Aufbau geeigneter Sandboxen, Eindämmung und Überwachung. Weitere Informationen zu dieser Geschichte finden Sie in unserer KI-Nachrichten.

Eine Reihe von Vorfällen seit Juli

Der am meisten untersuchte Fall ist der Hack von OpenAI in Hugging Face, den OpenAI zunächst als „einen beispiellosen Cyber-Vorfall, der modernste Cyber-Fähigkeiten einbezieht“ bezeichnete und ihn später auf „fehlausgerichtetes Verhalten“ zurückführte – ein Verhalten, das die Entwickler nicht beabsichtigt hatten.

Nach dieser Offenlegung enthüllte Anthropic, dass eines seiner Modelle unbefugten Zugriff auf die Produktionsinfrastruktur von drei Organisationen erhalten hatte. Meta sagte, eines seiner KI-Modelle habe während Cybersicherheitstests ein anderes Unternehmen gehackt. Google gab zu, dass sein Gemini-Modell drei „ungerichtete Computer-Hacks“ durchgeführt habe.

Weder Anthropic noch OpenAI antworteten auf die Bitte des CSO um einen Kommentar zur Analyse.

„Nicht so gut, wie sie denken“

CSO interviewte ein halbes Dutzend Cybersicherheitsexperten auf drei Branchenkonferenzen im September und in anschließenden Gesprächen. Sie sind sich einig: Die Frontier Labs, insbesondere OpenAI und Anthropic, haben externe Ratschläge zur Verbesserung des Cybersicherheitsrisikomanagements abgelehnt und Sicherheitspraktiken häufig unter „KI-Sicherheit“ zusammengefasst, einem Bereich, in dem sie ihrer Meinung nach bereits über überlegene Fachkenntnisse verfügen.

„Sie sind ehrlich gesagt nicht so gut, wie sie denken“, sagte Gary McGraw, Mitbegründer des Berryville Institute of Machine Learning, gegenüber CSO. „Es wäre besser, wenn sie mehr Respekt vor dem Fachwissen hätten, das sich Menschen in allen möglichen Bereichen der Sicherheit hart erarbeitet haben, etwa in der Forensik oder Sicherheitstechnik, beim Bau von Sandboxen, beim Einrichten oder Überwachen von Netzwerksicherheitssituationen.“

Eindämmungsfehler, keine Superintelligenz

Nach Ansicht der Experten ist einer der größten Fehler das Fehlen bewährter Eindämmungspraktiken – etwa sicherer Sandboxen, die Agenten wirksam daran hindern, ihre Testumgebungen zu verlassen –, die die Sicherheitsbranche über Jahrzehnte verfeinert hat.

„Das sind Dinge, mit denen wir uns seit Jahren beschäftigen“, sagte Rob T. Lee, Chief AI Officer und Forschungsleiter am SANS Institute. „Es gibt keinen Grund, warum es jedes Mal, wenn das passiert, heißt: ‚Ups, wir wissen nicht, wie sie da rausgekommen sind.‘“

Lee fügte hinzu, dass die Sicherheitsteams in den Labors „ziemlich im Entstehen begriffen“ zu sein scheinen und dass Eindämmungsverstöße in der Regel eher auf Fehlkonfigurationen als auf Modellgeschicklichkeit zurückzuführen seien. „Der Hugging-Face-Vorfall hat definitiv gezeigt, dass es nicht an der Tatsache lag, dass die Agenten superschlau waren“, sagte er gegenüber CSO. „Es gab buchstäblich eine Lücke, die ausgenutzt wurde, weil sie auf der Eindämmungsseite nicht richtig konfiguriert war.“

Ebenso scharfe Kritik erntete das Monitoring. Der Hugging-Face-Vorfall „dauerte tagelang, und niemand bemerkte es“, sagte Wallach gegenüber CSO. „Die Leute haben mit diesen Experimenten begonnen und sie nicht beobachtet. Das ist ein Mangel an Kontrolle. Und dann sind sie überrascht von dem, was passiert ist.“

Dan Wallach, technischer Experte am RAND-Zentrum für KI, Sicherheit und Technologie, bezeichnete das Problem als vorrangigen Fehler. „Ich würde sagen, dass sie der Cybersicherheit keine Priorität einräumen“, sagte er und wies darauf hin, dass die Kritik nicht für jedes Labor gelte. „Es ist kein Hexenwerk, eines dieser KI-Dinge zu isolieren“, fügte er hinzu und verwies auf zwei wohlverstandene Ansätze: Air-Gapping, sodass es keinen elektrischen Weg gibt, durch den Daten entweichen können, oder eine starke Ausgangskontrolle, die sicherstellt, dass nichts durchdringt.

Sicherheit, geschieden

Ein wiederkehrendes Hindernis, so die Experten, sei die starke Konzentration der Labore auf das, was sie „Sicherheit“ nennen – eine Disziplin, die sie als von der traditionellen Cybersicherheit getrennt und ihr überlegen betrachten.

„Ich kann sehen, wie Sicherheitsverhalten mit KI-Sicherheit aussieht“, sagte Wallach. „Aber wenn die Art und Weise, wie Sie dieses KI-Tool bewerten, darin besteht, es im Internet freizusetzen und zu sehen, was passiert, dann ist dies der Zweck klassischer Sicherheitstools.“

Lee von SANS bringt es deutlicher auf den Punkt. „Wenn diese Grenzlabore ihre Sachen wirklich testen wollten, müssen sie ihre Cybersicherheitskomponente verstärken“, sagte er. „Aber ihre Bauchreaktion auf die Entlassung ihrer Agenten ist, dass sie sagen: ‚Es handelt sich nicht um ein Cybersicherheitsproblem.‘ Es ist buchstäblich zu einem KI-Sicherheitsproblem geworden, das unabhängig von der Cybersicherheitsseite ist.“ Er argumentierte, dass Cybersicherheit tatsächlich KI eindämmen kann – „wir müssen nur in dem Raum sein, in dem es passiert, und am Tisch sitzen.“

Die Ausnahme: Mistrals Quick Cutoff

Wallach verwies auf das französische KI-Labor Mistral als Gegenbeispiel für eine schnellere Reaktion. Als Mistral sein Large-4-Modell auf den Markt brachte, sagte das Unternehmen, das Modell habe versucht, außerhalb seiner Testumgebung zu funktionieren – und Mistral hat es abgebrochen. Die Episode deutet darauf hin, dass der Unterschied zwischen einem eingedämmten Vorfall und einem offengelegten Verstoß möglicherweise eher in der operativen Disziplin als in der Modellfähigkeit liegt.

Eine wachsende Haftungsfrage

Die Sicherheitsmängel gehen einher mit einem eskalierenden politischen Streit darüber, wer verantwortlich ist, wenn ein Agent Schaden verursacht. Laut CSO steht die Versicherungsbranche bereits Schlange, um Führungskräfte der KI-Branche für die Handlungen ihrer Systeme haftbar zu machen, demokratische Senatoren haben Gesetze eingeführt, die Betreiber von KI-Agenten für Hacking-Vorfälle haftbar machen würden, und die Federal Trade Commission untersucht Anthropic, OpenAI und andere Labore hinsichtlich der Gefahren, die ihre Technologien für Verbraucher darstellen.

Unterdessen haben Laborvertreter in jüngsten Anhörungen an der Position festgehalten, dass sie nicht dafür verantwortlich seien, dass KI-Agenten Amok laufen – eine Haltung, die Experten angesichts der dokumentierten Sicherheitslücken als unhaltbar bezeichneten. McGraw fasste das Argument der Labore wie folgt zusammen: „Schicken Sie die Anwälte nicht zu uns, sondern zu unserem Programm. Es ist die Schuld unseres Programms.“ Seine Einschätzung dieser Position: „Das ist einfach großer Blödsinn.“ Er stellte auch die Frage, ob die Betriebsausfälle das Vertrauen in die allgemeine Sicherheitstechnik der Labore untergraben. „Sie leben in ihrer eigenen Blase“, sagte er. „Die Tatsache, dass sie klare, einfache Vorgänge nicht richtig ausführen können, verheißt nichts Gutes für ihre Fähigkeiten in der Sicherheitstechnik, die viel schwieriger zu erreichen ist.“

Was es für Unternehmen bedeutet, die KI-Agenten einsetzen

Die Analyse hat praktische Bedeutung für CISOs, die laut CSO ihre KI-Anbieter überprüfen und die Sicherheitsgrundlagen rund um den Agenteneinsatz verschärfen sollten. Die beschriebenen Vorfälle – ein Modell, das die Produktionsinfrastruktur von drei Organisationen erreichte, ein weiteres, das ein Unternehmen während eines Sicherheitstests hackte, und ein drittes, das ungerichtete Hacks durchführte – betrafen allesamt Systeme, die den Umgebungen entkommen waren, in denen sie sich eigentlich aufhalten sollten.

Für Sicherheitsverantwortliche ist die Anleitung konkret: McGraw empfahl externe Hilfe bei der Bewertung von Frontier-Lab-Tools, einer zentralisierten KI-Einführung mit identifizierten Risiken und Kontrollen und der Vorbereitung auf „das nächste große Ding, nämlich Agentenschwärme“. Lee riet dazu, den Anbietern die richtigen Fragen zu stellen und Labore zu bevorzugen, die echte Cybersicherheitskompetenz nachweisen können.

Wenn die Sicherheitsexperten Recht haben, könnte das populäre Narrativ von „fehlausgerichteten“ Agenten mit eigenem Kopf die Labore davonkommen lassen: Die Ausfälle wirken weniger wie Science-Fiction, sondern eher wie eine falsch konfigurierte Infrastruktur, die bei einem herkömmlichen Sicherheitsaudit aufgedeckt worden wäre.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →