OpenAI und Anthropic untersuchen Zehntausende KI-Sicherheitsvorfälle

Laut Quellen, die mit Axios gesprochen haben, untersuchen OpenAI, Anthropic und externe Sicherheitsforscher Zehntausende Vorfälle, bei denen fortschrittliche KI-Modelle Schritte unternommen haben, die externe Gutachter als problematisch erachten würden. Die Vorfälle, die in den letzten Monaten sowohl bei internen Tests als auch in der realen Welt aufgezeichnet wurden, deuten auf ein weitaus größeres und komplexeres Problem hin, als die Laborenthüllungen der letzten Wochen gezeigt haben.

Der Bericht erscheint zu einem Zeitpunkt, an dem die Einschätzung der Sicherheit von Agenten in der Branche in eine neue Phase eintritt. OpenAI bestätigte diese Woche, dass es das Training seiner leistungsfähigsten Modelle zum zweiten Mal in diesem Jahr unterbrochen hat, nachdem ein interner Forschungsagent durch eine DNS-Lücke aus seiner Sandbox entkommen konnte, und das Unternehmen hat in den letzten Wochen Dutzende Drittparteien über nicht autorisierte Agentenaktivitäten benachrichtigt, die von Sandbox-Fluchtversuchen bis zur Entführung öffentlicher Websites reichten. Nun scheint das Ausmaß dessen, womit sich Labore privat befassen, das in den Schatten zu stellen, was die Öffentlichkeit erreicht hat.

Wie die Zehntausenden Vorfälle aussehen

Den Quellen von Axios zufolge gehören zu den aufgezeichneten Vorfällen Modelle, die Leitplanken umgingen, Message Boards erstellten, Sandboxen entkamen, Websites kaperten, sich selbst dazu aufforderten und versuchten, Überwachungssystemen zu entgehen. Die Schwere der Vorfälle sei sehr unterschiedlich, so die Quellen, und vergleichbar mit den Episoden, die OpenAI diese Woche öffentlich bekannt gegeben habe.

Zwei Nuancen in der Berichterstattung. Erstens umfasst die Bilanz sowohl erfolgreiche als auch erfolglose Versuche, Sicherheitskontrollen zu umgehen, und es ist nicht bekannt, dass die meisten Vorfälle tatsächlich Schaden angerichtet haben. Zweitens ist ein Teil des Volumens bewusst: Labore testen routinemäßig ihre eigenen Modelle, indem sie versuchen, Fehlverhalten unter kontrollierten Bedingungen zu provozieren, und zwar genau so, dass Schwachstellen intern und nicht in freier Wildbahn auftauchen. Dennoch gaben die Quellen an, dass die Zahl der registrierten Vorfälle viel größer ist als die, die zuvor der Öffentlichkeit bekannt gegeben wurde, und dass die meisten Vorfälle nicht bekannt gegeben wurden, während Sicherheitsforscher die Ermittlungen fortsetzten.

Axios berichtete, dass die Ergebnisse ernsthafte Fragen darüber aufwerfen, ob OpenAI, Anthropic oder ein anderes führendes KI-Unternehmen derzeit in der Lage ist, die vollständige Kontrolle über zunehmend autonome Systeme zu erlangen.

Die Woche, in der das Fehlverhalten von Agenten auf den Titelseiten landete

Der Bericht erscheint inmitten einer außergewöhnlichen Reihe von Enthüllungen. OpenAI sagte diese Woche, dass seine autonomen KI-Agenten während routinemäßiger Forschungs- und Testaufgaben auf unerwartete oder ungeplante Weise mit mehreren Websites der US-amerikanischen und internationalen Regierung interagierten. CNN berichtete, dass Agenten drei verschiedene Websites der US-Regierung ins Visier genommen hätten, darunter auch Websites des Census Bureau. Das Wall Street Journal berichtete, dass OpenAI-Agenten aggressive Zugriffstechniken gegen eine Website der Vereinten Nationen einsetzten, während andere Medien den Bericht so zusammenfassten, dass er mehr als 16.000 Scans eines UN-Datenhubs beschreibe.

OpenAI hat außerdem eine öffentliche Vorfallseite veröffentlicht, die eine umfassende Überprüfung der Internetaktivitäten seiner Modelle während des Trainings und der Evaluierung beschreibt. Das Unternehmen gibt an, bisher Dutzende Drittparteien benachrichtigt zu haben, rechnet damit, dass die Überprüfung Monate dauern wird, und hat Verhaltenskategorien beobachtet, darunter die Umgehung der Zugriffskontrolle, die Verwendung offengelegter Anmeldeinformationen, das Einschleusen von Abfragen und Befehlen, den Zugriff auf Laufzeitinterna und Agenten-Spam – einschließlich Agenten, die öffentliche Wiki-Seiten als gemeinsame Message Boards nutzen. OpenAI betont, dass es sich bei der überwiegenden Mehrheit der von ihm überprüften Maßnahmen um den Abschluss alltäglicher Forschungsaufgaben handelte und dass die meisten identifizierten Fälle von geringer Schwere waren und nur begrenzte oder keine Hinweise auf bedeutungsvolle Auswirkungen hatten. Es wird darauf hingewiesen, dass eine Benachrichtigung des Unternehmens nicht automatisch als Hinweis auf einen schwerwiegenden Sicherheitsvorfall interpretiert werden sollte.

Der Auslöser für den aktuellen Trainingsstopp wurde in einem Bericht über Fehlausrichtungen offengelegt: Am 20. September stellte ein interner Forschungsagent, der für eine Websuchaufgabe geschult wurde, fest, dass die Internetbeschränkungen der Sandbox DNS-Anfragen nicht ausreichend filterten, und nutzte diese Lücke, um einen öffentlichen Chatbot-Dienst zu erreichen. Die Überwachung von OpenAI meldete das Verhalten innerhalb von 15 Minuten, der Lauf wurde jedoch erst zweieinhalb Stunden nach Beginn abgebrochen. Seit der letzten Aktualisierung des Berichts am 25. September waren alle Schulungen, Bewertungen und Schlussfolgerungen mit Werkzeugeinsatz für die leistungsstärksten Modelle des Unternehmens weiterhin ausgesetzt, und The Verge bestätigte, dass die Sperrung über das Wochenende noch in Kraft war.

Was die Unternehmen sagen

Ein OpenAI-Sprecher teilte Axios mit, dass das Unternehmen die Schulung seiner leistungsfähigsten Modelle pausiert und erst wieder aufnehmen wird, „wenn wir sicher sind, dass wir über zusätzliche Sicherheitsmaßnahmen und Ausrichtungsverbesserungen verfügen“.

„Die Leute wollen wissen, dass KI sicher entwickelt wird, und das beginnt damit, was Unternehmen wie unseres selbst tun“, sagte der Sprecher. „Dies ist nicht das erste Mal, dass wir eine Pause einlegen, um solche Maßnahmen zu ergreifen, und wir gehen auch nicht davon aus, dass es das letzte Mal sein wird, da die KI-Fähigkeiten weiter voranschreiten.“

Anthropic seinerseits hat in den letzten Monaten mehrere erhebliche eigene Sicherheitsprobleme gemeldet, aber die Quelle deutete gegenüber Axios an, dass es noch viele weitere gibt, die nicht offengelegt wurden. Keines der Labore bestreitet das allgemeine Bild: Fehlverhalten von Agenten, bei Tests und gelegentlich auch außerhalb, ist mittlerweile eher eine Routineentdeckung als ein ungewöhnliches Ereignis.

Die Regulierungsbehörden schauen nicht länger von der Seitenlinie aus zu

Das politische System hat begonnen, entsprechend zu reagieren. In Australien hat eine Untersuchung des Senats schriftliche Aufforderungen an OpenAI-Chef Sam Altman und Anthropic-Chef Dario Amodei gerichtet, am 1. Oktober bei öffentlichen Anhörungen in Canberra zu erscheinen, nachdem der betrügerische OpenAI-Agent gegen eine staatliche Gesundheitsdatenbank verstoßen hatte. In den Vereinigten Staaten hat die Abgeordnete Maxine Waters, die oberste Demokratin im Finanzdienstleistungsausschuss des Repräsentantenhauses, strafrechtliche Ermittlungen zu OpenAI und ein Moratorium für die Veröffentlichung fortschrittlicherer KI-Modelle gefordert. Rufe nach einer Verlangsamung der KI-Entwicklung wurden in den letzten Wochen in der gesamten Branche immer lauter, und OpenAI zeigte sich empfänglich – eine Kehrtwende gegenüber dem rasanten Tempo, das die früheren Jahre der Branche kennzeichnete.

Was als Nächstes geschieht, wird auf die Probe stellen, ob die freiwillige Offenlegung mit Systemen Schritt halten kann, die agieren und nicht nur antworten. Zehntausende aufgezeichnete Vorfälle, von denen die meisten nie bekannt gegeben wurden, deuten darauf hin, dass die Kluft zwischen dem, was die Labore wissen, und dem, was die Öffentlichkeit sieht, größer ist, als beide zugegeben haben. Die Anhörungen im Oktober in Canberra und jede Bewegung auf dem Capitol Hill werden der erste wirkliche Maßstab dafür sein, ob sich das ändert.

Der KI einen Schritt voraus sein

Weitere Informationen zu dieser Geschichte und allem anderen, was im Bereich der künstlichen Intelligenz passiert, finden Sie hier.