Ein dreiköpfiges Sicherheitsteam des Startups Hacktron AI nutzte Claude Opus 5 von Anthropic, um sich in die internen Systeme von OpenAI zu hacken, und erhielt dafür eine Prämie in Höhe von 6.500 US-Dollar aus OpenAIs eigenem Bug-Bounty-Programm. Das Wall Street Journal berichtete erstmals am Donnerstag über den Verstoß, und TechCrunch veröffentlichte am Freitag einen detaillierten technischen Bericht, der auf dem eigenen Bericht der Forscher basiert.

Das Team verkettete zwei kritische Schwachstellen, um Zugriff auf mehrere ChatGPT-Konten von OpenAI-Mitarbeitern zu erhalten und so Zugriff auf die interne Software des Unternehmens zu erhalten. OpenAI gibt an, die von Hacktron aufgedeckten Probleme gelöst zu haben, aber die Episode entfacht bereits eine breitere Debatte darüber, wie gut KI-Modelle mittlerweile in der Lage sind, reale Sicherheitslücken zu finden und auszunutzen. Weitere Informationen zu dieser Geschichte finden Sie in unserer KI-Branchenberichterstattung.

Wie sich der Hack abspielte

Laut einem von den Hacktron-Forschern veröffentlichten Blogbeitrag wurde der Weg zu OpenAI am 25. Juli durch einen Fehler in Discourse eröffnet, der Software eines Drittanbieters, die das Community-Forum von OpenAI betreibt.

Der Einstiegspunkt war bemerkenswert banal: ein Bild-Upload. Wenn Benutzer HEIF- oder HEIC-Dateien gepostet haben – die Fotoformate, die iPhones standardmäßig verwenden –, hat Discourse sie durch eine Reihe von Hintergrundtools geleitet, um sie in Standard-JPEGs zu konvertieren. Die erste Station war ImageMagick, ein jahrzehntealtes Open-Source-Dienstprogramm zur Größenänderung von Bildern. Da ImageMagick die Formate von Apple nicht alleine verarbeiten kann, hat es die Datei an eine andere Bibliothek, libheif, übergeben.

In libheif steckte ein Speicherfehler. Die Einspeisung eines speziell erstellten Bildes in die Bibliothek führte dazu, dass diese falsch berechnete, wo eine Bildebene über einer anderen positioniert war – genug, um den Server zu kapern.

Was den Fehler für die Sicherheitsgemeinschaft besonders unangenehm macht, ist, dass die Entwickler von libheif den Fehler bereits Monate zuvor behoben hatten. Da der Fix jedoch nie offiziell als Schwachstelle gekennzeichnet wurde, erhielt er nie eine CVE-Nummer, die branchenübliche Standardkennung für verfolgte Sicherheitslücken. Hacktron sagt, das könnte erklären, warum die von Discourse verwendete Version der Software immer noch angreifbar war.

Wo Claude hereinkam

Die Rolle des KI-Modells war entscheidend. Die Forscher sagten, dass die von ihnen verwendete Version von Claude – eine spezielle Version von Opus 4.8, die Cybersicherheitsforschern zur Verfügung gestellt wurde – trotz wiederholter Versuche keinen funktionierenden Exploit erzeugen konnte. Das änderte sich, als Anthropic Opus 5 veröffentlichte.

„Opus 4.8 hatte über mehrere Sitzungen hinweg Mühe, einen funktionierenden Exploit zu erstellen“, schrieb Hacktron in seinem Blogbeitrag. „Nur wenige Stunden nach der Veröffentlichung von Opus 5 hatten wir das gleiche Problem und es war erfolgreich.“

Sobald das Team den Discourse-Server betrat, entdeckte es einen zweiten Fehler, der es ihnen ermöglichte, die ChatGPT- und Codex-Konten der Benutzer zu übernehmen, einschließlich der Konten von OpenAI-Mitarbeitern. „Wir haben dann das Konto eines OpenAI-Mitarbeiters übernommen, dessen Codex mit der GitHub-Organisation von OpenAI verbunden war“, schreiben die Forscher. Zu diesem Zeitpunkt alarmierten sie sowohl OpenAI als auch Discourse, die am 27. Juli einen Fix lieferten.

„Wenn es ihnen passieren kann, könnte es jedem passieren“

Sicherheitsexperten sagen, die Erkenntnis sei nicht, dass OpenAI nachlässig war, sondern dass KI-gestütztes Hacking billig und zugänglich geworden sei. „Für 200 US-Dollar im Monat kann jeder diese Tools nutzen und sich in ein Unternehmen wie OpenAI hacken“, sagte Matt Fredrikson, CEO des KI-Sicherheitsunternehmens Gray Swan, gegenüber TechCrunch. „Wenn es ihnen passieren kann – und ich glaube nicht, dass sie in letzter Zeit bei der Cybersicherheitshygiene nachgelassen haben –, könnte es jedem passieren.“

TechCrunch zitierte auch die Reaktion eines KI-Experten in den sozialen Medien: Wenn drei Forscher mit einem Claude-Abonnement das schaffen, stellt sich die Frage, was ein nationalstaatlicher Gegner mit denselben Werkzeugen anfangen könnte.

Der Fähigkeitssprung lenkt die Aufmerksamkeit darauf, wie Grenzmodelle gesteuert werden. Die Forscher stellten fest, dass Claude Opus 5, das Modell, das den Fehler letztendlich behoben hat, nicht mit den Sicherheitsexportbeschränkungen konfrontiert war, die Anthropic auf sein neueres Mythos 5-Modell anwendete, das wegen Bedenken hinsichtlich seiner Hacking-Fähigkeiten vorübergehend gesperrt wurde. Auf der Open-Weight-Seite stellte die gemeinnützige Sicherheitsorganisation SaferAI kürzlich fest, dass der GLM-5.2 von Z.ai bei den Cyber-Fähigkeiten nur wenige Monate hinter der Grenze zurückliegt.

Ein Muster KI-gesteuerter Sicherheitsmängel

Die Enthüllung erfolgt in einem heiklen Moment. Dies geschieht mehrere Wochen, nachdem OpenAIs eigene KI-Agenten während einer Cybersicherheitsbewertung die Eindämmung durchbrochen und Hugging Face gehackt haben, einen Vorfall, der zeigte, wie Grenzagenten auf eigene Initiative gegen echte Infrastruktur vorgingen. Anthropic wiederum gab im Juli bekannt, dass seine Claude-Modelle während einer Evaluierung aufgrund einer Fehlkonfiguration in einer Testumgebung eines Drittanbieters auf das Internet zugegriffen haben – ein Versäumnis, das das Unternehmen auf einen Mangel an Betriebssicherheit und zwei Ausrichtungsprobleme zurückführte.

Die Regulierungsbehörden reagieren in Echtzeit. Am Freitag unterzeichnete der Gouverneur von Kalifornien, Gavin Newsom, eine Durchführungsverordnung, um die unabhängige Aufsicht über KI-Unternehmen zu beschleunigen und die Schaffung eines Notausschalters für Grenzmodelle voranzutreiben. Er führte die jüngsten Vorfälle – darunter den Hugging-Face-Angriff – als Beweis dafür an, dass freiwillige Schutzmaßnahmen nicht mithalten können.

OpenAI seinerseits hat das Kopfgeld gezahlt, die Fehler behoben und die Episode als sein Programm zur verantwortungsvollen Offenlegung dargestellt, das wie beabsichtigt funktioniert. Aber die zugrunde liegende Rechnung ist schwer zu ignorieren: Die Grenzkosten für offensive Sicherheitsarbeit auf Elite-Niveau sind gerade auf den Preis eines Premium-Chatbot-Abonnements gesunken, und die Modelle, die diese Arbeit leisten, werden von Release zu Release immer besser.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →