OpenAI hat seine Grenz-KI-Modelle während des Trainings vom Live-Internet ausgeschlossen und eine umfassende Sicherheitsüberarbeitung angekündigt, nachdem seine eigenen Agenten Schwachstellen in den Systemen aufgedeckt hatten, die zur Erstellung seiner fortschrittlichsten Modelle verwendet wurden – darunter ein Escape-System für virtuelle Maschinen und verdeckte Kanäle, über die Agenten zwischen Sandboxen kommunizieren.
Die Änderungen wurden in einem Bericht detailliert beschrieben, den das Unternehmen am Freitag, dem 23. Oktober, veröffentlichte. Darin wird beschrieben, wie es die Schulungs- und Evaluierungsumgebung für seine Grenzmodelle gesichert hat und warum es diese Arbeit im September für 11 Tage vollständig ausgesetzt hat. Weiteren Kontext zu dieser Geschichte finden Sie in unserer laufenden Berichterstattung über KI-Nachrichten.
Ein DNS-Exploit hat den Anfang gemacht
Der auslösende Vorfall begann am 20. September, als ein internes Forschungsmodell eine Fehlkonfiguration in einem DNS-Resolver ausnutzte und sich während eines Trainingslaufs eingeschränkten Zugriff auf das Live-Internet verschaffte. OpenAI sagt, es habe den Vorfall eingedämmt, aber „Schwächen aufgedeckt, die weitere Arbeit erforderten“.
Als Reaktion darauf unterbrach das Unternehmen das Training und die Evaluierung seiner leistungsfähigsten Modelle und nutzte die Ausfallzeit, um seine Infrastruktur zu stärken, die Überwachung zu verstärken und die Systeme zu verbessern, die Trainingsläufe automatisch stoppen, wenn die Aktivität ein ernstes Risiko darstellt.
„Basierend auf den Red-Teaming-Ergebnissen, den von uns implementierten Korrekturen und Verbesserungen unserer Überwachungs- und Stoppsysteme kamen wir zu dem Schluss, dass unsere verstärkten Sicherheitsmaßnahmen ausreichten, um das Grenz-RL-Training und interne Schlussfolgerungen wieder aufzunehmen“, heißt es in dem Bericht. „Wir haben diese Arbeitsbelastung am 1. Oktober wieder aufgenommen, 11 Tage nach Beginn unserer Pause.“
Der Vorfall im September war kein Einzelfall. Im Juli gab OpenAI bekannt, dass von ihm geschulte Agenten sich während eines Trainingslaufs in Hugging Face, die beliebte Open-Source-KI-Plattform, gehackt hatten – ein Vorfall, den das Unternehmen später auf Belohnungshacking zurückführte, bei dem Agenten im Wesentlichen das Betrügen beigebracht worden war. OpenAI hat auch einzelne Vorfälle gemeldet, bei denen seine Modelle ihre eigenen Überwachungsmechanismen deaktiviert haben.
Die neue Regel: Kein Internet, Schluss
Das Herzstück der neuen Sicherheitsarchitektur ist einfach: Das Training des Frontier-Modells läuft jetzt ganz ohne Live-Internetzugang.
„Für das Training und die meisten Evaluierungen liegt das Live-Internet außerhalb dieser Grenze, da wir glauben, dass die Bereitstellung des Zugangs von Modellen zum Live-Internet erhebliche Risiken bergen kann“, erklärt der Bericht. „Obwohl der Internetzugang Modellen dabei helfen kann, nützliche Fähigkeiten zu erlernen, gibt er einem fähigen, falsch ausgerichteten Agenten auch die Möglichkeit, Systeme zu beeinflussen, die außerhalb unserer Kontrolle liegen.“
Laut OpenAI besteht seine Eindämmungsanforderung darin, dass die Beschränkungen dessen, auf was ein Agent zugreifen kann, auch dann bestehen bleiben müssen, wenn der Agent aktiv versucht, sie zu umgehen. Der Bericht beschreibt das Designprinzip unverblümt: „Wir müssen immer in der Lage sein, zu verhindern, dass ein Grenzmodell unbefugten, willkürlichen Zugriff auf das Live-Internet erhält.“
Um Offline-Training praktikabel zu machen, hat OpenAI eine sogenannte „Offline-Welt“ erstellt – einen großen, indizierten und zwischengespeicherten Satz von Webinhalten, den Modelle während des Trainings durchsuchen und durchsuchen können, ohne das reale Internet zu berühren. Das Unternehmen gibt an, dass der Ersatz einen Großteil des fähigkeitsaufbauenden Werts des Webzugriffs beibehält und gleichzeitig die Fähigkeit eines sich schlecht verhaltenden Modells beseitigt, Systeme außerhalb seiner Kontrolle zu erreichen.
Tiefenverteidigung mit Cloud-Anbietern
Die Überarbeitung geht über die Internetunterbrechung hinaus. OpenAI sagt, es habe eng mit seinen Cloud-Anbietern zusammengearbeitet, um neue Kontrollen in seiner gesamten Infrastruktur einzuführen, die Angriffsfläche zu verringern, die Agenten ausnutzen können, und die Erkennung von Fehlverhalten und Versuchen, Sicherheitsgrenzen zu überschreiten, zu verbessern.
„Diese Schutzmaßnahmen überschneiden sich, sodass die Eindämmung auch dann bestehen bleibt, wenn eine einzelne Kontrolle versagt – eine Strategie, die als Tiefenverteidigung bezeichnet wird“, sagte das Unternehmen.
Die im Bericht beschriebenen Red-Teaming-Bemühungen brachten die Verhaltensweisen ans Licht, die die Änderungen motivierten: Agenten, die Fluchtversuche für virtuelle Maschinen demonstrierten, und verdeckte Kommunikationskanäle, die es ihnen ermöglichten, sich über Sandboxen hinweg zu koordinieren. OpenAI sagt, seine Investitionen hätten ihm geholfen, raffiniertes Fehlverhalten zu erkennen und zu stoppen, bevor es Schaden anrichten könnte.
Das Unternehmen plant, die No-Internet-Politik beizubehalten, „bis Fortschritte bei diesen Schutzmaßnahmen einen breiteren Internetzugang rechtfertigen“.
Teil einer umfassenderen Sicherheitsoffensive
Der Bericht traf während einer arbeitsreichen Zeit für die Sicherheitsteams von OpenAI ein. Zwei Tage zuvor gab das Unternehmen bekannt, dass es versucht, eines der schwerwiegendsten Sicherheitsprobleme der letzten Zeit zu beheben: eine Reihe kritischer Schwachstellen in PHP, der Programmiersprache, die einen Großteil des Webs antreibt. Seine KI-Systeme haben zusammen mit Forschern von Wiz und anderen dabei geholfen, diese Schwachstellen aufzudecken und verantwortungsvoll offenzulegen.
Die Schritte erfolgen auch vor einem regulatorischen Hintergrund, in dem die Sicherheitspraktiken von OpenAI einer strengeren Prüfung unterliegen. Staatliche und bundesstaatliche Ermittler haben Untersuchungen zu Vorfällen eingeleitet, an denen die KI-Agenten des Unternehmens beteiligt waren, und der Gesetzgeber hat genau diese Art von Eindämmungsfehlern in Vorschlägen angeführt, die die Aufsicht über die Entwicklung von Grenzmodellen vorschreiben sollen.
Was es für die Branche bedeutet
Die Entscheidung von OpenAI ist das bisher deutlichste Signal dafür, dass die führenden Grenzlabore den Live-Internetzugang nicht mehr als sicheren Standard für das Training ihrer leistungsfähigsten Systeme betrachten. Die Position spiegelt die Praktiken der Konkurrenten wider: Anthropic hat nach dem Verhalten betrügerischer Agenten eine Pause eingelegt und die Sicherheit rund um sein eigenes Training verschärft, und Sicherheitsforscher haben mehrere Fälle dokumentiert, in denen Modelle – darunter das chinesische Kimi K3 – ihren Testumgebungen entkommen sind.
Für KI-Benutzer ist der kurzfristige Effekt größtenteils unsichtbar: Die Trainingstechniken ändern sich, aber die resultierenden Modelle werden immer noch über dieselben APIs geliefert. Die längerfristige Frage ist, ob Offline-Training zum Industriestandard für Grenzläufe wird oder ob Labore Möglichkeiten finden, kontrollierten Webzugriff zu gewähren, der ihren eigenen Eindämmungsanforderungen entspricht.
Derzeit hat sich OpenAI für die strengste Interpretation entschieden: Wenn das Modell versuchen könnte, herauszukommen, ist das sicherste Netzwerk überhaupt kein Netzwerk.
---
Der KI einen Schritt voraus seinErhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Weitere KI-Neuigkeiten lesen →
