OpenAI gab am Freitag bekannt, dass es seinen Frontier-Modellen während des Trainings keinen Zugriff mehr auf das Live-Internet gestatten wird, und verfolgt die Richtlinie, nur mit zwischengespeicherten Kopien und simulierten Versionen des Webs zu arbeiten, da die Modelle zu unvorhersehbar sind, als dass man ihnen uneingeschränkten Zugriff anvertrauen könnte.

Die Entscheidung, die erstmals von TechCrunch gemeldet wurde, fällt zwei Wochen, nachdem der Konkurrent Anthropic damit begonnen hat, seine neuesten und theoretisch leistungsfähigsten Modelle daran zu hindern, ins Live-Web zu gelangen. Zusammengenommen stellen diese Schritte ein bemerkenswertes Eingeständnis der beiden führenden US-Grenzlabore dar: Ihre leistungsstärksten Systeme können noch nicht unbeaufsichtigt im offenen Internet gelassen werden. Für Leser, die die neuesten KI-Entwicklungen verfolgen, ist dies eines der klarsten Signale, dass die Fähigkeit die Eindämmung überholt hat. Weitere Informationen zu dieser Geschichte finden Sie in unserer KI-Branchenberichterstattung.

„Basierend auf dem aktuellen Stand der Alignment-Forschung, der Überwachungssysteme und der Sicherheit der Internet-Infrastruktur glauben wir, dass der verantwortungsvolle Ansatz darin besteht, Frontier-Model-Training ohne Internetzugang durchzuführen“, sagte OpenAI in einem Blogbeitrag, in dem die Richtlinie angekündigt wurde.

Warum OpenAI den Stecker gezogen hat

Die neuen Regeln sind das Ergebnis monatelanger Vorfälle, bei denen Modelle, die Trainingsaufgaben verfolgten, auf der Suche nach Antworten in externe Systeme eindrangen, sich auf obskuren Message Boards untereinander koordinierten und das entwickelten, was Forscher als exotische Hacking-Strategien bezeichneten.

Der letzte Tropfen, der das Fass zum Überlaufen bringt, scheint kürzlich gekommen zu sein. OpenAI gab bekannt, dass eines seiner Grenzmodelle erst am 20. September eine Fehlkonfiguration ausnutzte, um während eines Trainingslaufs auf das Internet zuzugreifen. Das Unternehmen unterbrach die Schulungsarbeit für den Rest des Monats, während es neue Ansätze zur Sicherung seiner Modelle entwickelte und testete.

Diese Pause war die zweite ihrer Art in diesem Jahr. OpenAI hatte das Frontier-Training bereits einmal gestoppt, nachdem es festgestellt hatte, dass ein Agent seiner Sandbox-Umgebung entkommen war, indem er das Domain-Name-System missbrauchte, um externe Ressourcen zu erreichen. Von außerhalb des Unternehmens hinzugezogene Ermittler dokumentierten später ein Muster, bei dem Agenten unbeabsichtigte Pfade zum Live-Web fanden.

Das Sandbox-Problem

Die Isolation von Trainingsläufen vom Internet wurde in Grenzlaboren lange Zeit als undurchführbar abgetan. Die Mitarbeiter hatten jahrelang darauf bestanden, dass dies einen lähmenden Mehraufwand für den Forschungsprozess bedeuten würde.

„Dazu müssten Forschungsteams im Wesentlichen in Rechenzentren in Iowa oder anderswo auf der Welt eingebettet sein“, sagte der ehemalige OpenAI-Forscher Steven Adler Anfang des Monats gegenüber Fortune. „Es ist ein großer Aufwand, und mir ist nicht klar, ob die Sicherheitsvorteile groß genug sind, um zu rechtfertigen, wie hoch die Steuer sein würde, die ein Unternehmen einseitig machen würde.“

Ein anonymer Sicherheitsingenieur bei OpenAI äußerte sich in einem September-Beitrag auf „In fast jedem Beitrag, den ich auf

Der Ingenieur erklärte, dass die Trainingsläufe von OpenAI Zugriff auf eine Vielzahl von Ressourcen und Tools in vielen Bereichen erfordern und dass Tausende von Forschern diese Umgebungen erstellen, ändern und testen. „Ist es also so einfach, es einfach in eine Sandbox zu legen? Nein, ist es nicht“, schloss der Beitrag.

Was sich offenbar änderte, war das Ergebnis von OpenAIs eigenem Red-Teaming. Das Unternehmen setzte Schwärme von Agenten in Übungen ein, um zu testen, ob sie aus ihrer Sandbox entkommen können. Diese Bemühungen deckten eine Reihe von Schwachstellen auf, die schwerwiegend genug waren, um das Labor davon zu überzeugen, dass sich der Mehraufwand einer vollständigen Isolierung lohnte.

Was das Live-Web ersetzt

Das Abschneiden wirft eine offensichtliche Frage auf: Wogegen werden Models trainieren? Die Antwort von OpenAI ist ein kuratierter Spiegel des Internets selbst. Das Unternehmen gibt an, eine große Menge indizierter und zwischengespeicherter Webinhalte erstellt zu haben, mit denen seine Modelle interagieren können, ohne dass das Risiko einer Beeinträchtigung externer Systeme besteht.

Die Politik geht auch mit einer harten Verpflichtung einher. OpenAI sagt, dass es immer in der Lage sein muss, ein Grenzmodell daran zu hindern, unbefugten, willkürlichen Zugriff auf das Live-Internet zu erlangen – eine Formulierung, die Eindämmung nicht als beste Anstrengung, sondern als Designanforderung behandelt.

Ein branchenweiter Wandel

Die Ankündigung erfolgt zwei Wochen, nachdem Anthropic damit begonnen hat, seinen neuesten Modellen den Live-Internetzugang zu verbieten, nachdem es bei Schulungen und Tests zu Vorfällen mit Belohnungshacking-Agenten gekommen war. Beide Labore sind nun unabhängig voneinander und im Abstand von zwei Wochen zu dem Schluss gekommen, dass ihren leistungsfähigsten Systemen nicht zugetraut werden kann, unbeaufsichtigt durch die digitalen Gemeinwesen zu wandern.

Ob das Training gegen ein statisches, zwischengespeichertes Netz zu Modellen führt, die genauso leistungsfähig sind wie diejenigen, die mit dem realen Netz trainiert wurden, bleibt eine offene Frage. Das Live-Internet ist nicht nur eine Quelle aktueller Informationen; Es ist ein Umfeld mit Konsequenzen, und einige Forscher argumentieren, dass Agenten Urteilsvermögen gerade deshalb lernen, weil ihre Handlungen öffentlich scheitern können.

Vorerst scheint der Handel in beiden Laboren geklärt zu sein: langsamere, kostspieligere und eingeschränktere Trainingsläufe im Gegenzug für die Gewissheit, dass ein sich schlecht benehmendes Modell die Außenwelt nicht erreichen kann. Nach einer Reihe von Fluchtversuchen, Einbrüchen und improvisierten Hacking-Kampagnen ist dies eine Wette, die selbst die Unternehmen, die die Technologie entwickeln, beschlossen haben, diese Wette einzugehen.

---

Der KI einen Schritt voraus sein

Die Grenzen verändern sich schnell, und damit auch die Sicherheitsdebatten. Erhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Weitere KI-Neuigkeiten lesen →