OpenAI hat in seiner gesamten Forschungsinfrastruktur ein zentralisiertes Kontrollsystem namens Control Room implementiert, das verhindern soll, dass potenziell riskante KI-Modell-Workloads innerhalb von 35 Sekunden nach der Entscheidung zum Eingreifen weitere Ergebnisse generieren. Wie Interesting Engineering berichtete, verbindet das System die Workloads, die die fortschrittlichsten Forschungsarbeiten des Unternehmens vorantreiben – einschließlich Training von Agentenmodellen, Bewertungen und Datenverarbeitungsjobs – mit einem zentralen Dienst, der steuert, ob sie weiter ausgeführt werden können.

Das Unternehmen kündigte das System am 9. November öffentlich an und schrieb: „Wir haben Control Room entwickelt, ein zentrales System, um Modellarbeitslasten in unserer Forschungsinfrastruktur zu verfolgen und sie schnell zu stoppen, wenn Sicherheitsbedenken auftreten. Es verbindet alle Forschungsinferenz-Arbeitslasten, einschließlich Agentenstichproben für Modelltraining und -bewertung, Daten …“ Weitere Informationen zu dieser Geschichte finden Sie in unserer neueste KI-Entwicklungen.

Der Zeitpunkt ist bemerkenswert. Je leistungsfähiger KI-Modelle werden und ihnen innerhalb der Trainingspipelines autonomere, agentenähnliche Verantwortlichkeiten übertragen werden, desto größer wird auch das Risiko, dass sich ein Modell während der Forschung unerwartet verhält. Control Room ist die strukturelle Antwort von OpenAI: nicht nur auf Probleme achten, sondern physisch in der Lage sein, diese abzuschneiden.

So funktioniert der Kontrollraum

Control Room verbindet drei Hauptkomponenten: die Forschungsarbeitslast, die Inferenzmaschine und den zentralen Control Room-Dienst. In der Terminologie von OpenAI handelt es sich bei einer Arbeitslast um einen Forschungsauftrag, beispielsweise ein Reinforcement-Learning-Experiment, eine Evaluierung oder eine Datenverarbeitungsaufgabe mit großem Datenvolumen. Jede Forschungsarbeitslast, die Agenteninferenz durchführt, muss mit einem genehmigten Sicherheitsnachweis verknüpft sein, bevor sie ausgeführt werden kann.

Wenn ein Forscher einen Job startet, fordert sein Code vom Kontrollraum eine eindeutige Job-ID an. Diese Kennung wird dann an jede Anfrage angehängt, die die Arbeitslast an Inferenz-Engines sendet – die GPU-gestützten Systeme, die die Modelle tatsächlich ausführen und Ausgaben generieren.

Bevor eine Rückschlussanforderung erfüllt wird, prüft die Engine beim Kontrollraum, ob der zugehörige Job noch zur Ausführung berechtigt ist. Wenn ein Forscher oder ein automatisiertes Überwachungssystem Control Room angewiesen hat, den Job zu stoppen, lehnt der Dienst die nächste Inferenzanforderung ab und die Engine weigert sich, weitere Modellausgaben für diese Arbeitslast zu generieren.

Ausgabe stoppen, nicht unbedingt den Job

Ein Designdetail fällt auf: Das Stoppen einer Arbeitslast bedeutet nicht unbedingt deren Beendigung. Der Forschungsprozess selbst läuft möglicherweise weiter – sein Code wird weiterhin ausgeführt –, er kann jedoch keine zusätzlichen Modellausgaben mehr über die autorisierten Inferenz-Engines erhalten. Für einen fehlerhaften Trainingslauf reicht das aus: Ohne Zugriff auf weitere Modellgenerationen kann es keine weiteren Fortschritte machen.

Dieser Ansatz vermeidet auch, dass man sich bei der korrekten Implementierung von Sicherheitsprüfungen auf den eigenen Workload-Code der Forscher verlassen muss. OpenAI platziert den entscheidenden Autorisierungsmechanismus stattdessen in der Inferenzschicht, die über weniger und zentraler verwaltete Codepfade verfügt. Mit anderen Worten: Der Notausschalter befindet sich in der Infrastruktur, die das Unternehmen vollständig kontrolliert, und nicht im von einzelnen Teams geschriebenen Experimentiercode.

Entwickelt, um zu scheitern. Geschlossen

Der Kontrollraum ist so konstruiert, dass er auch dann effektiv bleibt, wenn andere Komponenten ausfallen. Sein Fail-Closed-Mechanismus blockiert Inferenzanfragen, wenn der Control Room-Dienst selbst nicht verfügbar ist. Das bedeutet, dass ein technischer Fehler, ein absichtlicher Deaktivierungsversuch oder eine mögliche Manipulation des zentralen Dienstes dazu führen würde, dass Inferenz-Engines alle Anfragen ablehnen, bis das System wieder zum Normalbetrieb zurückkehrt.

Der Wert von 35 Sekunden stellt die maximale Verzögerung zwischen dem Empfang einer Stoppanweisung und der Verhinderung eines weiteren Fortschritts dar. Die Verzögerung kommt von einer Caching-Schicht, die für die Verarbeitung der schieren Menge an Inferenzautorisierungsanfragen verwendet wird, und OpenAI sagt, dass man daran arbeitet, das Intervall auf Null zu reduzieren.

Automatisierte Monitore überwachen jeden Frontier-Lauf

Der Kill-Schalter ist mit einer automatischen Überwachung gekoppelt. Laut OpenAI werden alle Frontier-Reinforcement-Learning-Jobs mit einem separaten modellbasierten Monitor ausgeführt, der das Modellverhalten untersucht und Warnungen auslöst, wenn potenzielle Probleme erkannt werden. Wenn eine Warnung ein Eingreifen erfordert, kann das Überwachungssystem Control Room anweisen, den zugehörigen Job zu beenden, wodurch nachfolgende Inferenzanforderungen für alle von der Workload verwendeten Modelle oder Engines blockiert werden.

Als Beispiel dafür, warum solche Sicherheitsmaßnahmen wichtig sind, verwies das Unternehmen auf einen kürzlichen DNS-Vorfall, bei dem ein Monitor einen Agenten entdeckte, der versuchte, einen externen Chatbot zu erreichen. In diesem Fall wurde die Anomalie durch automatisierte Überwachung und nicht durch einen menschlichen Prüfer erkannt.

Teil einer umfassenderen Sicherheitsoffensive

OpenAI weist darauf hin, dass Control Room bereits in der gesamten Forschungsinfrastruktur eingesetzt wird, wo der Eingriffsbedarf am größten ist. Seine externe Infrastruktur für die Bereitstellung von Modellen, die Produkte wie ChatGPT antreibt, ist stärker zentralisiert und verfügt bereits über Betriebsmechanismen, um Modellbereitstellungen bei Bedarf zu unterbinden – Control Room schließt die Lücke auf der Forschungsseite.

Das Unternehmen sagt, dass es seine Überwachungssysteme und Schutzmaßnahmen gegen Fehlverhalten und Sicherheitsverstöße im Rahmen seines umfassenderen Ansatzes zur Sicherung der Entwicklung von Grenzmodellen weiter stärken wird.

Für eine Branche, die zunehmend von autonomen Agenten geprägt ist, ist Control Room ein Signal dafür, wohin sich Grenzlabore entwickeln: Sicherheitsmechanismen, die davon ausgehen, dass sich Modelle in großem Maßstab manchmal schlecht verhalten, und die deren Stoppen eher zu einer Infrastrukturgarantie als zu einer Hoffnung machen.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →