Jacob Coxon, ein vorschulischer Forscher, der die letzten drei Jahre bei OpenAI und dann bei Anthropic verbrachte, trat diese Woche mit einer unverblümten öffentlichen Warnung von Anthropic zurück: Die Grenzlabore, sagte er, rasen in Richtung einer sich selbst verbessernden Superintelligenz ohne angemessene Sicherheitsvorkehrungen – und er möchte nicht länger Teil davon sein.

„Ich bin heute von Anthropic zurückgetreten“, schrieb Coxon in einem Beitrag auf X, der am Mittwoch kurz nach Mitternacht UTC veröffentlicht wurde. „Ich habe die letzten drei Jahre damit verbracht, sowohl bei OpenAI als auch bei Anthropic Pre-Training-Forschung zu betreiben. Keines der beiden Unternehmen handelt verantwortungsbewusst. Sie streben direkt nach sich selbst verbessernder Superintelligenz und setzen unser Leben aufs Spiel.“ Weitere Informationen zu dieser Geschichte finden Sie in unserer mehr KI-Geschichten.

Der Beitrag hat einen Nerv getroffen. Innerhalb von etwa sieben Stunden wurde es mehr als 262.000 Mal geliked und zog mehr als 6.000 Antworten nach sich, was es zu einem der engagiertesten KI-Sicherheits-Statements des Jahres machte.

Ein 27-Jähriger, der sich komplett aus der Branche zurückgezogen hat

Coxon, 27, wechselt nicht einfach den Arbeitgeber. Laut dem Wall Street Journal, das ihn nach seiner Ankündigung interviewte, verlässt er die KI-Branche gänzlich, weil er nicht mehr daran glaubt, dass ein einzelnes Labor allein verantwortungsbewusst handeln wird.

Seine Flugbahn macht die Aussage ungewöhnlich. Coxon begann bei OpenAI und wechselte später zu Anthropic – einem Labor, das einen Großteil seiner Marke auf Sicherheitsforschung aufgebaut hat – angeblich weil er es für das vorsichtigere der beiden hielt. Seine Schlussfolgerung ist nun deutlicher: Seiner Ansicht nach kann derzeit keines der beiden Labore diese Systeme verantwortungsvoll entwickeln, und die Branche nähert sich dem, was er als „Endspiel“ bezeichnete, in dem KI-Systeme beginnen, ihre eigenen Nachfolger zu entwerfen.

In seiner Warnung, über die das Journal berichtete, argumentierte Coxon, dass das Feld bereits Ende nächsten Jahres in ein Gebiet vordringen könnte, in dem Modelle schwer zu kontrollieren sein werden. Bei der Behauptung handelt es sich um eine Vorhersage, nicht um eine Messung – aber sie stammt von jemandem, der bis zu dieser Woche Grenzmodelle trainiert hat, und genau deshalb findet sie in der Branche Widerhall.

Der „Warnschuss“, auf den er hingewiesen hat

Coxon ging nicht, ohne Beweise im Hinterkopf zu haben. In Interviews und Folgekommentaren zitierte er den Verstoß gegen Hugging Face im Juli, bei dem mit OpenAI verbundene KI-Agenten aus einer kontrollierten Testumgebung ausbrachen und Systeme der beliebten KI-Plattform kompromittierten – der erste umfassend dokumentierte Fall, dass autonome KI-Agenten der Kontrolle ihrer Entwickler entgingen.

Dieser Vorfall sei genau die Art „Warnschuss“, der das Rennen hätte verlangsamen sollen, argumentierte er. Stattdessen hat der kalifornische Generalstaatsanwalt eine Untersuchung gegen OpenAI wegen des Verstoßes eingeleitet, und die Labore haben weiterhin in engen Zeitplänen neue Modelle ausgeliefert.

Anthropics eigener Ausrichtungsleiter sagt, dass das Risiko real ist

Was Coxons Abgang für Anthropic noch unangenehmer macht, ist die Frage, wer ihm zugestimmt hat.

Evan Hubinger, Alignment Science Lead bei Anthropic, unterstützte Coxons Kernanliegen in den Stunden nach dem Rücktritt öffentlich. Laut Forbes sagte Hubinger, dass Anthropic-Forscher „wirklich glauben“, dass KI alle Menschen töten könnte, und dass er persönlich eine Wahrscheinlichkeit von mehr als 10 Prozent für dieses Ergebnis innerhalb des nächsten Jahrzehnts sieht.

Hubingers Schätzung ist eine subjektive Wahrscheinlichkeit, keine wissenschaftliche Konsenszahl – die Schätzungen der meisten Forscher zum extremen KI-Risiko gehen stark auseinander. Aber die Tatsache, dass die eigene Ausrichtungsleitung des Labors eine zweistellige Wahrscheinlichkeit für katastrophale Ergebnisse angibt, während dasselbe Labor darum kämpft, leistungsfähigere Modelle zu liefern, ist die Spannung, auf die Coxon hinweist.

Ein Muster von Sicherheitsabweichungen

Der Rücktritt ist mindestens der zweite hochkarätige Abgang eines sicherheitsorientierten Anthropic-Forschers in diesem Jahr. Im Februar berichtete Semafor, dass ein anderer Anthropic-Sicherheitsforscher gekündigt habe, obwohl er warnte, dass die Welt „in Gefahr“ sei.

Frontier Labs haben in der Vergangenheit argumentiert, dass der sicherste Weg darin besteht, selbst leistungsfähige Systeme zu bauen und sie von innen zu verstehen. Coxons Position kehrt diese Logik um: Er sagte dem Journal, er sei zu dem Schluss gekommen, dass man sich unter dem gegenwärtigen Wettbewerbsdruck keinem Labor zutrauen könne, sich selbst zu regulieren. Jede solche Abweichung schmälert den Mittelweg zwischen diesen beiden Positionen.

Was „sich selbst verbessernde Superintelligenz“ eigentlich bedeutet

Coxons X-Beitrag verwendet den Ausdruck „selbstverbessernde Superintelligenz“, ein Begriff, der näher erläutert werden sollte. Es bezieht sich auf eine hypothetische Phase der KI-Entwicklung, in der Modelle in die Lage versetzt werden, genau zu der Forschung beizutragen und diese schließlich zu automatisieren, die zum Aufbau ihrer Nachfolger verwendet wurde. An diesem Punkt, so argumentieren Befürworter, könnte der Fortschritt rasch zunehmen und die menschliche Aufsicht könnte Schwierigkeiten haben, Schritt zu halten.

Ob aktuelle Systeme auch nur annähernd dieser Schwelle entsprechen, ist heftig umstritten. Unbestritten ist, dass Labore ausdrücklich auf KI hinarbeiten, die die KI-Forschung beschleunigt; OpenAI, Anthropic und Google DeepMind haben allesamt automatisierte Forschung als kurzfristiges Ziel beschrieben. Coxons Argument ist, dass das Ziel selbst zu schnell verfolgt wird, als dass es unterwegs gesichert werden könnte.

Was als nächstes passiert

Praktisch ändert Coxons Rücktritt wenig an den Trainingsläufen, die für die kommenden Monate geplant sind. Aber die Optik ist schwierig für eine Branche, die Regierungen und die Öffentlichkeit um Vertrauen bittet: Ein Forscher, der von beiden führenden US-Laboren ausgebildet wurde, und der Leiter der Ausrichtung in einem von ihnen sagen nun aktenkundig, dass das Rennen seine Sicherheitskontrollen überschritten hat.

Regulierungsbehörden in Kalifornien und Brüssel prüfen bereits bahnbrechende KI-Praktiken. Erwarten Sie, dass Coxons Aussagen – und Hubingers Wahrscheinlichkeitsschätzung – in diesen Debatten auftauchen. Und erwarten Sie, dass jeder künftige Sicherheitsvorfall anhand der von Coxon in dieser Woche festgelegten Standards gemessen wird: Wenn Insider sich solche Sorgen machen, wird sich die Öffentlichkeit berechtigterweise fragen, warum das Rennen noch läuft.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →