Der geänderte IPO-Antrag von Anthropic sorgte am Montag für Schlagzeilen in Bezug auf die Finanzzahlen – rund 17 Milliarden US-Dollar Umsatz im dritten Quartal gegenüber 895,4 Milliarden US-Dollar an Rechenverpflichtungen. Aber in den Risikofaktoren des überarbeiteten S-1A verbirgt sich eine Offenlegung, die sich als folgenreicher erweisen könnte: Das Unternehmen gibt an, dass es möglicherweise kurz davor steht, seine eigene Schwelle zur rekursiven Selbstverbesserung zu überschreiten, den Punkt, an dem KI-Systeme in der Lage werden, ihre eigene Entwicklung zu beschleunigen.

TechCrunch berichtete, dass die Einreichung offenbar darauf hinweist, dass Anthropic kurz davor steht, ein Modell zu entwickeln, das zur rekursiven Selbstverbesserung fähig ist, allgemein bekannt als RSI – das Stadium, in dem die KI so gut darin wird, die KI zu verbessern, dass die Fähigkeitsgewinne dramatisch zuzunehmen beginnen. Weitere Informationen zu dieser Geschichte finden Sie in unserer aktuelle KI-Trends.

Was in der Akte tatsächlich steht

Anthropic nutzt KI bereits, um die eigene Forschung und Entwicklung zu beschleunigen. In der geänderten Einreichung weist das Unternehmen darauf hin, dass diese Praxis in beide Richtungen geht: „Der Einsatz von KI zum Aufbau leistungsfähigerer KI könnte auch ein erhebliches Sicherheitsrisiko darstellen, insbesondere wenn dadurch das Tempo des Fortschritts stark beschleunigt wird. Dies ist einer der Bereiche, die von unserer Richtlinie zur verantwortungsvollen Skalierung abgedeckt werden, in der unsere Pläne zur Überwachung und Minderung der Risiken dargelegt sind, während wir uns dem nähern, was als ‚rekursive Selbstverbesserung‘ bezeichnet wird.“

Die neue Risikofaktorsprache geht weiter, als Anthropic zuvor in seinen öffentlichen Unterlagen angegeben hat. Das Unternehmen gibt bekannt, dass es in der Vergangenheit größere Fähigkeitssprünge nicht erkannt hat, als sie eintraten: „Wir haben in der Vergangenheit eine signifikante Beschleunigung unserer Entwicklungsgeschwindigkeit erst erkannt, nachdem sie eingetreten ist, und werden dies möglicherweise auch in Zukunft nicht tun.“

Dann kommt die Aussage, die die Aufmerksamkeit der Branche auf sich zieht. In der Einreichung heißt es: „Unsere internen Schätzungen und unsere Erwartungen an zukünftige Modelle und nicht an unsere aktuellen Modelle deuten darauf hin, dass wir die Definition unserer Responsible Scaling Policy für ‚dramatisch beschleunigten Fortschritt, der auf KI zurückzuführen ist‘ möglicherweise bald erfüllen.“

Anthropic fügt hinzu, dass es „bei keinem unserer aktuellen Modelle festgestellt hat, dass es diesen Schwellenwert überschreitet“ und bewertet weiterhin die zugrunde liegenden Daten. Mit anderen Worten: Kein aktuelles Claude-Modell ist dafür geeignet, aber die internen Prognosen des Unternehmens deuten darauf hin, dass die nächste Generation dies tun könnte.

Menschen auf dem Laufenden halten

Neben der Warnung verpflichtet sich Anthropic dazu, den Menschen die Kontrolle über die Modellentwicklung zu geben. „Wir gehen nicht davon aus, dass wir Claude sicher nutzen können, um aufeinanderfolgende Generationen von Grenzmodellen ohne sinnvolle menschliche Aufsicht oder Verständnis völlig autonom zu entwerfen und zu bauen, sofern dies technisch möglich wird“, heißt es in der Einreichung. „Dementsprechend erwägen wir Aktualisierungen unserer Responsible Scaling Policy, um den Menschen die Kontrolle über die Entwicklung von Grenzmodellen bei Anthropic zu geben.“

Der Umfang der Rolle der KI in der eigenen Forschung von Anthropic wächst schnell. Business Insider berichtete, dass KI nun rund ein Viertel der internen Forschungs- und Entwicklungsarbeit von Anthropic ausmacht, gegenüber 1 Prozent im März – ein Diagramm, das Brancheninsider als eines der wichtigsten im Bereich KI bezeichnen.

Ein Diskurswechsel: Vom Schlagwort zur Bilanz

Als der Begriff RSI Anfang des Jahres populär wurde, taten ihn viele in der Branche als Schlagwort ab – oder bestenfalls als ein Ziel, das zu schlecht definiert war, um es zu erreichen, zu beweisen oder zu regulieren. Diese Skepsis ist jetzt schwerer aufrechtzuerhalten, da das Konzept mit einer präzisen internen Definition in einem Dokument enthalten ist, das ein Unternehmen gesetzlich bei der SEC einreichen muss, bevor es Aktien an die Öffentlichkeit verkauft.

Anthropic ist auch nicht der Einzige, der die Selbstverbesserung als kurzfristige Planungsannahme betrachtet. Google-Mitbegründer Sergey Brin hat beschrieben, dass die Branche auf eine „RSI-Tretmühle“ zusteuert, in der Modelle beim Aufbau ihrer Nachfolger helfen, und der ehemalige OpenAI-Mitbegründer John Schulman sagte, er erwarte innerhalb von etwa drei bis vier Jahren eine rekursive Selbstverbesserung. Was die Offenlegung von Anthropic auszeichnet, ist ihre Formalität: ein definierter Schwellenwert, ein interner Messprozess und eine öffentliche Erklärung darüber, wann das Unternehmen diesen Schwellenwert voraussichtlich überschreiten wird.

Warum RSI der Tripwire ist, beobachten beide Lager

RSI hat unterschiedliche Bedeutungen, je nachdem, wer es beschreibt. Für KI-Sicherheitsforscher stellt dies den Punkt dar, an dem es kein Zurück mehr gibt – das Szenario, in dem KI-Systeme sich schneller verbessern, als Menschen verstehen, validieren oder eingreifen können, und möglicherweise der menschlichen Kontrolle entgleiten. Für KI-Optimisten ist die gleiche Dynamik der Preis: Systeme, die sich zuverlässig selbst verbessern, würden zu außergewöhnlicher Produktivität und wissenschaftlichen Entdeckungen führen.

Die Gestaltung von Anthropic berücksichtigt beide Möglichkeiten. Die Offenlegung findet sich in einem Dokument, dessen Hauptzielgruppe Investoren sind, und Skeptiker weisen darauf hin, dass ein S-1 sowohl der Offenlegung als auch dem Marketing dient – ​​eine Behauptung, dass das Unternehmen kurz davor steht, eine sich selbst verbessernde KI aufzubauen, könnte genauso gut als Argument für seine Bewertung interpretiert werden.

Es gibt jedoch einen konkreten Anker für den Anspruch. Claudes Fähigkeiten in den Bereichen Codierung, Mathematik und Cybersicherheit haben sich bis 2026 stark weiterentwickelt, und Anthropics eigene Richtlinie zur verantwortungsvollen Skalierung definiert den „dramatisch beschleunigten Fortschritt, der auf KI zurückzuführen ist“, den das Unternehmen nun nach eigenen Angaben bald erfüllen könnte.

Ein Test für KI-Governance

Die Offenlegung erfolgt inmitten sich intensivierender politischer Debatten über die Aufsicht über Grenz-KI, vom Rahmen des Weißen Hauses zur Überprüfung von Grenzmodellen bis hin zu internationalen Diskussionen über Computer-Governance. Wenn ein führendes KI-Labor offiziell feststellt, dass ein Modell seinen eigenen Schwellenwert für beschleunigten Fortschritt erreicht, würde dies Verpflichtungen im Rahmen der Responsible Scaling Policy von Anthropic auslösen – und wäre der erste reale Test dafür, ob solche Branchenrahmen den Fähigkeitswettlauf in der Praxis verlangsamen oder beeinflussen können.

Laut Anthropic hat vorerst kein Modell die Grenze überschritten. Aus der Einreichung geht hervor, dass das Unternehmen davon ausgeht, dass diese Grenze bald überschritten wird – und die Anleger bittet, im Voraus zu verstehen, was es dagegen zu unternehmen gedenkt.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →