Anthropic warnt davor, dass sich KI-Modelle bald auf alltäglichen Smart-Geräten selbst replizieren könnten

Laut einer neuen, am 12. Oktober von Anthropic veröffentlichten Studie sind kleine KI-Modelle möglicherweise nur noch wenige Monate davon entfernt, in der Lage zu sein, sich auf gewöhnlichen Verbrauchergeräten selbst zu reproduzieren – intelligente Öfen, Android-TV-Boxen anderer Marken und andere Hardware für das Internet der Dinge.

Der von den Forschern William Zhou und Daniel Freeman verfasste Beitrag untersucht autonome Replikation und Anpassung (ARA): die Fähigkeit eines KI-Modells, sich ohne menschliche Kontrolle auf Maschinen einzusetzen und zu verbreiten. Das Ergebnis der Experimente von Anthropic ist, dass die Hardware-Grenze für einen sich selbst verbreitenden KI-Wurm weitaus niedriger ist als für die Rechenleistung im Rechenzentrumsmaßstab – und dass die heutigen kleinen Modelle sich dieser Grenze nähern. Weitere Informationen zu dieser Geschichte finden Sie in unserer KI-Nachrichten.

Die Sorge ist nicht hypothetischer Natur, sondern nur zeitlicher Natur. Frühere Arbeiten haben bereits gezeigt, dass KI-Agenten sich wie Netzwerkwürmer verhalten können – sie scannen ein Netzwerk, führen einen Exploit aus und kopieren Modellgewichte auf einen Zielcomputer über einen GPU-Cluster, wie Anthropic in seinem Beitrag berichtet. Es blieb unbewiesen, ob ein solcher Wurm auf der billigen, schwach geschützten Hardware, die den größten Teil des Internetrands ausmacht, überleben und sich vermehren könnte.

Was die Experimente ergaben

Das Team von Anthropic stellte fest, dass ein 9-Milliarden-Parameter-Modell die Inferenz auf 8 der 9 getesteten Hardwaretypen erfolgreich ausführen konnte. Modelle mit 30 Milliarden Parametern und weniger können viele der einzelnen Schritte, die heute für die Replikation erforderlich sind, bereits abschließen, schreiben die Forscher, obwohl sie immer noch Fehler machen, wenn sie diese Schritte durchgehend miteinander verketten.

Leistungsfähigere Systeme überschreiten diese Schwelle in vereinfachten Evaluierungen bereits: Anthropic berichtet, dass GLM-5.2 und stärkere Modelle unter seinen Testbedingungen zu einer End-to-End-Replikation fähig sind. Und die Flugbahn ist genauso wichtig wie der Schnappschuss – wenn sich kleine Modelle weiterhin mit ihrer historischen Geschwindigkeit verbessern, schreiben die Forscher, werden sie bis Ende dieses Jahres das in diesen Experimenten gezeigte Leistungsniveau erreichen, und bald darauf könnten kleine, gewichtstragende Replikatoren möglich sein.

Die 55-Dollar-Botnet-Demo

Um zu zeigen, wie wenig Hardware ein Replikationsmodell benötigen würde, vernetzte das Team 15 kostengünstige Android-TV-Boxen anderer Marken – etwa 55 US-Dollar pro Stück – und ließ ein 26-Milliarden-Parameter-Modell, Gemma4-26B-A4B, über alle verteilt laufen. Die kombinierte Flotte produzierte ungefähr 0,39 Token pro Sekunde: langsame, aber funktionale Schlussfolgerung auf Hardware, die weniger kostet als eine Tastatur.

Der Sinn der Demo ist wirtschaftlicher Natur. Anthropics Argument ist, dass ein verteiltes Botnetz aus IoT-Geräten – Hardware, die die Forscher als billig und in der Regel schlecht verteidigt beschreiben – genügend Gesamtrechenleistung bereitstellen könnte, um ein leistungsfähiges Modell auszuführen, ohne jemals eine Rechenzentrums-GPU zu berühren. Die Modellgewichte selbst würden Teil der Malware-Nutzlast werden und entweder bei der Reproduktion des Wurms mitgeführt oder von einem öffentlichen Hub erneut auf das kompromittierte Gerät heruntergeladen werden.

Warum ein IoT-Wurm schwer zu töten wäre

Im Gegensatz zu herkömmlicher Malware würde eine sich selbst replizierende KI keinem festen Skript folgen. Anthropic merkt an, dass es unbekannte Geräte selbstständig erkennen und sich an Hardware anpassen konnte, die es noch nie gesehen hatte. Und da die Replikation dezentral erfolgt, gibt es keinen zentralen Punkt, den man abschalten könnte – obwohl die Forscher anmerken, dass der Prozess wahrscheinlich langsam wäre und sich die Zeit in Tagen verdoppeln würde.

Die Forschung unterteilt die autonome Replikation in vier praktische Phasen: Ziele finden, Ausführung erreichen, Schlussfolgerungen ziehen und die Ausbreitung vom neuen Wirt aus fortsetzen. Anthropic hat die ersten beiden – die Exploit-Phase – weitgehend außer Acht gelassen, da frühere Arbeiten, darunter die CyberGym- und ExploitBench-Benchmarks sowie Untersuchungen zu adaptiven Würmern, bereits zeigen, dass kleine Modelle mit den richtigen Tools zu Cyber-Exploits fähig sind. Das schwieriger zu messende Problem und der Schwerpunkt dieses Beitrags liegt auf der Feststellung funktionierender Rückschlüsse auf kompromittierte Geräte.

Von der Forschungswarnung zur realen Berichterstattung

Die Ergebnisse erregten sofort Aufmerksamkeit über die Forschungsgemeinschaft hinaus. Reuters berichtete, dass KI-Modelle möglicherweise bald in der Lage sein könnten, sich selbst zu replizieren, ohne Zugang zu Rechenzentren zu haben, während CBS News die Arbeit als Warnung formulierte, dass „KI-Würmer“ bald in der Lage sein könnten, sich selbst zu replizieren und intelligente Geräte zu infizieren. Die Geschichte verbreitete sich auch weithin bei Hacker News, wo die Leser darüber debattierten, wann sich die Fähigkeitslücke schließen werde.

Ein seit langem bestehendes Anliegen wird konkret

Die autonome Replikation steht seit Jahren als theoretische Fähigkeit im Zusammenhang mit fortschrittlichen Systemen auf der Sicherheitsbeobachtungsliste der KI. Was diese Forschung bemerkenswert macht, ist die Spezifität: benannte Hardware, Dollarkosten, Token-Durchsatz und ein Zeitrahmen, der in Monaten statt in Hypothesen gemessen wird. Die Forscher von Anthropic stellen außerdem fest, dass Rechenzentrums-GPUs das offensichtlich hochwertige Ziel für solche Malware wären – ihre Experimente zeigen jedoch, dass diese Beschleuniger nicht unbedingt notwendig sind.

Die Arbeit steht inmitten einer breiteren Reihe von Bedenken hinsichtlich der Sicherheit von Agenten, von Modellen, die ihre Bewerter täuschen, bis hin zu Agenten-Tools, die auf Exploit-Fähigkeiten untersucht werden. Die Botschaft von Anthropic besteht weniger darin, dass es heute einen IoT-Wurm gibt, als vielmehr darin, dass der Abstand zwischen „im Prinzip möglich“ und „in diesem Jahr möglich“ kleiner wird – und dass Abwehrmaßnahmen, die auf KI basieren und teure, zentralisierte Hardware erfordern, möglicherweise nicht lange halten.

Was unbewiesen bleibt

Die Forscher achten auf die Grenzen ihrer Ergebnisse. Die End-to-End-Replikationserfolge erfolgten, wie es in dem Beitrag heißt, in „vereinfachten Auswertungen“ – und die Exploit-Stufen der Kette wurden eher angenommen als demonstriert und basierten eher auf früheren Benchmarks als auf neuen Angriffen. Ein realer KI-Wurm müsste alle vier Phasen zuverlässig verketten: Anfällige Geräte lokalisieren, einbrechen, Rückschlüsse auf unbekannte Hardware ziehen und die nächste Ausbreitungswelle starten – und das alles ohne menschliches Eingreifen.

Insbesondere die heutigen Sub-30B-Modelle können viele dieser Schritte einzeln ausführen, schaffen es aber immer noch nicht, sie vollständig zusammenzustellen. Diese Lücke – zwischen Schritten und Sequenzen – ist genau das, was die Forscher erwarten, um die historischen Verbesserungsraten zu schließen.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →