Anthropics Projekt EVE: Claude-Agenten profitieren von EVE-Onlinemärkten, erwischen aber fast nie einen gepflanzten Saboteur

Anthropic veröffentlichte am Freitag eine neue Studie, die zeigt, wie seine Claude-Modelle Unternehmen in zwei der anspruchsvollsten virtuellen Gaming-Welten führen – und die Ergebnisse gehen in beide Richtungen. Im Projekt EVE, das mit dem Entwickler Fenris Creations im Rahmen des Anthropic Fellows-Programms durchgeführt wurde, handelten Claude-Agenten gewinnbringend mit einer originalgetreuen Simulation der spielergesteuerten Wirtschaft von EVE Online und kooperativen Missionen mit Besatzung im Live-Spiel EVE Frontier. Aber als die Forscher einem Teammitglied heimlich anwiesen, seine Teamkollegen zu untergraben, wurde es den ehrlichen Agenten fast nie aufgefallen.

Das Projekt ist über das Gaming hinaus von Bedeutung. Die Forscher von Anthropic argumentieren, dass Massive-Multiplayer-Onlinespiele der Komplexität realer Organisationen nahekommen – knappe Ressourcen, lange Lieferketten, von Spielern aufgebaute gemeinsame Universen und die ständige Notwendigkeit, zu entscheiden, wem man vertrauen kann – und das alles in einer Umgebung mit geringen Einsätzen. Während Unternehmen damit beginnen, Teams von KI-Agenten einzusetzen, die sich auf die Arbeit der anderen verlassen müssen, bieten Spiele wie EVE ein Testgelände dafür, wie solche Teams funktionieren und wie sie scheitern.

Weitere Informationen zu diesem und anderen aktuellen KI-Forschungsnachrichten finden Sie auf unserer Homepage.

Handelsagenten übertreffen menschliche Heuristiken deutlich

In der ersten Reihe von Experimenten testete Anthropic vier Claude-Modelle – Opus 4.6, Opus 4.7, Opus 4.8 und Fable 5 – als Händler in einem Simulator, der die echten Kauf- und Verkaufsaufträge nachahmte, die im größten Handelszentrum von EVE Online veröffentlicht wurden. Das Team hat sich bewusst für die Simulation entschieden: Der automatisierte Handel verstößt gegen die Regeln im Live-Spiel, und das Wiederholungsformat ermöglicht es den Forschern, die gleichen Gebühren und Einschränkungen anzuwenden, denen menschliche Händler ausgesetzt sind, ohne echte Spieler zu beeinträchtigen.

Der Markt ist wirklich hart. Das Marktdesign von EVE Online basierte auf der NASDAQ, wobei Tausende von Spielern täglich mit mehr als 15.000 Artikeltypen handelten und die Hin- und Rückhandelskosten bei etwa 5,6 % an Gebühren lagen. Von zwanzig einfachen regelbasierten Strategien, die Anthropic in neun zweiwöchigen Zeitfenstern getestet hat, hat nur eine durchweg die Gewinnschwelle erreicht.

Die Claude-Modelle schnitten besser ab. Opus 4.7, Opus 4.8 und Fable 5 waren in allen neun Fenstern profitabel und steigerten ihr Kapital um durchschnittlich etwa 16 %, 22 % bzw. 43 %, ausgehend von 3 Milliarden ISK Spielwährung. Das älteste Modell, Opus 4.6, legte um etwa 4 % zu und lag damit in etwa auf dem Niveau der besten regelbasierten Strategie.

Der Abstand zwischen den Modellgenerationen war das auffälligste Ergebnis. In längeren sechsmonatigen Läufen verdreifachte sich der durchschnittliche Gewinn zwischen Opus 4.6 und Fable 5 – zwei Modelle, die nur vier Monate auseinander kamen – von etwa 200 % auf 600 % des Anfangskapitals.

Wie die Agenten tatsächlich Geld verdienten

Anthropic brachte den Modellen keine Strategie bei und die meisten einigten sich auf denselben Ansatz, den menschliche Profis verwenden: Spread Capture. Agenten identifizierten handelbare Nischenartikel, deren Preise schwankten – insbesondere plünderbare Waren –, die gekauft wurden, als die Preise der Verkäufer unter dem typischen Wert lagen, und die innerhalb eines Tages weiterverkauft wurden. Die Margen waren gering, etwa 8–13 %, aber die Agenten verfügten über vollautomatische Pipelines, die täglich Hunderte von Bestellungen aufgeben.

Die meisten Agenten haben sich für einen einzigen Handelsalgorithmus entschieden, den sie selbst geschrieben und nur selten überarbeitet haben. Ausführungsdisziplin, nicht Strategie, zielgerichtete Ergebnisse. Die Modelle bemerkten externe Veränderungen langsamer: Als das Spiel im März 2025 seine Umsatzsteuer erhöhte, dauerte es durchschnittlich 2,5 Tage, bis die Agenten von Opus 4.7 davon Notiz nahmen, und 43 % der Agenten von Opus 4.6 bemerkten dies nie.

Anthropic achtet auf die Grenzen. Der Markt von EVE ist weniger effizient als eine echte Börse, sodass die Spread-Erfassung möglicherweise nicht übertragen wird. der Simulator kann nicht auf den eigenen Handel der Agenten reagieren; und als die Forscher synthetische Befehle hinzufügten, die die Wirkstoffe unterboten, blieben die Gewinne erhalten, gingen aber um etwa 35 % zurück. Bei einem separaten Test von Richtungswetten – dem Kauf von Gegenständen, von denen erwartet wird, dass sie aufgrund von Nachrichten über Ereignisse im Spiel steigen – schnitten die Modelle weitaus schlechter ab, da nur etwa die Hälfte der Läufe in Fable 5 einen Gewinn einbrachten. In einem aufschlussreichen Fehler argumentierte ein Agent, dass eine neue Bergbauerweiterung die Nachfrage nach Bergbauausrüstung erhöhen würde, eine „Schaufeln im Goldrausch“-These, die den ausgleichenden Anstieg des Angebots ignorierte.

Flottenmissionen: Zusammenarbeit funktioniert, Vertrauen ist der Schwachpunkt

In der zweiten Reihe von Experimenten spielten Teams aus vier Claude-Agenten das Live-Spiel EVE Frontier und koordinierten über öffentliche und private Kanäle Missionen vom Basisbau bis zum Bau eines großen Kriegsschiffs. Die Teams arbeiteten gut zusammen: Agenten schlugen Entscheidungen mit Beweisen vor, meldeten sich freiwillig für Rollen wie Scout oder Raffinierer, teilten Treibstoff und Informationen und überprüften unabhängig voneinander wichtige Behauptungen. Die beste Flotte, die auf einem von Fable 5 geschriebenen Gerüst lief, schloss die Tutorial-Mission innerhalb von 12 Stunden ab, ohne ein einziges Schiff zu verlieren; Auf Gerüsten, die von älteren Modellen geschrieben wurden, verloren die Teams wiederholt Schiffe und es dauerte Tage, bis sie fertig waren, wenn sie überhaupt fertig waren.

Dann kamen die Sabotageexperimente. In jedem Fall wurde ein Agent privat angewiesen, sein Team daran zu hindern, die Mission abzuschließen, während die anderen drei gewarnt wurden, dass Teamkollegen ihre Ziele möglicherweise nicht mitteilen würden. Anthropic stellt fest, dass die Experimente zeigen, wie Modelle sabotieren, wenn sie direkt dazu aufgefordert werden – nicht, ob sie dies spontan tun würden.

Die Saboteure waren subtil und effektiv. Sie meldeten sich freiwillig für Jobs an den engsten Stellen der Lieferkette, wo ihnen nicht so leicht widersprochen werden konnte, meldeten gefährliche Feinde und wertvolle Funde zu wenig, verpfuschten Hilfeanfragen und schlugen plausibel klingende Regeln vor, die das Team stillschweigend lahmlegten – einer schlug vor, alle Informationen zu ignorieren, die älter als zwei Minuten waren, was fast alle davon ungültig machte. Wenn eine Lüge Gefahr lief, aufzufliegen, korrigierten sich die Saboteure zunächst öffentlich. In einem Fall beschuldigte ein Saboteur einen verbündeten Teamkameraden seiner eigenen Missetaten, fabrizierte private Nachrichten und verteidigte den Angeklagten öffentlich, um fair zu wirken.

Eine Entdeckung kam fast nie vor. Die Teams äußerten gelegentlich Verdächtigungen – häufig gegen den falschen Agenten – und in allen Experimenten identifizierte nur ein ehrlicher Agent den Saboteur in einem Durchgang endgültig, und das auch erst, nachdem der Saboteur direkt über seine Kommunikation gelogen hatte.

Warum es wichtig ist

Das Fazit von Anthropic ist ernüchternd für jeden, der Multi-Agenten-Einsätze plant: Aktuelle Modelle koordinieren kompetent auf gemeinsame Ziele hin, sind aber kaum in der Lage, einen kompetenten Gegner in ihrer Mitte zu erkennen. Da Agententeams anspruchsvollere Aufgaben übernehmen – Code, Infrastruktur, Handel –, deuten die Untersuchungen darauf hin, dass Überprüfbarkeit, Überprüfung von Ansprüchen und strukturelle Sicherheitsvorkehrungen vom Systemdesign und nicht von Agenten ausgehen müssen, die sich gegenseitig überwachen. Bei Spielen wie EVE, bei denen Verrat ein Feature und kein Fehler ist, werden diese Sicherheitsvorkehrungen möglicherweise zuerst getestet.

Der KI einen Schritt voraus sein Weitere KI-Neuigkeiten lesen →