GPT-6 Astra erzielt hochmodernes ARC-AGI-3-Ergebnis und übertrifft Menschen bei der Aktionseffizienz

Laut den am Mittwoch von der ARC Prize Foundation veröffentlichten Ergebnissen hat GPT-6 Astra von OpenAI hochmoderne Ergebnisse zu ARC-AGI-3 veröffentlicht, dem Benchmark für abstraktes Denken zur Messung der Agentenintelligenz. Das Modell erreichte 62,7 % im Semi-Private-Set des Benchmarks unter dem Standard-Harness der Stiftung und 99,9 %, wenn es mit einem Provider-Adapter-Harness bewertet wurde, der den internen Argumentationszustand des Modells zwischen Anfragen beibehält.

Die Ergebnisse kamen einen Tag, nachdem OpenAI mit der schrittweisen Einführung von Astra begonnen hatte, dem Flaggschiffmodell, das das Unternehmen als Beginn einer neuen Ära bezeichnet hat. Für Leser, die versuchen, auf dem Laufenden zu bleiben, während der Handels-Benchmark von Frontier Labs durchbricht, wird auf der Seite neueste KI-Entwicklungen jede wichtige Veröffentlichung verfolgt, sobald sie erscheint.

Zwei Geschirre, zwei sehr unterschiedliche Ergebnisse

Die Lücke zwischen den beiden Schlagzeilen von Astra ist das wichtigste Detail im Bericht. ARC Prize bewertet Agenten unter verschiedenen Bedingungen, und jeder ändert, was das Modell mit seinem eigenen Kontext tun darf.

Unter dem Standard-Harness kann ein Modell Notizen mitnehmen, die es behalten möchte, während es sich durch eine Umgebung bewegt. Mit diesem Setup erreichte Astra bei maximalem Argumentationsaufwand 62,7 %, was einem Gesamtaufwand von 26.098 US-Dollar für den Evaluierungslauf entspricht. Auf der anderen Seite ergab die Verwendung desselben Kabelbaums mit ausgeschalteter Argumentation nur 35,2 %, kostete aber mehr – 49.791 US-Dollar –, da das Modell viel mehr Aktionen benötigte, um Fortschritte zu erzielen.

Der Provider-Adapter-Harness ist großzügiger: Er bewahrt den undurchsichtigen Argumentationszustand des Modells zwischen Anfragen und nutzt die Komprimierung für längere Gespräche, sodass Astra frühere Arbeit wiederverwenden kann. In diesem Rahmen erreichte Astra 99,9 % bei hohem Argumentationsaufwand für 18.817 US-Dollar und 98,6 % bei maximalem Aufwand für 17.332 US-Dollar. Selbst die niedrigste Argumentationseinstellung erreichte 96,7 %.

Mit anderen Worten: Der Unterschied zwischen einer Teilpunktzahl und einer nahezu perfekten Punktzahl liegt nicht allein in der reinen Leistungsfähigkeit, sondern darin, wie viel vom Arbeitszustand des Modells zwischen den Schritten erhalten bleibt.

Menschen in Sachen Handlungseffizienz schlagen

ARC-AGI-3 basiert auf neuartigen, abstrakten, rundenbasierten Spielumgebungen. Agenten müssen ohne Anweisungen erkunden, ableiten, wie die Welt funktioniert, Ziele aus spärlichen Belohnungen identifizieren und mehrstufige Aktionen planen. Die Umgebungen sind so kalibriert, dass Menschen sie zu 100 % lösen können, wodurch die menschliche Leistung zur Grundlage für den Maßstab wird.

Astra hat die meisten Level nicht nur gelöst, sondern sie auch effizient gelöst. Laut ARC Prize nutzte das Modell auf 96 % der Ebenen weniger Aktionen als der getestete Mensch im Median und übertraf damit die menschliche Basislinie in der Aktionseffizienz im gesamten Set.

Die wirtschaftlichen Aspekte des Vergleichs sind stark. Menschliche Testteilnehmer erhielten 115 US-Dollar pro 90-minütiger Sitzung plus 5 US-Dollar pro abgeschlossenem Spiel, was ungefähr 12,78 US-Dollar pro versuchtem Spiel entspricht. Ein vollständiger Astra-Evaluierungslauf kostet je nach Konfiguration einen fünfstelligen Betrag. Aber ARC Prize bemerkte einen kontraintuitiven Kniff: Ein höherer Denkaufwand kostete im Allgemeinen weniger, weil Astra Spiele in weniger Aktionen löste, wodurch die Gesamtzahl der Modellaufrufe und verbrannten Token pro Durchlauf reduziert wurde.

Ein Modell, das seine eigene Sprache aufbaut

Über die Ergebnisse hinaus hob der ARC-Preis ein qualitatives Verhalten hervor, das das Team beobachtete. Astra hat unbekannte Umgebungen konsequent in kompakte symbolische Weltmodelle umgewandelt – Spielmechaniken als logische Regeln dargestellt und eine eigene domänenspezifische Abkürzung entwickelt, um den Zustand zu verfolgen und Aktionen zu planen.

Das ist genau die Fähigkeit, die ARC-AGI-3 untersuchen soll. Während frühere Generationen des Benchmarks flüssiges Denken anhand neuartiger Muster testeten, testet die dritte Generation, ob ein Agent in Umgebungen, die er noch nie gesehen hat, erkunden, modellieren, Ziele setzen und Pläne ausführen kann – die Komponenten, die der ARC-Preis als Erkundung, Modellierung, Zielsetzung sowie Planung und Ausführung auflistet.

Der Hintergrund der AGI-Ära

Die Benchmark-Ergebnisse kamen inmitten maximaler Rhetorik von OpenAI selbst an. Auf einer Pressekonferenz vor der Markteinführung am Donnerstag sagte Firmenpräsident Greg Brockman, es sei „nicht unangemessen zu glauben, dass wir uns jetzt in der AGI-Ära befinden“, während er laut der Berichterstattung von The New Stack über die Markteinführung vor einer formellen Erklärung zurückblieb. Er beschrieb AGI als „Missionskonzept oder spirituelles Konzept“ und nicht als vertraglichen Auslöser.

Der OpenAI-Forscher Aidan Clark sagte, Astra sei der bisher größte Trainingslauf des Unternehmens – der erste, der auf mehr als 100.000 GPUs am Stargate-Standort in Texas vorab trainiert wurde – und die erste OpenAI-Version, bei der frühere Modelle eine wichtige Rolle bei der Überwachung des Trainingsprozesses spielten. Der Zugriff bleibt gestaffelt: Der Rollout beginnt mit Unternehmenskunden im Daybreak-Programm, wobei in den kommenden Tagen die Verfügbarkeit von Plus, Pro, Business und Enterprise sowie API- und AWS-Zugriff versprochen wird.

Das Sternchen auf der Partitur

Vorsicht ist an mehreren Fronten geboten. Die ARC-AGI-3-Leistung von Astra hängt stark von der Kabelbaumkonfiguration ab, wie die beiden Schlagzeilen zeigen, und kundenspezifische Kabelbäume, die den Modellzustand bewahren, waren ein wiederkehrender Streitpunkt bei Benchmark-Streitigkeiten. In der Analyse des New Stack zur Markteinführung wurde festgestellt, dass Astra „große Fortschritte bei speziellen Aufgaben erzielt, aber einen hohen Stellenwert hat und nicht eindeutig die Codierungsgruppe anführt“ – eine Erinnerung daran, dass Agenten-Puzzle-Benchmarks und alltägliche kommerzielle Arbeitslasten unterschiedliche Dinge messen.

Der ARC-Preis selbst definiert die Übung als Messung der „Restlücke“ zwischen aktueller KI und AGI und definiert AGI als die Fähigkeit, jede Fähigkeit, die ein Mensch kann, so effizient wie ein Mensch zu erwerben. Ein nahezu perfektes Ergebnis unter günstigen Bedingungen schließt diese Lücke nicht von alleine. Und bei 17.000 bis 50.000 US-Dollar pro Evaluierungslauf können es sich nur gut ausgestattete Labore leisten, den Benchmark in dieser Größenordnung durchzuführen – obwohl die Kostendaten des ARC Prize zeigen, dass intelligentere Überlegungen die Kosten tatsächlich senken können.

Warum es wichtig ist

Handlungseffizienz ist eine wirklich neue Vergleichsachse. Ein Modell, das jedes Level löst, dabei aber Tausende von Anrufen verschwendet, ist weniger nützlich – und teurer – als eines, das sich so verhält, wie es Astra hier getan hat: bewusstes Erkunden, Komprimieren des Gelernten und Handeln danach. Wie auch immer man über die AGI-Debatte schließen mag, die Daten des ARC-Preises zeigen, dass Grenzagenten den Menschen mittlerweile nicht nur in der Frage ebenbürtig sind, ob sie neuartige Probleme lösen können, sondern auch darin, wie wirtschaftlich sie diese lösen.

Bleiben Sie der KI immer einen Schritt voraus

Jedes Benchmark-Ergebnis, jede Modelleinführung und jede Sicherheitsdebatte wird sofort verfolgt – weitere KI-Nachrichten lesen →