OpenAI's GPT-6 Astra heeft state-of-the-art resultaten gepost op ARC-AGI-3, de benchmark voor abstract redeneren die is ontworpen om agentische intelligentie te meten, volgens resultaten die woensdag zijn gepubliceerd door de ARC Prize Foundation. Het model scoorde 62,7% op de Semi-Private-set van de benchmark onder het standaardharnas van de stichting, en 99,9% bij evaluatie met een Provider Adapter-harnas dat de interne redenering van het model tussen verzoeken behoudt.

De resultaten kwamen binnen een dag nadat OpenAI begon met de gefaseerde uitrol van Astra, het vlaggenschipmodel dat het bedrijf heeft neergezet als het begin van een nieuw tijdperk. Voor lezers die proberen de score bij te houden terwijl de handelsbenchmark van de grenslaboratoria stijgt, volgt de pagina [laatste AI-ontwikkelingen] (https://aibuzzwire.news) elke grote release terwijl deze zich voordoet.

Twee harnassen, twee heel verschillende scores

Het verschil tussen de twee hoofdcijfers van Astra is het belangrijkste detail in het rapport. ARC Prize evalueert agenten onder verschillende harnassen, en elk verandert wat het model mag doen met zijn eigen context.

Onder het standaardharnas kan een model aantekeningen meenemen die hij wil bewaren terwijl hij door een omgeving werkt. Met die opstelling scoorde de Astra bij maximale redeneringsinspanning 62,7%, voor een totaalbedrag van $ 26.098 voor de evaluatierun. Aan de andere kant leverde het gebruik van hetzelfde harnas met uitgeschakelde redenering slechts 35,2% op, terwijl het meer kostte – $49.791 – omdat het model veel meer acties nodig had om vooruitgang te boeken.

Het Provider Adapter-harnas is genereuzer: het behoudt de ondoorzichtige redeneerstatus van het model tussen verzoeken en maakt gebruik van compactie voor langere gesprekken, waardoor Astra eerder werk kan hergebruiken. Onder dat harnas scoorde de Astra 99,9% bij hoge redeneerinspanning voor $ 18.817, en 98,6% bij maximale inspanning voor $ 17.332. Zelfs de laagste redeneringsinstelling bereikte 96,7%.

Met andere woorden: het verschil tussen een gedeeltelijke score en een bijna perfecte score is niet alleen het ruwe vermogen; het gaat erom hoeveel van de werkende staat van het model tussen de stappen door overleeft.

Mensen verslaan op het gebied van actie-efficiëntie

ARC-AGI-3 is gebouwd rond nieuwe, abstracte, turn-based spelomgevingen. Agenten moeten zonder instructies verkennen, afleiden hoe de wereld werkt, doelen identificeren uit schaarse beloningen en acties in meerdere stappen plannen. De omgevingen zijn zo gekalibreerd dat mensen ze voor 100% kunnen oplossen, waardoor menselijke prestaties de basis vormen waartegen de benchmark wordt gemeten.

Astra loste niet alleen de meeste niveaus op, hij loste ze ook efficiënt op. Volgens de ARC Prize gebruikte het model op 96% van de niveaus minder acties dan de gemiddeld geteste mens, waarmee het de menselijke basislijn qua actie-efficiëntie over de hele set overtrof.

De economische aspecten van de vergelijking zijn grimmig. Menselijke testdeelnemers kregen $ 115 per sessie van 90 minuten plus $ 5 per voltooid spel, wat neerkomt op ongeveer $ 12,78 per poging tot spel. Een volledige evaluatie van de Astra kost vijf cijfers, afhankelijk van de configuratie. Maar de ARC Prize merkte een contra-intuïtieve rimpel op: hogere redeneerinspanningen kosten over het algemeen minder, omdat Astra games met minder handelingen oplost, waardoor het totale aantal modelaanroepen en tokens dat per run wordt verbrand, afneemt.

Een model dat zijn eigen taal bouwt

Naast de scores benadrukte de ARC Prize ook het kwalitatieve gedrag dat het team observeerde. Astra heeft onbekende omgevingen consequent omgezet in compacte symbolische wereldmodellen, waarbij de spelmechanismen als logische regels zijn weergegeven, en zijn eigen domeinspecifieke afkorting is ontwikkeld om de status bij te houden en acties te plannen.

Dat is precies de vaardigheid waarvoor ARC-AGI-3 is ontworpen. Waar eerdere generaties van de benchmark het vloeiende redeneren over nieuwe patronen testten, test de derde generatie of een agent kan verkennen, modelleren, doelen stellen en plannen kan uitvoeren in omgevingen die hij nog nooit heeft gezien – de componenten die de ARC Prize opsomt als verkenning, modellering, doelen stellen, en planning en uitvoering.

De achtergrond van het AGI-tijdperk

De benchmarkresultaten kwamen tot stand te midden van maximale retoriek van OpenAI zelf. Tijdens een persconferentie voorafgaand aan de lancering van donderdag zei bedrijfsvoorzitter Greg Brockman dat het "niet onredelijk is om te denken dat we ons nu in het AGI-tijdperk bevinden", terwijl hij stopte met een formele verklaring, volgens de berichtgeving van The New Stack over de lancering. Hij beschreef AGI als een "missieconcept of spiritueel concept" in plaats van een contractuele trigger.

OpenAI-onderzoeker Aidan Clark zei dat Astra de grootste trainingsrun van het bedrijf tot nu toe was – de eerste die vooraf was getraind op meer dan 100.000 GPU’s op de Stargate-locatie in Texas – en de eerste OpenAI-release waarin eerdere modellen een belangrijke rol speelden bij het toezicht op het trainingsproces. De toegang blijft gefaseerd: de uitrol begint bij zakelijke klanten in het Daybreak-programma, met Plus-, Pro-, Business- en Enterprise-beschikbaarheid plus API- en AWS-toegang beloofd in de komende dagen.

Het sterretje op de partituur

Op meerdere fronten is voorzichtigheid geboden. De prestaties van de ARC-AGI-3 van de Astra zijn sterk afhankelijk van de configuratie van de kabelboom, zoals de twee hoofdcijfers laten zien, en op maat gemaakte kabelbomen die de staat van het model behouden, zijn een terugkerend twistpunt in benchmarkgeschillen. In de analyse van de lancering door The New Stack werd opgemerkt dat Astra "grote winsten boekt op gespecialiseerde taken, maar dat het kostbaar is en niet duidelijk voorop loopt in het codeerpakket" - een herinnering dat agentische puzzelbenchmarks en alledaagse commerciële werklasten verschillende dingen meten.

ARC Prize zelf omschrijft de oefening als het meten van de ‘resterende kloof’ tussen de huidige AI en AGI, waarbij AGI wordt gedefinieerd als het vermogen om elke vaardigheid die een mens kan verwerven, zo efficiënt als een mens dat kan. Een bijna perfecte score onder gunstige omstandigheden kan die kloof niet vanzelf dichten. En met $17.000 tot $50.000 per evaluatierun kunnen alleen goed uitgeruste laboratoria het zich veroorloven om de benchmark op deze schaal uit te voeren – hoewel uit de kostengegevens van ARC Prize blijkt dat slimmer redeneren de rekening zelfs kan verlagen.

Waarom het ertoe doet

Actie-efficiëntie is een werkelijk nieuwe vergelijkingsas. Een model dat elk niveau oplost, maar daarmee duizenden telefoontjes verspilt, is minder nuttig – en duurder – dan een model dat handelt zoals Astra hier deed: doelbewust verkennen, comprimeren wat het leert, en daarnaar handelen. Wat je ook concludeert over het AGI-debat, uit de gegevens van de ARC Prize blijkt dat grensagenten nu mensen matchen, niet alleen op de vraag of ze nieuwe problemen kunnen oplossen, maar ook op hoe economisch ze die oplossen.

Blijf AI een stap voor

Elk benchmarkresultaat, modellancering en veiligheidsdebat wordt bijgehouden terwijl het gebeurt – lees meer AI-nieuws →