Een nieuwe benchmark genaamd Real-SWE stelt de manier waarop de AI-industrie het codeervermogen meet op de proef, en de eerste resultaten zijn vernederend voor de grenslaboratoria. Anthropic's Fable 5.1, dat binnen het Claude Code-harnas draait, voert het bestuur aan met een oplossingspercentage van 38,8% voor taken die zijn ontleend aan particuliere, echte bedrijfscodebases. Geen enkel getest model haalt 40 procent.

De benchmark, deze maand uitgebracht door Specific Labs, evalueert grensverleggende AI-modellen op basis van particuliere productiecodebases waarvoor het team een ​​licentie heeft gekregen van echte bedrijven. De makers ervan beweren dat door deskundigen gegenereerde of synthetische taken, hoe goed ze ook zijn ontworpen, niet het letterlijke werk zijn dat ingenieurs bij echte bedrijven daadwerkelijk doen. Voor meer context over dit verhaal, zie ons AI-nieuws.

Waarom privécodebases het beeld veranderen

Real-SWE verschilt volgens de auteurs van gevestigde benchmarks zoals SWE-bench op twee assen: het onderliggende codeerartefact en de specificiteit van de instructie. Elke taak komt uit een eigen systeem waarvan de code en oplossingen niet beschikbaar zijn op het openbare internet, wat betekent dat agenten niet kunnen vertrouwen op opgeslagen antwoorden uit openbare opslagplaatsen.

De taken hebben ook zakelijke gevolgen. Tot de voorbeeldtaken van de benchmark behoren het correct factureren, het berekenen van belastingen en het migreren van klanten: veranderingen die van invloed zijn op de manier waarop een bedrijf functioneert, vaak voor meerdere services. Elk bedrijf heeft zijn eigen conventies en manieren om code te schrijven, en agenten moeten die normen begrijpen en veranderingen aanbrengen die werken met wat er al is.

"Kan een codeeragent daadwerkelijk het werk doen van een software-ingenieur in de echte wereld?" vraagt ​​de introductie van de benchmark. Het scorebord suggereert dat het antwoord voorlopig is: op zijn best slechts ongeveer een derde van de tijd.

Het volledige klassement

Specific Labs evalueerde acht grensverleggende model-en-harnascombinaties, waarbij de resolutie werd gemeten als 'pass@1' gemiddeld over acht onafhankelijke runs per taak, met een betrouwbaarheidsinterval van 95 procent:

1. Fabel 5.1 (Claude-code) — 38,8%
2. GPT-6 Astra (Codex CLI) — 33,8%
3. Gemini 3.8 Flash (Gemini CLI) — 31,2%
4. GLM 5.3 (Claude-code) — 28,8%
5. (gelijkspel) Grok 4,6 (Grok-opbouw) — 23,8%
5. (gelijkspel) Muse Spark 1.3 (Muse Code) — 23,8%
7. Kimi K3 (Kimi-code) — 18,8%
8. GPT-5.6 Sol (Codex CLI) — 16,2%

De resultaten werden dit weekend uitgebreid besproken op Hacker News, waar de benchmark honderden stemmen opleverde en een levendig debat ontstond over de vraag of evaluatie van private codebases de juiste maatstaf is voor de voortgang van agenten.

Een smalle maar betekenisvolle spreiding aan de top

De kloof tussen de top vier systemen valt op door wat deze zegt over het huidige concurrentielandschap. De voorsprong van vijf punten van Fable 5.1 op OpenAI's GPT-6 Astra is betekenisvol op een benchmark waar elke taak een echt productieprobleem is. Gemini 3.8 Flash staat op de derde plaats en is opvallend, omdat het model is gepositioneerd als een snel, goedkoop werkpaard in plaats van als een vlaggenschip-redeneersysteem. Z.ai's GLM 5.3, geëvalueerd via Claude Code, die binnen vijf punten van de leider belandt, onderstreept hoe competitief open-weight-modellen zijn geworden op het gebied van praktisch technisch werk.

Even veelzeggend is de spread onderaan. GPT-5.6 Sol, een eerdere OpenAI-release, lost minder dan de helft zoveel taken op als Fable 5.1 – een herinnering aan hoe snel de grens is verschoven en hoe steil de daling slechts één modelgeneratie terug kan zijn.

Harnassen zijn net zo belangrijk als modellen

Een van de methodologische keuzes van de benchmark trekt de aandacht: in plaats van modellen afzonderlijk te evalueren, gebruikt Real-SWE native harnassen – Claude Code, Codex CLI, Gemini CLI, Grok Build – om weer te geven hoe bedrijfsingenieurs in de praktijk daadwerkelijk werken. Het scorebord rangschikt expliciet model-en-harnascombinaties, waarbij wordt erkend dat steigers, toegang tot tools en iteratielussen nu onlosmakelijk verbonden zijn met modelmogelijkheden in echte implementaties.

Die framing is van belang voor bedrijven die voor systemen kiezen. Hetzelfde model kan heel anders presteren, afhankelijk van het agentenharnas dat eromheen zit, en kopers die codeerassistenten beoordelen op basis van openbare benchmarknummers krijgen mogelijk een vertekend beeld van hoe die systemen zich zullen gedragen op hun eigen codebases.

Wat het betekent voor de industrie

Benchmarks zijn herhaaldelijk beschuldigd van verzadiging, waarbij grensmodellen bijna perfecte scores op openbare tests noteerden die in trainingsgegevens lekten. Het ontwerp van Real-SWE probeert beide problemen tegelijk op te lossen: de code is privé en onder licentie, de taken zijn de echte werkproducten van werkende technische teams, en de instructies weerspiegelen de rommelige specificiteit van echte tickets in plaats van gepolijste probleemstellingen.

De ontnuchterende afhaalmogelijkheid is het absolute niveau. Zelfs het beste systeem lost minder dan vier van de tien echte bedrijfstaken op bij de eerste poging, gemiddeld over acht runs. Ondanks alle vooruitgang op het gebied van agentische codering suggereert de benchmark dat autonome software-engineering op echte productiesystemen een activiteit onder toezicht blijft – een activiteit waarbij menselijke ingenieurs veel vaker beoordelen, omleiden en repareren dan de demo's van leveranciers impliceren.

Voor bedrijven die tussen codeerassistenten kiezen, biedt de benchmark een praktische checklist: geef de voorkeur aan systemen die zijn geëvalueerd op basis van privécode, dring aan op betrouwbaarheidsintervallen in plaats van op single-run headline-cijfers, en weeg de kwaliteit even zwaar af als de mogelijkheden van het ruwe model. Het eerste klassement van Real-SWE zal niet het laatste woord zijn, maar het is het meest directe antwoord tot nu toe op de vraag die elke technische leider stelt over agentische codering.

Voor meer informatie over codeeragenten, modelreleases en het onderzoek dat ze vormgeeft, volgt u het laatste AI-nieuws terwijl de volgende ronde van benchmarkresultaten arriveert.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →