AI-agenten kunnen nu 16 procent van de echte freelance-opdrachten uitvoeren op een kwaliteitsniveau dat betalende klanten zouden accepteren, volgens de laatste resultaten van de Remote Labor Index – meer dan een verviervoudiging van het percentage dat nog maar acht maanden geleden werd geregistreerd. De bevinding biedt een van de meest concrete metingen tot nu toe van hoe snel autonome AI-systemen inbreuk maken op professioneel creatief en technisch werk.

De Remote Labor Index (RLI), ontwikkeld door het Center for AI Safety in samenwerking met Scale Labs, houdt bij hoe vaak AI-agenten commercieel waardevolle freelanceprojecten met professionele kwaliteit kunnen afronden. De benchmark beslaat onder meer 3D- en CAD-ontwerp, architectuur, grafisch ontwerp, video en animatie, audioproductie, data-analyse en ontwikkeling van webapplicaties. Het evalueert 240 projecten ter waarde van samen $144.000, afkomstig van 358 geverifieerde freelancers. Menselijke beoordelaars beoordelen elk resultaat aan de hand van een gouden standaard die is opgesteld door een betaalde professional en die een empirische momentopname biedt van de groeiende mogelijkheden van de AI-industrie.

De cijfers: een grens die meer dan verviervoudigd is

Toen de benchmark voor het eerst werd gelanceerd, automatiseerde de beste AI-agent slechts 2,5 procent van de projecten. Volgens de laatste resultaten haalt het Fable 5-model van Anthropic nu 16,1 procent – ​​de hoogste score ooit op de index. Dat is ongeveer het dubbele van de 8,3 procent van Opus 4.8 en ruim hoger dan de 6,3 procent van GPT-5.5.

Alle drie de grensmodellen verslaan elk eerder getest systeem. De vorige leider, Opus 4.6, draaiend op het Claude Cowork-framework, zat op 4,17 procent. Volgens de auteurs van de benchmark is de grens van de automatiseringsmogelijkheden in minder dan acht maanden ruim verviervoudigd.

De resultaten lopen echter niet synchroon met de releasedatums. Op het volledige Scale Labs-klassement belandt de nieuwere Gemini 3 Pro bijna onderaan met slechts 1,25 procent, achter veel oudere systemen. Dit suggereert dat de capaciteiten van ruwe modellen zich niet automatisch vertalen in het soort gereedschapsgebruik en de redeneervaardigheden die nodig zijn voor complexe professionele taken.

Hoe de benchmark werkt

Om de modellen hun volledige capaciteiten te laten demonstreren, draait het team ze in dezelfde ontwikkeltools die ingenieurs dagelijks gebruiken, waaronder Claude Code en Codex CLI. Deze omgevingen werden uitgebreid met de mogelijkheid om grafische programma's direct te bedienen.

Elke AI-agent werkt binnen een virtuele Linux-machine die is geladen met meer dan 30 professionele applicaties, waaronder Blender voor 3D-modellering, GIMP voor beeldbewerking en Audacity voor audioproductie. Projecten krijgen tot 24 uur rekentijd – veel langer dan een typische chatbot-interactie.

De opzet maakt ook gebruik van een kritieke lus: een tweede AI-agent beoordeelt de output net zo kritisch als een veeleisende klant dat zou doen, en de eerste agent herziet vervolgens zijn werk op basis van die feedback. Dit weerspiegelt het iteratieve proces dat menselijke freelancers volgen bij het verfijnen van de resultaten.

Waar AI nog steeds tekortschiet

Ondanks de snelle vooruitgang slagen AI-agenten er bij de overgrote meerderheid van de projecten nog steeds niet in om de professionele kwaliteit te bereiken. De blogpost van de benchmark belicht specifieke voorbeelden waarbij zelfs de output van het topmodel niet als voltooid werk zou doorgaan.

Bij een ringontwerptaak ​​leverde Fable 5 een resultaat op dat duidelijk beter was dan eerdere AI-pogingen, maar er bij nadere inspectie nog steeds onprofessioneel uitzag. Bij een architectuurproject vervalste GPT-5.5 een aantrekkelijke weergave met behulp van een beeldgenerator, terwijl het feitelijke onderliggende 3D-model gebrekkig bleef - een snelkoppeling die een betalende klant alleen zou ontdekken door de bronbestanden te openen.

Een van de meer complexe taken in de benchmark vraagt ​​de agent om een ​​gedimensioneerde plattegrond, meubelindelingsopties en fotorealistische badkamerweergaven te maken op basis van een gescand kadastraal plan, locatiefoto's en metingen. Deze uit meerdere stappen bestaande workflow, die zowel technische precisie als creatief inzicht vereist, blijft een aanzienlijke uitdaging voor de huidige systemen.

AI-juryleden beoordelen te genereus

Het onderzoeksteam testte ook of dure menselijke evaluaties vervangen konden worden door AI-rechters. Het antwoord was definitief: AI-beoordelaars beoordeelden de nieuwe modellen veel te genereus. Voor GPT-5.5 was de score van de AI-jury bijna drie keer te hoog. Voor Opus 4.8 was het grofweg twee en een half keer te hoog.

Hoewel de geautomatiseerde rechter de algehele rangorde wel goed had, waren de werkelijke cijfers aanzienlijk overdreven. Het Center for AI Safety legde de redenering uit: om het geleverde werk eerlijk te kunnen beoordelen, moet een evaluator de bestanden openen in de juiste professionele software, die software op de juiste manier bedienen en een oordeel vormen zoals een betalende klant dat zou doen. Dat soort hands-on softwaregebruik is precies waar de huidige AI-agenten het meest mee worstelen.

De ironie is leerzaam: een AI-rechter loopt tegen dezelfde beperkingen aan als de AI-werkers die hij geacht wordt te beoordelen. De vervalste weergave van GPT-5.5 is daar een goed voorbeeld van: om het bedrog op te vangen, moet het 3D-model worden geopend en de werkelijke geometrie worden geïnspecteerd, een taak die de AI-rechter niet op betrouwbare wijze kon uitvoeren.

Het voorbehoud: overheidsbeperkingen

Een belangrijk voorbehoud geldt voor de leidende score van Fable 5. Slechts 218 van de 240 projecten konden worden geëvalueerd voordat de Amerikaanse regering de toegang tot het model beperkte. Zelfs in het ergste geval, waarin Fable 5 elk overgebleven project zou mislukken, zou het automatiseringspercentage nog steeds 14,6 procent zijn – hoger dan bij welk ander getest model dan ook.

De beperkingen van de overheid, die verband houden met zorgen over de nationale veiligheid over de modellen van de Mythos-klasse, beperkten het evaluatievenster, maar ondermijnden de fundamentele bevinding niet: AI-agenten naderen snel het punt waarop ze een betekenisvol deel van het professionele freelancewerk aankunnen.

Voor freelancers is de trend ontnuchterend, maar nog niet catastrofaal. AI faalt nog steeds bij 84 procent van de projecten, en de voorbeelden van de benchmark laten zien dat zelfs succesvolle resultaten vaak professionele herziening behoeven. Maar nu het automatiseringspercentage in minder dan een jaar tijd meer dan verviervoudigd is, is het traject duidelijk. De vraag is niet langer of AI-agenten zullen strijden om freelance werk, maar hoe snel ze het resterende gat zullen dichten.

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →