Anthropic verbetert de mogelijkheden van zijn AI-modellen ongeveer twee keer zo snel als een jaar geleden, en een groot deel van die versnelling lijkt afkomstig te zijn van AI-systemen die helpen hun eigen opvolgers te bouwen, volgens een onafhankelijke analyse die donderdag is vrijgegeven door de non-profit evaluatiegroep METR.

De bevindingen, gerapporteerd door de Associated Press, hebben een ongebruikelijk gewicht omdat ze berusten op wat METR omschreef als “ongekende toegang” tot de interne gegevens van Anthropic. Onderzoekers van de in Berkeley, Californië gevestigde groep – waarvan de volledige naam Model Evaluation and Threat Research is – werden ongeveer elf weken lang binnen het bedrijf uitgenodigd, van half augustus tot eind oktober, waar ze interne onderzoeksgegevens analyseerden en personeel interviewden.

Voor lezers die het veiligheidsdebat rond grenslaboratoria volgen, zie ons breaking AI news berichtgeving.

De kernbevinding: de vooruitgang neemt toe

De centrale schatting van METR is dat Anthropic de prestaties van zijn modellen op goed gespecificeerde taken ongeveer twee keer zo snel verbetert als een jaar eerder. Het rapport stelde het grimmig: “Anthropic lijkt het afgelopen jaar evenveel vooruitgang te hebben geboekt op het gebied van benchmarks als tussen oktober 2023 en oktober 2025.”

Meer consequent is wat METR gelooft dat de versnelling veroorzaakt. De onderzoekers zeiden dat ze 'met vertrouwen' de groei van de rekenkracht als oorzaak konden uitsluiten - traditioneel de variabele die het nauwst verband houdt met de modelprestaties. Hun conclusie: de verbetering is grotendeels te danken aan het gebruik van AI zelf om AI-onderzoek te doen.

Anthropic heeft erkend dat zijn Claude-chatbot het bedrijf steeds meer helpt bij het ontwikkelen van nieuwere, geavanceerdere versies van zichzelf. Het METR-rapport vond geen ‘knelpunten’ – zoals beperkingen op rekenkracht of data – die dat proces tegenhielden, en merkte op dat hoewel AI nog geen ‘zeer significante en volledig autonome bijdragen’ levert aan de belangrijkste onderdelen van modeltraining, antropische onderzoekers significante ‘tekenen van leven’ beschreven die impliceren dat dit snel zou kunnen veranderen.

De bevindingen leidden tot een debat tijdens de vertraging

De timing is lastig voor een bedrijf waarvan de CEO heeft gelobbyd voor terughoudendheid. Het was tijdens de beoordelingsperiode van METR dat Dario Amodei, CEO van Anthropic, op 12 september een essay publiceerde waarin hij de AI-industrie aanspoorde om “het tempo te vertragen waarmee we de mogelijkheden van AI-modellen verbeteren”, zodat veiligheidsmaatregelen hun achterstand konden inhalen.

METR beoordeelde ook zowel het openbare risicorapport dat Anthropic in augustus publiceerde als een privéversie, en concludeerde dat het openbare document "over het algemeen het niveau van versnelling dat plaatsvond onderschat".

Reactie van Anthropic: gedeeltelijke overeenstemming, zware redacties

Sam McCandlish, medeoprichter van Anthropic en hoofdarchitect van het bedrijf, reageerde donderdag op het rapport in een lange post op X en schreef dat veel van de conclusies van METR overeenkomen met zijn eigen visie.

“AI versnelt ons onderzoek, maar het is moeilijk te zeggen hoeveel precies”, schreef hij, eraan toevoegend dat Anthropic van plan is om de komende weken zijn eigen analyse vrij te geven van het tempo van de AI-vooruitgang binnen het bedrijf.

McCandlish verdedigde ook de beslissing van het bedrijf om grote delen van het rapport te redigeren, wat beperkte hoe nauwkeurig METR zijn versnellingsschattingen kon communiceren. Hij zei dat het delen van “wat precies de oorzaak is van de versnelling niet het juiste is om te doen”, omdat de informatie zowel commercieel gevoelig is als “het risico inhoudt dat anderen een routekaart uitdelen om sneller te gaan” – wat, zo betoogde hij, de risico’s waar METR zich zorgen over maakt nog groter zou maken. ‘Dat is een afweging’, schreef hij.

Belangrijke kanttekeningen

Het rapport was, volgens de eigen beschrijving van METR, doorspekt met kanttekeningen. De groep zei dat de belangrijkste bevinding de zaken zou kunnen overdrijven: de gemeten versnelling is mogelijk alleen van toepassing op goed gespecificeerde taken die automatisch kunnen worden beoordeeld, in plaats van op het rommeligere, open werk dat grensverleggend onderzoek definieert. Als alternatief kan Anthropic simpelweg zijn eerdere basislijn hebben onderschat, waardoor de laatste sprong groter lijkt dan hij is.

Het standpunt van METR is ook het vermelden waard vanwege transparantieredenen: de non-profitorganisatie wordt gefinancierd door middel van donaties, accepteert geen compensatie voor haar evaluaties en voert al jaren capaciteitsbeoordelingen uit voor Anthropic, OpenAI en andere laboratoria – hoewel partnerbedrijven wel toegang tot modellen bieden en de tokens die nodig zijn om hun onderzoek uit te voeren.

Waarom het er nu toe doet

De analyse komt weken voordat Anthropic verwacht naar de beurs te gaan in wat de grootste beursintroductie in de geschiedenis zou kunnen zijn, waarbij het debat zich ontwikkelt over de vraag of steeds capabeler wordende AI-modellen zich aan de menselijke controle kunnen onttrekken. Voorstanders van veiligheid hebben lang betoogd dat onafhankelijke verificatie – en niet zelfrapportage in het laboratorium – de enige betrouwbare maatstaf is voor hoe snel de grens zich verplaatst, vooral omdat de regering-Trump bedrijven heeft aangemoedigd om zichzelf te controleren.

METR signaleerde nog een laatste punt van zorg: als AI-ondersteund AI-onderzoek zich zou uitbreiden, zou de versnelling zelf kunnen versnellen, waarbij de risico's van geavanceerde modellen zouden toenemen in een tempo dat externe waarnemers niet gemakkelijk kunnen volgen. Het rapport van de groep suggereert dat de feedbackloop waar het veld zich zorgen over maakt, voor tenminste één toonaangevend laboratorium, niet langer hypothetisch is; het komt naar voren in de benchmarkgegevens.

Hoe snel de rest van de sector volgt, is de vraag waar toezichthouders, investeerders en de eigen leidinggevenden van het bedrijf nu naar zullen kijken.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →