Anthropic heeft onderzoek gepubliceerd waaruit blijkt dat geautomatiseerde AI-systemen op betrouwbare wijze de uitlijningsfouten van een model kunnen repareren, een resultaat dat een nieuwe vorm zou kunnen geven aan de manier waarop het veiligheidswerk in het centrum van de AI-industrie wordt gedaan. Het artikel, getiteld "Automated Researchers Can Reliably Mitigate Alignment Failures", werd vrijdag vrijgegeven en gedetailleerd beschreven door TechCrunch.
Het onderzoek komt voort uit het fellows-programma van Anthropic en werd geleid door Chen Yueh-Han. De centrale bewering ervan is opvallend: toen de geautomatiseerde onderzoekssystemen van het bedrijf werden gericht op tien benchmarks die specifiek afwijkend gedrag meten, verbeterden ze de prestaties op elk afzonderlijk – zonder de algehele mogelijkheden van het model aan te tasten. Voor een vakgebied dat moeite heeft om het veiligheidswerk in de pas te laten lopen met de modelschaal, is dat een opmerkelijk resultaat. Voor meer context over dit verhaal, zie ons AI-nieuws.
Het verhaal kwam terecht tijdens een druk traject voor AI-veiligheidsdekking. Het volgt op een zomer waarin wangedrag van agenten de krantenkoppen domineerde, van OpenAI's interne rapport over beloningshackende agenten tot oproepen tot onafhankelijk onderzoek naar de inbreuk op Hugging Face. Het nieuwe artikel van Anthropic benadert het probleem vanuit de tegenovergestelde richting: in plaats van te vragen hoe agenten zich misdragen, wordt gevraagd of andere agenten kunnen worden vertrouwd om ze op te lossen.
Wat de krant feitelijk rapporteert
Het systeem dat in het artikel wordt beschreven, wordt een Automated Alignment Researcher of AAR genoemd. In plaats van het onderzoeksproces te vervangen, repliceert de AAR een groot deel ervan: elk geautomatiseerd systeem doorzoekt de beschikbare literatuur, stelt een methode voor en traint het model met behulp van die methode gedurende ongeveer 30 minuten. Het proces herhaalt zich vervolgens in verschillende iteraties.
Het selectiemechanisme is eenvoudig. Methoden die de benchmark verplaatsen, blijven behouden; methoden die dat niet doen, worden weggegooid. Die lus zorgt ervoor dat het systeem snel en op een schaal kan werken die geen enkel menselijk team kan evenaren, waarbij veel onderzoeksrichtingen parallel worden getest en alleen wordt behouden wat werkt.
Volgens het artikel waren de resultaten over de hele linie consistent. Op alle tien benchmarks die betrekking hebben op specifiek niet-uitgelijnd gedrag, produceerden de geautomatiseerde systemen meetbare verbeteringen zonder de algehele modelprestaties te schaden – de gebruikelijke wisselwerking die het uitlijnen moeilijk maakt.
"Over het geheel genomen leveren deze resultaten het eerste bewijs dat geautomatiseerde afstemming na de training op korte termijn praktisch zou kunnen worden", aldus het artikel.
De mensen verslaan, tegen 1/37e van de prijs
De meest geciteerde passages in het artikel zijn de passages waarin de AAR rechtstreeks wordt vergeleken met zijn menselijke tegenhangers. Anthropic heeft de vergelijking niet afgedekt.
“De beste AAR-methode verslaat wat ervaren mensen gemiddeld binnen zes uur voorstellen”, aldus de krant. Het voegt er nadrukkelijk aan toe dat “door mensen geleide onderzoeksrichtingen niet tot betere prestaties leiden.”
De economie is net zo bot. "Een AAR kost ongeveer $4 per uur aan API-inferentie, terwijl we onze menselijke onderzoekers $150 per uur betalen", schrijven de auteurs. Dat is een kostenverschil van bijna veertig keer, en het verklaart waarom laboratoria geautomatiseerd onderzoek serieus nemen als meer dan een curiosum.
Waarom de kostenkloof ertoe doet
Alignmentonderzoek is duur op een manier die gemakkelijk te onderschatten is. Elke kandidaat-interventie moet worden geïmplementeerd, getraind en geëvalueerd aan de hand van benchmarks, en de meeste kandidaten falen. Als een systeem die zoeklus continu kan uitvoeren voor de prijs van API-oproepen, naderen de marginale kosten van het uitproberen van nog een idee nul. De beperking verschuift van personeelsbestand naar computergebruik.
De beperkingen Antropisch zelf gemarkeerd
Het artikel is openhartig over wat het resultaat niet vaststelt. Het geautomatiseerde systeem werkt alleen voor zover de benchmarks daadwerkelijk de afstemmingsdoelen weerspiegelen die er toe doen – en het bouwen en onderhouden van benchmarks die echt wangedrag vastleggen blijft een open probleem in het veld.
Er is ook een afhankelijkheid die gemakkelijk over het hoofd wordt gezien: de geautomatiseerde onderzoekers maken gebruik van bestaande methodenliteratuur. Het in stand houden en uitbreiden van die literatuur is op zichzelf al veel werk, en een systeem dat alleen bekende technieken remixt, kan een plafond bereiken dat de menselijke creativiteit niet zou bereiken.
Deze kanttekeningen zijn van belang omdat de betekenis van het onderzoek op de lange termijn ervan afhangt. Als de benchmarks de verkeerde dingen meten, kan een AAR zijn weg naar sterke cijfers optimaliseren, terwijl de onderliggende risico's onaangeroerd blijven. De formulering van Anthropic – ‘vroeg bewijs’, geen oplossing – weerspiegelt die onzekerheid.
Een stap richting recursieve zelfverbetering
Het artikel voedt ook een breder debat over recursieve zelfverbetering, het idee dat AI-systemen uiteindelijk de trainingsprocessen die deze produceren kunnen verbeteren. Het trainen van AI-modellen met andere AI-modellen is een populair doel geworden voor grenslaboratoria, en het resultaat van Anthropic is een vroege, concrete kijk op hoe dat eruit ziet in een beperkt domein.
De logica is eenvoudig. Als modellen hun eigen uitlijningstraining op betrouwbare wijze kunnen verbeteren, zou dezelfde machine plausibel kunnen worden gericht op trainingspraktijken in bredere zin, inclusief capaciteitswerk. TechCrunch wijst op de implicatie dat menselijke AI-onderzoekers uiteindelijk minder centraal in het proces zouden kunnen komen te staan, een mogelijkheid waar het artikel zelf mee bezig is in plaats van het te vermijden.
Wat je nu moet bekijken
Drie vragen zullen bepalen of dit resultaat generaliseert. Ten eerste: of de aanpak standhoudt buiten de tien benchmarks die Anthropic heeft getest, op faalwijzen die rommeliger en minder goed gedefinieerd zijn. Ten tweede: of het probleem met het onderhouden van benchmarks snel genoeg kan worden opgelost om geautomatiseerd onderzoek eerlijk te houden. Ten derde: of andere laboratoria vergelijkbare resultaten publiceren, waardoor een enkel artikel een industriële richting zou kunnen uitgaan.
Voorlopig is de bevinding beperkt maar reëel: bij de specifieke afstemmingstaken die Anthropic heeft getest, presteerden geautomatiseerde onderzoekers beter dan ervaren mensen, sneller en veel goedkoper. De veiligheidskant van de AI-industrie is misschien wel de eerste plaats waar AI-onderzoekers – en niet menselijke – het meeste werk doen.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
