Anthropic is begonnen een team van METR, de non-profitorganisatie die grensverleggende AI-modellen evalueert, ‘werknemerachtige toegang’ te geven tot zijn interne systemen – bedrijfshardware, kantoorruimte en hulpmiddelen die grofweg vergelijkbaar zijn met wat zijn eigen risicobeoordelingsteams gebruiken – zodat de externe groep onafhankelijk de risico’s van Anthropic’s grensmodellen kan beoordelen en publiceren wat zij vindt.
De regeling, die woensdag op de blog van Anthropic werd aangekondigd, gaat verder dan de auditachtige relaties die AI-bedrijven doorgaans tolereren, en bevat een bepaling die opvalt: METR zal de resultaten van zijn risicobeoordelingen publiceren, en Anthropic kan geen veto uitspreken tegen publicatie.
Wat "werknemersachtige toegang" eigenlijk betekent
Zes METR-werknemers zijn voorzien van bedrijfshardware, kantoorruimte en toegang tot interne tools en systemen die Anthropic beschrijft als ongeveer vergelijkbaar met wat de eigen risicobeoordelingsteams ontvangen. Buiten een klein aantal duidelijk gedefinieerde categorieën – gegevens over klanten, bevoorrechte informatie tussen advocaten en cliënten en informatie over modelarchitecturen – zegt Anthropic dat haar werknemers worden aangemoedigd om informatie te delen met het METR-team, net zoals ze zouden doen met een collega die zich bezighoudt met afstemmingsrisico's.
De betrokkenheid is bewust beperkt gehouden. Het betreft een klein team dat opereert onder afdwingbare overeenkomsten, en andere METR-werknemers zijn buitengesloten van het werk van dat team – inclusief onderzoekers die met Anthropic samenwerken aan andere projecten. Anthropic merkt op dat de opzet een paar gekwalificeerde mensen, die werken onder de veiligheidsnormen van Anthropic, een goed beeld geeft van hoe het bedrijf werkt; het is geen kanaal voor andere organisaties om de informatie van Anthropic of die van haar klanten te verkrijgen.
Publicatierechten, met vangrails
Volgens de overeenkomst zal METR zijn analyse van de risiconiveaus, incidenten of praktijken van Anthropic publiceren. Anthropic kan publicatie niet blokkeren, maar kan wel redacties vereisen wanneer informatie in de hierboven beschreven vooraf gedefinieerde categorieën valt – en Anthropic zelf beslist wat wel of niet in die categorieën valt. METR behoudt zich op zijn beurt het recht voor om bepaalde uitspraken te doen over het toegangsniveau en de ontvangen informatie, een tegenwicht dat is ontworpen om te voorkomen dat de redactiemacht een mute-knop wordt.
Waarom Anthropic zich openstelt
Deze stap volgt op een belofte die Anthropic vorige maand heeft gedaan voor een sterkere onafhankelijke beoordeling door derden van zijn modellen en veiligheidspraktijken, en op de ondertekening van het Witte Huis-akkoord over superintelligentie, waarin AI-bedrijven beloofden samen te werken met onafhankelijke externe auditors of evaluatoren. Het breidt ook een bestaande relatie uit: het afgelopen jaar heeft Anthropic met METR samengewerkt aan verschillende evaluaties van zijn risicorapporten.
METR staat niet alleen in de portefeuille. Anthropic zegt dat het ook samenwerkt met SecureBio en Accenture als beoordelaars – de faculteit van Accenture werd in september uitgeroepen tot de eerste ingebedde beoordelaar van het bedrijf – en voert vroege gesprekken met verschillende andere organisaties, waaronder Hugging Face. Deze partnerschappen in een vroeg stadium hebben beperktere toegang tot informatie en publicatierechten, terwijl het bedrijf leert welke soorten partnerschappen werken.
De analogie tussen bankentoezicht
Anthropic's eigen framing leent van financiën. Banken weten meer over hun eigen risicoposities dan buitenstaanders, dus wijzen toezichthouders lokale examinatoren toe om binnen de grootste banken te werken; Als het nemen van risico's door een bank het publiek zou kunnen bedreigen, proberen derden dat van tevoren te zien. Het bedrijf positioneert embedded evaluatie als de versie van die logica voor de AI-industrie – een stap in de richting van robuust veiligheidstoezicht op een gebied waar de bouwer altijd meer weet dan de waakhond.
Aan dit alles ligt een duidelijk doel ten grondslag: het dichten van de kloof tussen wat onafhankelijke beoordelaars begrijpen over de systemen van een grensverleggend AI-bedrijf en wat het bedrijf zelf begrijpt.
Wat beoordelaars nodig hebben
De aankondiging zet ook uiteen wat Anthropic denkt dat een zinvolle evaluatie vereist: expertise in het beoordelen van de capaciteiten van grensmodellen, inclusief het begrijpen hoe evaluaties fout kunnen gaan door fenomenen als het vervalsen van afstemming; onafhankelijkheid, dat wil zeggen geen eigen vermogen in of financiële of operationele afhankelijkheid van het bedrijf dat wordt geëvalueerd; voldoende toegang om risico's betekenisvol te evalueren, die verder gaat dan de nieuwste modellen en ook de manier waarop ze zijn getraind en hoe de waarborgen functioneren; en de vrijheid om observaties en beoordelingen van een model of een proces te publiceren.
Een testcase voor de hele branche
Het arrangement wordt beoordeeld op basis van de output. METR's eerste gepubliceerde beoordeling onder het nieuwe toegangsregime zal uitwijzen of werknemerstoegang bevindingen met echte tanden oplevert of rapporten die zijn ingekort volgens redactiecategorieën die het bedrijf zelf definieert. Sceptici zullen opmerken dat Anthropic de categoriegrenzen controleert en dat het pilotteam klein is; Voorstanders zullen opmerken dat een publicatierecht dat Anthropic niet kan vetoën, echt nieuw is onder grenslaboratoria.
Hoe dan ook, de industrie kijkt toe. Als de ingebedde toegang van METR materiële bevindingen aan het licht brengt en deze ongehinderd publiceert, wordt het model het voor de hand liggende sjabloon voor elk laboratorium dat het Witte Huis-akkoord heeft ondertekend – en een maatstaf voor beleidsmakers die afwegen of vrijwillig toezicht de verplichte audits kan vervangen. Voor voortdurende berichtgeving over het AI-veiligheidsbeleid en het AI-industrienieuws dat dit beleid vormgeeft, volgt AI Buzz Wire elke ontwikkeling terwijl deze zich voordoet.
---
Blijf AI een stap voorOntvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.
Lees meer AI-nieuws →
