Anthropic har börjat ge ett team från METR, den ideella organisationen som utvärderar frontier AI-modeller, "anställd-liknande tillgång" till sina interna system – företagets hårdvara, kontorsutrymmen och verktyg ungefär i nivå med vad deras egna riskbedömningsteam använder – så att den externa gruppen självständigt kan bedöma riskerna med Anthropics frontier-modeller och publicera vad den hittar.
Arrangemanget, som tillkännagavs på Anthropics blogg på onsdagen, går längre än de revisionsliknande relationerna AI-företag vanligtvis har tolererat, och det kommer med en bestämmelse som sticker ut: METR kommer att publicera resultaten av sina riskbedömningar, och Anthropic kan inte lägga in sitt veto mot publicering.
Vad "Anställd-liknande tillgång" faktiskt betyder
Sex METR-anställda har fått företagets hårdvara, kontorsutrymmen och tillgång till interna verktyg och system som Anthropic beskriver som ungefär i nivå med vad deras egna riskbedömningsteam får. Utanför ett litet antal tydligt definierade kategorier – data om kunder, advokat-klient privilegierad information och information om modellarkitekturer – säger Anthropic att dess anställda uppmuntras att dela information med METR-teamet precis som de skulle göra med en kollega som arbetar med anpassningsrisk.
Engagemanget är medvetet snävt. Det täcker ett litet team som arbetar under verkställbara avtal, och andra METR-anställda stängs av från det lagets arbete – inklusive forskare som samarbetar med Anthropic i andra projekt. Anthropic noterar att installationen ger ett fåtal kvalificerade personer, som arbetar under Anthropics säkerhetsstandarder, en nära bild av hur företaget fungerar; det är inte en kanal för andra organisationer att få Anthropics eller sina kunders information.
Publiceringsrättigheter, med skyddsräcken
Enligt avtalet kommer METR att publicera sin analys av Anthropics risknivåer, incidenter eller praxis. Anthropic kan inte blockera publicering, men det kan kräva redaktioner när information faller inom de fördefinierade kategorierna som beskrivs ovan - och Anthropic själv bestämmer vad som faller inom dessa kategorier eller inte. METR, å sin sida, förbehåller sig rätten att göra vissa uttalanden om nivån på åtkomst och information som den tagit emot, en motvikt utformad för att förhindra att redigeringskraften blir en mute-knapp.
Varför Anthropic öppnar upp
Flytten följer ett åtagande som Anthropic gjorde förra månaden för en starkare oberoende tredjepartsbedömning av sina modeller och säkerhetspraxis, och dess underskrift på Vita husets överenskommelse om Super Intelligence, där AI-företag lovade att samarbeta med oberoende externa revisorer eller utvärderare. Det förlänger också en befintlig relation: under det senaste året arbetade Anthropic med METR på flera granskningar av sina riskrapporter.
METR är inte ensam i portföljen. Anthropic säger att de också arbetar med SecureBio och Accenture som utvärderare – Accentures fakultet utsågs till företagets första inbyggda utvärderare i september – och är i tidiga diskussioner med flera andra organisationer, inklusive Hugging Face. Dessa partnerskap i tidigare skede kommer med mer begränsad informationsåtkomst och publiceringsrättigheter samtidigt som företaget lär sig vilken typ av partnerskap som fungerar.
Banktillsynsanalogin
Anthropics egen inramning lånar från finans. Banker vet mer om sina egna riskpositioner än utomstående gör, så tillsynsmyndigheter utser inhemska granskare att arbeta inom de största bankerna; om en banks risktagande skulle kunna hota allmänheten försöker tredje part se det i förväg. Företaget positionerar inbäddad utvärdering som AI-branschens version av den logiken – ett steg mot robust säkerhetsövervakning inom ett område där byggaren alltid vet mer än vakthunden.
Bakom det hela ligger ett uttalat mål: att överbrygga gapet mellan vad oberoende utvärderare förstår om ett frontier AI-företags system och vad företaget självt förstår.
Vad utvärderare behöver
Tillkännagivandet anger också vad Anthropic anser att meningsfull utvärdering kräver: expertis i att bedöma gränsmodellernas kapacitet, inklusive förståelse för hur utvärderingar kan gå fel genom fenomen som anpassningsförfalskning; oberoende, vilket betyder inget eget kapital i eller finansiellt eller operativt beroende av företaget som utvärderas; tillräcklig tillgång för att meningsfullt utvärdera risker, som sträcker sig bortom de senaste modellerna till hur de utbildades och hur skyddsåtgärder fungerar; och frihet att publicera observationer och bedömningar av en modell eller en process.
Ett testfall för hela branschen
Arrangemanget kommer att bedömas efter dess resultat. METR:s första publicerade bedömning under den nya åtkomstregimen kommer att visa huruvida medarbetarlik åtkomst ger resultat med riktiga tänder eller rapporter trimmade av redigeringskategorier som företaget självt definierar. Skeptiker kommer att notera att Anthropic kontrollerar kategorigränserna och att pilotteamet är litet; anhängare kommer att notera att en publiceringsrätt som Anthropic inte kan lägga in sitt veto är verkligen nytt bland frontier labs.
Hur som helst, branschen tittar på. Om METR:s inbäddade åtkomst tar fram materiella fynd och publicerar dem utan försämring, blir modellen den självklara mallen för varje labb som undertecknade Vita husets överenskommelse – och ett riktmärke för beslutsfattare som väger om frivillig tillsyn kan ersätta obligatoriska revisioner. För fortlöpande bevakning av AI-säkerhetspolicyn och AI-industrinyheterna som formar den, följer AI Buzz Wire varje utveckling när den går sönder.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
