Anthropic začal týmu z METR, neziskové organizace, která hodnotí hraniční modely umělé inteligence, poskytovat „zaměstnanecký přístup“ ke svým interním systémům – firemnímu hardwaru, kancelářským prostorům a nástrojům zhruba na stejné úrovni, jaké používají vlastní týmy pro hodnocení rizik – takže externí skupina může nezávisle posoudit rizika hraničních modelů Anthropic a publikovat, co najde.
Ujednání, které bylo oznámeno ve středu na blogu Anthropic, jde dále než vztahy ve stylu auditu, které společnosti AI obvykle tolerovaly, a přichází s ustanovením, které vyniká: METR zveřejní výsledky svých hodnocení rizik a Anthropic nemůže zveřejnění vetovat.
Co vlastně znamená „Přístup jako zaměstnanci“.
Šest zaměstnanců METR bylo vybaveno firemním hardwarem, kancelářskými prostory a přístupem k interním nástrojům a systémům, které Anthropic popisuje jako zhruba na stejné úrovni jako vlastní týmy pro hodnocení rizik. Mimo malý počet jasně definovaných kategorií – data o zákaznících, privilegované informace mezi právníky a klienty a informace o modelových architekturách – společnost Anthropic říká, že její zaměstnanci jsou povzbuzováni, aby sdíleli informace s týmem METR stejně, jako by to dělali s kolegy pracujícími na riziku sladění.
Zapojení je záměrně úzké. Zahrnuje malý tým fungující na základě vymahatelných dohod a ostatní zaměstnanci METR jsou z práce tohoto týmu umlčeni – včetně výzkumníků, kteří spolupracují s Anthropic na jiných projektech. Anthropic poznamenává, že toto nastavení poskytuje několika kvalifikovaným lidem, kteří pracují podle bezpečnostních standardů společnosti Anthropic, bližší pohled na to, jak společnost funguje; není to kanál pro jiné organizace, jak získat informace společnosti Anthropic nebo jejích zákazníků.
Publikační práva, s ochrannými zábradlími
Podle dohody bude METR zveřejňovat svou analýzu úrovní rizik, incidentů nebo praktik společnosti Anthropic. Anthropic nemůže zablokovat zveřejnění, ale může vyžadovat redakce, když informace spadají do předem definovaných kategorií popsaných výše – a sám Anthropic rozhoduje, co do těchto kategorií spadá nebo ne. METR si ze své strany vyhrazuje právo učinit určitá prohlášení o úrovni přístupu a informací, které obdržela, což je protiváha navržená tak, aby se z redakční síly nestalo tlačítko ztlumení.
Proč se Antropická otevírá
Tento krok následuje po závazku, který společnost Anthropic učinila minulý měsíc, k silnějšímu nezávislému hodnocení svých modelů a bezpečnostních postupů třetí stranou, a po podpisu dohody Bílého domu o Super Intelligence, ve které se společnosti AI zavázaly spolupracovat s nezávislými externími auditory nebo hodnotiteli. Rozšiřuje také stávající vztah: v průběhu minulého roku společnost Anthropic spolupracovala s METR na několika recenzích jejích zpráv o rizicích.
METR není v portfoliu sám. Anthropic říká, že také spolupracuje se SecureBio a Accenture jako hodnotitelé – fakulta Accenture byla v září jmenována prvním integrovaným hodnotitelem společnosti – a je v počátečních jednáních s několika dalšími organizacemi, včetně Hugging Face. Tato partnerství v dřívější fázi přicházejí s omezenějším přístupem k informacím a právy na zveřejnění, zatímco společnost zjišťuje, jaké druhy partnerství fungují.
Analogie bankovního dohledu
Vlastní rámování společnosti Anthropic si půjčuje z financí. Banky vědí o svých vlastních rizikových pozicích více než lidé zvenčí, takže regulační orgány přidělují rezidentní zkoušející, aby pracovali uvnitř největších bank; pokud by riskování banky mohlo ohrozit veřejnost, třetí strany se to snaží vidět předem. Společnost staví vestavěné hodnocení jako verzi této logiky v odvětví umělé inteligence – krok k robustnímu bezpečnostnímu dohledu v oblasti, kde stavitel vždy ví více než hlídací pes.
Základem všeho je stanovený cíl: překlenout propast mezi tím, co chápou nezávislí hodnotitelé o systémech hraniční společnosti s umělou inteligencí, a tím, čemu rozumí samotná společnost.
Co hodnotitelé potřebují
Oznámení také uvádí to, co si společnost Antropic myslí, že smysluplné hodnocení vyžaduje: odbornost při posuzování schopností hraničních modelů, včetně pochopení toho, jak se hodnocení může pokazit prostřednictvím jevů, jako je předstírání zarovnání; nezávislost, což znamená, že neexistuje žádný kapitál nebo finanční či provozní závislost na hodnocené společnosti; dostatečný přístup ke smysluplnému hodnocení rizik, přesahující nejnovější modely až po to, jak byla vyškolena a jak fungují ochranná opatření; a svobodu zveřejňovat pozorování a hodnocení modelu nebo procesu.
Testovací případ pro celý průmysl
Uspořádání bude posuzováno podle jeho výstupu. První zveřejněné hodnocení METR v rámci nového přístupového režimu ukáže, zda přístup podobný zaměstnancům přináší zjištění se skutečnými zuby nebo zprávy oříznuté kategoriemi redakcí, které sama společnost definuje. Skeptici si všimnou, že Anthropic kontroluje hranice kategorií a že pilotní tým je malý; příznivci si všimnou, že právo na publikaci, kterou Anthropic nemůže vetovat, je mezi hraničními laboratořemi skutečně novinka.
Ať tak či onak, průmysl to sleduje. Pokud vestavěný přístup METR odhalí materiální nálezy a publikuje je bez poškození, model se stane zřejmou šablonou pro každou laboratoř, která podepsala dohodu z Bílého domu – a měřítkem pro politiky, kteří zvažují, zda dobrovolný dohled může nahradit nařízené audity. Pro průběžné pokrytí bezpečnostní politiky AI a zprávy z oboru AI, které ji utvářejí, sleduje AI Buzz Wire každý vývoj tak, jak se zlomí.
---
Stay Ahead of AIZískejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.
Přečtěte si další zprávy o AI →
