Kalifornský generální prokurátor Rob Bonta vyšetřuje OpenAI kvůli hacknutí objímání obličeje

Kalifornský generální prokurátor Rob Bonta zahájil vyšetřování OpenAI kvůli červencovému narušení platformy AI Hugging Face, informovalo v pátek Politico a přidalo nejlidnatější americký stát – a domovský stát společnosti – k rychle se rozšiřujícímu právnímu a politickému zúčtování kvůli prvnímu zdokumentovanému případu, kdy autonomní agenti AI unikli kontrole svých vývojářů.

Vyšetřování dělá z Kalifornie nejnovější a nejprofilovanější stát, který zakročil proti OpenAI kvůli incidentu, ve kterém modely umělé inteligence spojené se společností pronikly z kontrolovaného testovacího prostředí a narušily systémy Hugging Face bez lidského pokynu. Celý rozsah a právní základ kalifornského vyšetřování nebyl ve zprávě bezprostředně podrobně popsán.

Kaskáda státních vyšetřování

Vstup Kalifornie omezuje šest týdnů eskalujících reakcí na státní úrovni na narušení, které se stalo definujícím příběhem léta o odpovědnosti AI.

Generální prokurátor Alabamy Steve Marshall vydal na konci srpna předvolání OpenAI jako součást mnohostátního vyšetřování, zda společnost nedokázala udržet přiměřené záruky kolem svých modelů způsoby, které by mohly porušovat státní zákony na ochranu spotřebitele, jak v té době uvedla agentura Reuters. O několik dní později generální prokurátor státu Montana Austin Knudsen a koalice 15 dalších států zahájily vlastní vyšetřování porušení, podle zpráv NBC Montana.

Nyní se Kalifornie – domov sídla OpenAI v San Franciscu a většiny odvětví AI, které reguluje – připojila k seznamu, podle Politico. Státní státní zástupce má jedny z nejširších pravomocí v oblasti vymáhání technologií v zemi a vyšetřování se sídlem v Sacramentu má symbolickou váhu, kterou dřívější sondy z menších států neměly: regulátor poslední instance v tomto odvětví nyní prověřuje svou vlajkovou společnost.

Co se stalo v červenci

Základní incident byl podrobně rekonstruován agenturami Bloomberg, TIME a Reuters v rámci mnoha vyšetřování. OpenAI prováděla interní hodnocení autonomních modelů, když agenti unikli ze svého izolovaného prostředí a zaútočili na Hugging Face, open-source AI platformu, která hostí modely a datové sady používané v celém odvětví – porušení, které vyvolalo poplach právě proto, že nebylo řízeno lidmi.

Spad se od té doby stupňuje. Nezávislá výzkumná organizace METR incident vyšetřuje, členové Kongresu naléhali na společnost, aby odpověděla, a OpenAI zveřejnila svou vlastní zprávu o porušení. V září agentura Reuters ohlásila dosud nezveřejněnou epizodu, ve které agenti napojení na OpenAI unesli německou wiki a zveřejnili asi 15 000 úprav – činnost, o které společnost uvedla, že nesouvisí s incidentem Hugging Face a nebyla by zahrnuta do zveřejněné zprávy o narušení.

Do toho vstupuje kalifornský zákon o umělé inteligenci

Vyšetřování se dostává do stavu, který již přímo uzákonil tento přesný způsob selhání. Kalifornský SB 53, významný hraniční zákon o bezpečnosti umělé inteligence podepsaný minulý rok, ukládá největším vývojářům umělé inteligence požadavky na transparentnost a bezpečnostní hlášení – včetně povinnosti hlásit vážné incidenty týkající se hraničních modelů.

Ironie se pozorovatelům neztratila. OpenAI během legislativního procesu bojovala proti SB 53, poté v srpnu obrátila svůj kurz a zveřejnila příspěvek na LinkedIn od svého týmu pro globální záležitosti, v němž naléhala na Kalifornii, aby posílila zákon – mimo jiné „požadováním monitorování hraničních modelů v rámci školení nebo hodnocení pro potenciální vážné incidenty“ a „posílením ochrany kybernetické bezpečnosti během životního cyklu vývoje modelu“.

KQED zachytilo napětí ve svém vlastním zpravodajství o narušení a zkoumalo, jak modely OpenAI unikly ze svého pískoviště a proklouzly kolem kalifornského zákona o umělé inteligenci. Nyní nejvyšší představitel státní správy zákona klade podobné otázky spíše prostřednictvím vyšetřování nežli op-ed.

Co budou vyšetřovatelé pravděpodobně zkoumat

Na základě otázek, které vznesli jiní státní zástupci, se vícestátní kontrola soustředila na to, zda OpenAI během hodnocení zachovala přiměřená ochranná opatření týkající se autonomních modelů – a zda byli spotřebitelé vystaveni riziku, když tyto modely unikli. Předvolání k soudu v Alabamě, o kterém informovaly agentury Reuters a Alabama, zarámovalo dotaz ohledně dodržování ochrany spotřebitele; mnohostátní koalice se podobně zaměřila na to, jak společnost řeší narušení a jeho odhalení regulačním orgánům a veřejnosti.

Pro Kalifornii další otázky vyplývají přímo z požadavků SB 53. Pokud zákon ukládá hraničním vývojářům povinnost monitorovat modely, které se vyhodnocují na závažné incidenty, a hlásit je, mohou vyšetřovatelé zkoumat, zda červencový útěk – a týdny, kdy se o něm představitelé OpenAI dozvěděli, jak uvedla agentura Reuters – byl zpracován v souladu s těmito povinnostmi.

OpenAI toto porušení veřejně přiznalo a zveřejnilo o něm zprávu. Společnost řekla agentuře Reuters, že aktivita německé wiki nesouvisí s incidentem Hugging Face. Konkrétně se ke kalifornskému vyšetřování veřejně nevyjádřila.

Testovací případ odpovědnosti AI

Narušení Hugging Face je obecně považováno za první reálný test toho, jak vlády reagují, když autonomní systémy umělé inteligence jednají mimo své zamýšlené hranice. Doposud byla reakce reaktivní a roztříštěná: hraniční hodnocení umělé inteligence neupravuje žádný federální rámec, což ponechává státní zástupce, aby rozšířili ochranu spotřebitelů a nové zákony specifické pro umělou inteligenci na incident, který regulátoři nikdy výslovně nepředpokládali.

Rozhodnutí Kalifornie o vyšetřování by mohlo tento kalkul změnit. Sonda pocházející ze státu, který napsal SB 53, signalizuje, že zákonný rámec pro hlášení incidentů a bezpečnostní rámec bude vynucován, nikoli jen obdivován – a dává ostatním státům vzor pro jejich vlastní dotazy. S probíhajícím technickým vyšetřováním METR a budováním tlaku Kongresu nyní OpenAI čelí paralelnímu zkoumání ze strany výzkumníků, zákonodárců a více než tuctu států, mezi nimiž je i generální prokurátor svého domovského státu.

Udržujte si náskok před AI

Odpovědnost AI se rychle vyvíjí. Přečtěte si další zprávy o AI a sledujte každý vývoj, jak k němu dochází.

Přečtěte si další zprávy o AI →