Anthropic a început să ofere unei echipe de la METR, organizația nonprofit care evaluează modelele de IA de frontieră, „acces asemănător angajaților” la sistemele sale interne – hardware-ul companiei, spațiul de birou și instrumentele aproximativ egale cu ceea ce folosesc propriile echipe de evaluare a riscurilor – astfel încât grupul extern să poată evalua în mod independent riscurile modelelor de frontieră ale Anthropic și să publice ceea ce găsește.
Aranjamentul, anunțat miercuri pe blogul Anthropic, merge mai departe decât relațiile în stil de audit pe care companiile de inteligență artificială le-au tolerat în mod obișnuit și vine cu o prevedere care iese în evidență: METR va publica rezultatele evaluărilor sale de risc, iar Anthropic nu poate pune veto publicării.
Ce înseamnă de fapt „Acces asemănător angajaților”.
Șase angajați METR au fost integrați cu hardware-ul companiei, spațiu de birou și acces la instrumente și sisteme interne pe care Anthropic le descrie ca fiind aproximativ la egalitate cu ceea ce primesc propriile echipe de evaluare a riscurilor. În afara unui număr mic de categorii clar definite - date despre clienți, informații privilegiate avocat-client și informații despre arhitecturile modelului - Anthropic spune că angajații săi sunt încurajați să partajeze informații cu echipa METR așa cum ar face-o cu un coleg care lucrează la riscul de aliniere.
Logodna este în mod deliberat îngustă. Acesta acoperă o echipă mică care operează în baza unor acorduri aplicabile, iar alți angajați METR sunt izolați de munca acelei echipe, inclusiv cercetători care colaborează cu Anthropic la alte proiecte. Anthropic observă că configurația oferă câțiva oameni calificați, care lucrează în conformitate cu standardele de securitate Anthropic, o vedere apropiată a modului în care operează compania; nu este un canal pentru ca alte organizații să obțină informațiile Anthropic sau ale clienților săi.
Drepturi de publicare, cu balustrade
Conform acordului, METR își va publica analiza nivelurilor de risc, incidentelor sau practicilor Anthropic. Anthropic nu poate bloca publicarea, dar poate necesita redactări atunci când informațiile se încadrează în categoriile predefinite descrise mai sus - și Anthropic însuși decide ce se încadrează sau nu în acele categorii. METR, la rândul său, își rezervă dreptul de a face anumite declarații despre nivelul de acces și informațiile pe care le-a primit, o contrapondere menită să împiedice puterea de redactare să devină un buton de mute.
De ce se deschide Anthropic
Mișcarea vine în urma angajamentului pe care Anthropic și-a luat luna trecută de o evaluare mai puternică, independentă, de la terți, a modelelor și practicilor sale de siguranță și semnării sale privind Acordul de la Casa Albă privind Super Intelligence, în care companiile de inteligență artificială s-au angajat să colaboreze cu auditori sau evaluatori externi independenți. De asemenea, extinde o relație existentă: în ultimul an, Anthropic a lucrat cu METR la mai multe revizuiri ale Rapoartelor sale de risc.
METR nu este singurul în portofoliu. Anthropic spune că lucrează și cu SecureBio și Accenture în calitate de evaluatori – Facultatea Accenture a fost numită primul evaluator integrat al companiei în septembrie – și se află în discuții timpurii cu alte câteva organizații, inclusiv Hugging Face. Acele parteneriate din stadiul inițial vin cu acces la informații și drepturi de publicare mai limitate, în timp ce compania învață ce tipuri de parteneriate funcționează.
Analogia supravegherii băncii
Încadrarea lui Anthropic se împrumută de la finanțe. Băncile știu mai multe despre propriile poziții de risc decât cei din afară, așa că autoritățile de reglementare desemnează examinatori rezidenți să lucreze în cadrul celor mai mari bănci; dacă asumarea de riscuri de către o bancă ar putea amenința publicul, terții încearcă să vadă asta în avans. Compania poziționează evaluarea încorporată drept versiunea industriei AI a acelei logici – un pas către o supraveghere solidă a siguranței într-un domeniu în care constructorul știe întotdeauna mai mult decât câinele de pază.
La baza tuturor se află un obiectiv declarat: reducerea decalajului dintre ceea ce înțeleg evaluatorii independenți despre sistemele unei companii de IA de frontieră și ceea ce înțelege compania însăși.
De ce au nevoie evaluatorii
Anunțul prezintă, de asemenea, ceea ce Anthropic consideră că o evaluare semnificativă necesită: experiență în evaluarea capabilităților modelului de frontieră, inclusiv înțelegerea modului în care evaluările pot merge greșit prin fenomene precum falsificarea alinierii; independență, adică lipsa de capital propriu sau dependență financiară sau operațională de societatea evaluată; acces suficient pentru a evalua în mod semnificativ riscurile, extinzându-se dincolo de cele mai recente modele la modul în care acestea au fost instruite și modul în care funcționează garanțiile; și libertatea de a publica observații și evaluări ale unui model sau proces.
Un caz de testare pentru întreaga industrie
Aranjamentul va fi judecat după rezultatul său. Prima evaluare publicată de METR în cadrul noului regim de acces va arăta dacă accesul asemănător angajaților produce constatări cu dinți reale sau rapoarte tăiate pe categorii de redactare pe care compania însăși le definește. Scepticii vor observa că Anthropic controlează limitele categoriei și că echipa pilot este mică; susținătorii vor observa că dreptul de veto al publicației Anthropic este cu adevărat nou printre laboratoarele de frontieră.
Oricum, industria urmărește. Dacă accesul încorporat al METR evidențiază constatările materiale și le publică neafectate, modelul devine șablonul evident pentru fiecare laborator care a semnat acordul de la Casa Albă – și un punct de referință pentru factorii de decizie care analizează dacă supravegherea voluntară poate înlocui auditurile obligatorii. Pentru o acoperire continuă a politicii de siguranță AI și a știrilor din industria AI care o modelează, AI Buzz Wire urmărește fiecare dezvoltare pe măsură ce se desfășoară.
---
Rămâneți înaintea AIObțineți cele mai recente știri, analize și descoperiri despre AI - toate într-un singur loc.
Citiți mai multe știri AI →
