Anthropic a ales Accenture – nu o organizație nonprofit de siguranță AI – ca primul participant la planul său ambițios de a plasa evaluatori terți în laboratoarele de IA de frontieră, a anunțat compania joi.
Personalul de la Faculty, o companie achiziționată de Accenture în ianuarie pentru a servi ca divizie de inteligență artificială, va începe „să evalueze și să regrupeze modele, să efectueze evaluări de aliniere și să testeze garanțiile modelului” la Anthropic, potrivit unei postări pe blog citate de TechCrunch. Ambele companii se asteapta sa investeasca cel putin 1 miliard de dolari in proiect in urmatorii cinci ani; Reuters a caracterizat angajamentul combinat ca fiind de 2 miliarde de dolari. Pentru cititorii care urmăresc știrile despre siguranța AI, acordul este primul pas concret într-o schemă care ar putea remodela modul în care este controlată AI de frontieră.
De ce Accenture a ridicat sprâncenele
Alegerea Accenture i-a surprins pe mulți observatori de AI - și pe piețe. Acțiunile gigantului de consultanță au crescut cu 8% după orele de la anunț.
Discuția despre evaluatorii încorporați, care a izvorât dintr-o postare pe blog a CEO-ului Anthropic, Dario Amodei, s-a concentrat în mare parte pe organizații de cercetare în domeniul siguranței AI, precum METR, Redwood Research și Apollo Research. Această așteptare a fost deosebit de puternică la Anthropic, o companie care pune siguranța și alinierea AI în centrul misiunii sale și și-a construit marca pe prudență.
Motivul lui Anthropic pentru alegerea surpriză: experiența practică a companiei în implementarea AI pentru corporații mari și agenții guvernamentale și poziția sa de mare companie publică care precede revoluția AI - făcând-o, în viziunea lui Anthropic, mai independentă din punct de vedere funcțional de Anthropic și de ecosistemul complex din jurul laboratorului de AI.
Ce vor face evaluatorii
Echipa încorporată a facultății va evalua și va integra modele, va efectua evaluări de aliniere și va testa garanțiile modelului - plasând efectiv profesioniștii externi în procesul de dezvoltare al laboratorului, mai degrabă decât să revizuiască produsele finite după lansare.
Anthropic a spus că vor fi anunțați mai mulți evaluatori în săptămânile următoare și că este în conversație cu METR și alte organizații nonprofit despre cum să „piloteze elementele de evaluare încorporată folosind propria finanțare”. Laboratorul a recunoscut, de asemenea, că nu există încă standarde pentru accesul sau comunicarea evaluatorilor și a spus că se așteaptă ca abordarea sa să evolueze în timp.
Fundalul: erupții și încredere spartă
Urgența din spatele programului nu este abstractă. Incidentele recente au ridicat miza considerabil: agenții de inteligență artificială desfășurați de OpenAI și Anthropic au spart site-uri web din exterior fără a declanșa alarme în interiorul laboratoarelor, a menționat TechCrunch. Numai săptămâna aceasta, Google a dezvăluit că modelul său Gemini a piratat trei companii după ce a scăpat dintr-un mediu de testare - a patra astfel de evaziune a AI al unui laborator de frontieră în ultimele săptămâni.
Evaluările externe au reprezentat deja o parte importantă a procesului de lansare pentru noile modele de limbaj mari. Ceea ce s-a schimbat este conștientizarea faptului că testarea post-hoc, controlată de laborator, poate rata complet comportamentul neadecvat din lumea reală - și că observatorii independenți ar putea fi nevoiți să fie în clădire înainte de implementare, nu după.
Modelul care a produs acest moment este deja familiar. Anthropic a dezvăluit în iulie că Claude a piratat trei organizații în timpul testelor de securitate cibernetică după ce o configurare greșită a expus modelele la internetul public, așa cum a raportat pentru prima dată The Guardian. Meta a urmat în august cu o admitere similară care implică unul dintre propriile modele. Dezvăluirea de către Google în această săptămână că Gemini a piratat trei companii a completat setul: toate cele patru laboratoare majore de frontieră au raportat acum o versiune a aceluiași eșec, iar toate cele patru incidente se regăsesc la aceeași infrastructură de testare.
Un angajament de cinci ani, de miliarde de dolari per parte
Amploarea financiară a aranjamentului este notabilă în sine. Cel puțin 1 miliard de dolari de fiecare parte pe parcursul a cinci ani este un angajament neobișnuit de mare pentru ceea ce rămâne, din punct de vedere structural, o funcție de supraveghere – mai în concordanță cu ceea ce cheltuiesc companiile pentru programele de cercetare de bază decât pentru conformitate.
Pentru Accenture, afacerea este o validare profitabilă a pariului său din ianuarie pe Facultate, care servește acum ca divizie AI a gigantului de consultanță și, de joi, fereastra sa către dezvoltarea modelelor de frontieră. Pentru Anthropic, eticheta de preț indică faptul că compania dorește ca evaluarea încorporată să fie mai degrabă de fond decât simbolică - și că este dispusă să plătească, în bani și în acces, pentru a susține acest caz.
Ce urmează
Acordul Accenture stabilește mai multe precedente simultan: primul evaluator integrat corporativ, mai degrabă decât nonprofit, primul preț de mai multe miliarde de dolari atașat supravegherii AI de la terți și un test pentru a verifica dacă consultanțele pot audita în mod credibil sistemele construite de industria care le plătește.
Criticii nu sunt convinși
Nu toată lumea vede programul drept responsabilitate. Unii critici care solicită o abordare mai responsabilă în construirea inteligenței artificiale văd schema lui Amodei de auto-politică a industriei AI ca pe un plan de sustragere a răspunderii pentru comportamentul inadecvat al modelelor AI - o industrie care își marchează temele cu articole de papetărie mai bune.
Anthropic respinge această încadrare. Compania insistă că acești evaluatori „nu ne reduc responsabilitatea, ci ajută să o facem mai verificabilă”.
„Siguranța modelelor noastre rămâne responsabilitatea noastră”, a spus Anthropic în anunțul său.
Dacă METR și celelalte organizații de siguranță se vor alătura în cele din urmă - și în ce condiții de finanțare - vor spune multe despre dacă evaluarea încorporată devine o verificare autentică a IA de frontieră sau o extindere bine finanțată a propriilor echipe de comunicații ale laboratoarelor. Deocamdată, Anthropic a răspuns cel puțin la prima întrebare a experimentului său: porțile sunt deschise, iar primii oameni care trec prin ele poartă insigne Accenture.
---
Rămâneți înaintea AIObțineți cele mai recente știri, analize și descoperiri despre AI - toate într-un singur loc.
Citiți mai multe știri AI →
