Anthropic a publicat cercetări care arată că sistemele automate de inteligență artificială pot repara în mod fiabil defecțiunile de aliniere ale unui model, un rezultat care ar putea remodela modul în care se realizează munca de siguranță în centrul industriei inteligenței artificiale. Lucrarea, intitulată „Cercetătorii automati pot atenua în mod fiabil eșecurile de aliniere”, a fost lansată vineri și detaliată de TechCrunch.
Cercetarea provine din programul de bursieri Anthropic și a fost condusă de Chen Yueh-Han. Afirmația sa centrală este izbitoare: atunci când sistemele de cercetare automatizate ale companiei au fost îndreptate către zece puncte de referință care măsoară comportamente nealiniate specifice, au îmbunătățit performanța fiecăruia, fără a degrada capacitățile generale ale modelului. Pentru un domeniu care s-a luptat să mențină siguranța în pas cu scara modelului, acesta este un rezultat notabil. For more context on this story, see our ongoing artificial intelligence updates.
Povestea a aterizat în timpul unei perioade aglomerate pentru acoperirea siguranței AI. Urmează o vară în care comportamentul defectuos al agentului a dominat titlurile, de la raportul intern al OpenAI privind agenții de hacking de recompense până la solicitările de investigații independente cu privire la încălcarea Hugging Face. Noua lucrare a lui Anthropic abordează problema din direcția opusă: în loc să întrebe cum se comportă greșit agenții, se întreabă dacă se poate avea încredere în alți agenți pentru a le remedia.
Ce raportează de fapt ziarul
Sistemul descris în lucrare se numește Automated Alignment Researcher sau AAR. În loc să înlocuiască procesul de cercetare, AAR replic o mare parte din el: fiecare sistem automat caută în literatura disponibilă, propune o metodă și antrenează modelul folosind acea metodă timp de aproximativ 30 de minute. Procesul se repetă apoi în mai multe iterații.
Mecanismul de selecție este simplu. Metodele care mută reperul sunt păstrate; metodele care nu sunt aruncate. Această buclă permite sistemului să funcționeze rapid și la o scară pe care nicio echipă umană nu ar putea fi egală, testând multe direcții de cercetare în paralel și păstrând doar ceea ce funcționează.
Potrivit lucrării, rezultatele au fost consistente la nivel general. Pentru toate cele zece criterii de referință care acoperă comportamente nealiniate specifice, sistemele automate au produs îmbunătățiri măsurabile fără a afecta performanța generală a modelului - compromisul obișnuit care face ca alinierea să fie dificilă.
„În general, aceste rezultate oferă dovezi timpurii că post-formarea automată a alinierei ar putea deveni practice în termen scurt”, se arată în lucrare.
Învingerea oamenilor, la 1/37 din preț
Cele mai citate pasaje din lucrare sunt cele în care acesta compară AAR direct cu omologii săi umani. Anthropic nu s-a oprit la comparație.
„Cea mai bună metodă AAR întrece ceea ce propun oamenii cu experiență, în medie în șase ore”, se arată în lucrare. Acesta adaugă, în mod clar, că „direcțiile de cercetare ghidate de oameni nu conduc la performanțe mai puternice”.
Economiile sunt la fel de clare. „Un AAR costă aproximativ 4 USD pe oră în inferența API față de cei 150 USD pe oră pe care îi plătim cercetătorilor noștri umani”, scriu autorii. Aceasta este o diferență de cost de aproape 40 de ori și explică de ce laboratoarele iau în serios cercetarea automatizată ca fiind mai mult decât o curiozitate.
De ce contează diferența de costuri
Cercetarea alinierii este costisitoare într-un mod ușor de subestimat. Fiecare intervenție a candidatului trebuie să fie implementată, instruită și evaluată în raport cu criteriile de referință, iar majoritatea candidaților eșuează. Dacă un sistem poate rula acea buclă de căutare în mod continuu pentru prețul apelurilor API, costul marginal de a încerca încă o idee se apropie de zero. Constrângerea trece de la numărul de angajați la calcul.
Limitările antropice în sine au fost semnalate
Lucrarea este sinceră cu privire la ceea ce rezultatul nu stabilește. Sistemul automatizat funcționează numai în măsura în care benchmark-urile reflectă de fapt obiectivele de aliniere care contează – iar construirea și menținerea unor benchmark-uri care surprind comportamentul incorect din lumea reală rămâne o problemă deschisă în domeniu.
Există, de asemenea, o dependență care este ușor de ratat: cercetătorii automati se bazează pe o literatură de metode existentă. Menținerea și extinderea acestei literaturi este în sine o muncă semnificativă, iar un sistem care doar remixează tehnici cunoscute poate atinge un plafon pe care creativitatea umană nu l-ar atinge.
Aceste avertismente contează, deoarece semnificația pe termen lung a cercetării depinde de ele. Dacă benchmark-urile măsoară lucrurile greșite, un AAR își poate optimiza drumul către numere puternice, în timp ce riscurile subiacente rămân neatinse. Încadrarea lui Anthropic – „dovezi timpurii”, nu o soluție – reflectă această incertitudine.
Un pas către auto-îmbunătățirea recursive
Lucrarea alimentează, de asemenea, o dezbatere mai largă despre auto-îmbunătățirea recursivă, ideea că sistemele AI ar putea îmbunătăți în cele din urmă chiar procesele de antrenament care le produc. Antrenarea modelelor AI cu alte modele AI a devenit un obiectiv popular pentru laboratoarele de frontieră, iar rezultatul Anthropic este o privire timpurie, concretă, asupra a ceea ce arată într-un domeniu restrâns.
Logica este simplă. Dacă modelele își pot îmbunătăți în mod fiabil propriul antrenament de aliniere, aceeași mașină ar putea fi în mod plauzibil îndreptată către practicile de formare în mod mai larg - inclusiv munca de capacitate. TechCrunch observă implicația că cercetătorii umani AI ar putea deveni în cele din urmă mai puțin esențiali pentru proces, o posibilitate cu care lucrarea în sine se angajează, mai degrabă decât să o evite.
Ce să urmărești în continuare
Trei întrebări vor determina dacă acest rezultat se generalizează. În primul rând, dacă abordarea se menține în afara celor zece criterii de referință testate de Anthropic, pe moduri de eșec care sunt mai dezordonate și mai puțin bine definite. În al doilea rând, dacă problema întreținerii benchmark-ului poate fi rezolvată suficient de rapid pentru a menține cercetarea automată sinceră. În al treilea rând, dacă alte laboratoare publică rezultate comparabile, care ar transforma o singură lucrare într-o direcție industrială.
Deocamdată, descoperirea este îngustă, dar reală: la sarcinile specifice de aliniere testate de Anthropic, cercetătorii automati au depășit oamenii cu experiență, mai rapid și mult mai ieftin. Latura de siguranță a industriei AI poate fi primul loc în care cercetătorii AI - nu cei umani - fac cea mai mare parte a muncii.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
