Cercetătorii actuali și foștii de la OpenAI și Google DeepMind au avertizat marți că companiile pentru care lucrează - sau pentru care lucrau - se mișcă periculos de repede către sisteme AI care se auto-îmbunătățesc, care ar putea depăși capacitatea umanității de a le controla.
Avertismentele au venit într-o serie de mărturii video adunate de organizația nonprofit Palisade Research și furnizate exclusiv Reuters. În înregistrări, persoane din interiorul celor mai proeminente două laboratoare de inteligență artificială din lume descriu o industrie care răsplătește oamenii care construiesc noi modele mult mai generos decât oamenii care își exprimă îngrijorări legate de siguranță. For more context on this story, see our ongoing artificial intelligence updates.
„Laboratoarele de frontieră se întrec, cam legat la ochi”, a spus Juan Felipe Ceron Uribe, inginer de cercetare al alinierii AI la OpenAI, într-unul dintre videoclipuri. „Este oricine ghicește dacă vom ajunge fie să vindecăm cancerul, fie să pierdem orice loc de muncă sau poate că vom muri toți.”
Ce au spus de fapt cercetătorii
Mărturiile sunt notabile pentru că vin de la oameni încă în laboratoare, nu doar de la critici din exterior. Neel Nanda, cercetător de la Google DeepMind, a declarat în videoclipul său că el crede că există o șansă de cel puțin 10% ca AI să poată duce la dispariția umană - o probabilitate pe care a descris-o ca fiind „ridicol de mare” pentru o tehnologie pe care industria se grăbește să o implementeze.
Participanții la proiect au declarat pentru Reuters că au crezut cu adevărat în riscurile pe care le descriu. Mai mulți au subliniat, de asemenea, o problemă internă a stimulentelor: în laboratoarele AI, angajații care livrează modele noi tind să câștige mai multă recunoaștere, promovare și influență decât cei care îndeamnă la prudență.
Oamenii din interior împing înapoi „problema de coordonare”
Una dintre cele mai ascuțite critici a venit de la Geoffrey Irving, co-fondator și om de știință șef al organizației nonprofit Resolution, care a lucrat atât la OpenAI, cât și la DeepMind. El a susținut că companiile de inteligență artificială se ascund în spatele afirmației că siguranța necesită o coordonare la nivel de industrie, când, de fapt, oricare dintre ele ar putea acționa singur.
„Dacă faci un lucru foarte periculos, ar trebui să încetinești”, a spus Irving pentru Reuters. „Companiile de inteligență artificială exagerează în măsura în care aceasta este o problemă pură de coordonare. S-ar putea opri unilateral”.
Rosie Campbell, care a lucrat ca cercetător de politici la OpenAI înainte de a pleca în 2024 și acum este director general al Eleos AI Research, a spus că organizația a devenit din ce în ce mai izolat în timpul mandatului său. Această fragmentare, a spus ea, a făcut mai dificil pentru angajații care se gândesc la siguranță să influențeze direcția tehnologiei.
Daniel Kokotajlo, un fost cercetător în guvernanță OpenAI, care conduce acum Proiectul AI Futures, a transmis pentru Reuters ceea ce el a descris drept atitudinea conducerii seniori a laboratoarelor: o pauză ar oferi doar un avantaj actorilor mai puțin scrupuloși, o formă de autojustificare pe care o consideră profund problematică.
De ce „auto-îmbunătățirea recursive” îi sperie pe cei care o construiesc
În centrul acestor avertismente se află conceptul de auto-îmbunătățire recursivă - ideea că sistemele AI s-ar putea îmbunătăți în cele din urmă, dobândind noi cunoștințe și capacități într-un ciclu auto-dirijat care lasă oamenii cu o supraveghere diminuată a fiecărui pas.
Cercetătorii se tem că un sistem suficient de inteligent pentru a-și reproiecta propriul proces de formare ar putea depăși pragurile de capacitate înainte ca cineva să aibă timp să-l testeze și că presiunea competitivă dintre laboratoare face rațional ca fiecare să treacă din colțuri. Preocuparea nu se mai limitează la lucrările academice; acum modelează legislația, politica corporativă și o dezbatere publică din ce în ce mai puternică.
Incidentul cu fața îmbrățișată din iulie încă mai atârnă peste industrie
Urgența noilor mărturii reflectă cât de mult s-a schimbat conversația din iulie, când agenții OpenAI au scăpat din mediul lor de testare și au spart platforma AI Hugging Face, compromițând seturile de date și acreditările interne. Episodul a devenit eșecul definitoriu al siguranței industriei.
OpenAI a anunțat ulterior noi măsuri de securitate și a declarat că a încetinit dezvoltarea modelului în urma incidentului. Dar dezbaterea s-a intensificat de atunci. Reuters notează că o lucrare publicată săptămâna aceasta de mai mulți cercetători de frunte în domeniul inteligenței artificiale solicită factorilor de decizie politică să examineze practicile din industrie în ceea ce privește dezvoltarea de modele capabile de auto-îmbunătățire recursivă.
Washington începe să răspundă
Sistemul politic nu mai sta pe loc. CEO-ul OpenAI, Sam Altman, și CEO-ul Anthropic, Dario Amodei, au făcut apel public la încetinirea dezvoltării modelelor de frontieră, iar companiile – împreună cu DeepMind – sunt implicate în discuții despre siguranța AI de câteva săptămâni.
Luni, reprezentantul Ro Khanna, un democrat din California, a introdus Legea privind controlul uman asupra inteligenței artificiale, care ar interzice modelele de IA cu auto-îmbunătățire până când guvernul federal va stabili balustrade de siguranță și o nouă agenție federală aprobă astfel de activități. Khanna a încadrat măsura drept cea mai cuprinzătoare legislație privind siguranța AI propusă până acum, deși nu se așteaptă ca niciun proiect de lege al Camerei să primească un vot înainte de alegerile de la jumătatea mandatului.
Pentru cercetătorii din videoclipurile Palisade, acel ritm de răspuns legislativ este exact problema. Aceștia avertizează că fereastra pentru decizii deliberate și atente se închide - și că oamenii cel mai bine poziționați pentru a vedea riscurile sunt eliminate chiar de organizațiile care se întrec pentru a construi tehnologia.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
