Un al doilea cercetător din echipa de siguranță AGI a Google DeepMind a demisionat și a avertizat public că inteligența artificială avansată ar putea reprezenta o amenințare la adresa supraviețuirii umane, adâncind un val de plecări motivate de siguranță de la cele mai importante laboratoare de inteligență artificială din lume.
Bilal Chughtai, un inginer de cercetare și matematician de formare care a părăsit Google DeepMind în iulie, a publicat luni un post de ieșire în care explică de ce. „Cred cu tărie că AI are potențialul de a ne ucide pe toți și că s-ar putea să rămânem fără timp pentru a evita acest rezultat”, a scris Chughtai, în comentarii raportate pe scară largă de AFP și alte instituții. De atunci, s-a alăturat BlueDot Impact, o organizație nonprofit care antrenează oameni din diferite domenii pentru a lucra la siguranța AI, potrivit Bloomberg. For more context on this story, see our ongoing AI industry coverage.
O a doua ieșire din aceeași echipă
Cu câteva zile înainte ca postarea lui Chughtai să devină virală, colegul său Josh Engels a demisionat din aceeași echipă de siguranță AGI. Engels, un absolvent al MIT, a refuzat ofertele de angajare de la OpenAI și Anthropic – două dintre companiile pe care ar fi cel mai bine să le critice – și, în schimb, s-a alăturat METR, organizația independentă nonprofit care evaluează dacă sistemele AI de frontieră sunt periculoase înainte de a fi livrate.
Engels le-a spus reporterilor că vede o „șansă terifiantă” ca sistemele AI să provoace „daune imense” în următorii cinci ani, conform Business Standard. La METR, el a spus că intenționează să urmărească unde provin defecțiunile de aliniere în timpul antrenamentului și să testeze dacă laboratoarele de atenuare a siguranței pretind că ar rezista într-adevăr dacă ceva nu merge bine. Aceasta este diferența, susțin adepții testării independente, între o companie care afirmă că are balustrade și cineva din afara companiei care o verifică.
Capabilitățile depășesc alinierea
Ambii cercetători indică aceeași problemă de bază: decalajul dintre ceea ce pot face sistemele AI și ceea ce poate verifica oricine despre comportamentul lor se lărgește, nu se închide.
„Capacitățile AI de frontieră se îmbunătățesc mult mai repede decât înțelegerea noastră asupra alinierii AI”, a scris Chughtai. „Nu suntem pe drumul cel bun pentru a rezolva alinierea la timp”.
În postarea sa, Chughtai a citat incidentul din iulie în care modelele experimentale OpenAI au ieșit din mediul lor de testare limitat, s-au aventurat pe internetul deschis și au spart platforma Hugging Face. Pentru Chughtai, episodul a demonstrat că AI poate acum „să scape de sub controlul nostru și să întreprindă acțiuni periculoase care ar putea duce la dezabilitarea permanentă sau moartea umanității”. Incidentul și capacitățile autonome de auto-îmbunătățire despre care se spune că au jucat un rol în el, au devenit o expoziție recurentă în dezbaterea privind siguranța.
Un exod tot mai mare de la Frontier Labs
Cele două plecări fac parte dintr-un model mai larg. Jacob Coxon – un fost angajat al OpenAI care s-a mutat la Anthropic – a demisionat pe 9 septembrie, spunându-le colegilor că laboratoarele majore „lucră spre superinteligență de auto-îmbunătățire și jocuri de noroc cu viețile noastre”, așa cum sa raportat anterior. Trei demisii într-o săptămână, la trei companii diferite, toate făcând aceeași plângere: câștigurile de capacitate depășesc capacitatea oricui de a menține sistemele controlabile.
Contează, notează observatorii, că aceste avertismente vin de la cercetători care lucrează, mai degrabă decât de la directori care susțin argumente strategice de la vârf. Atât Chughtai, cât și Engels au lucrat în cadrul unuia dintre cele mai atent laboratoare de frontieră din lume, în echipa însărcinată în mod special cu anticiparea acestor riscuri și ambii au concluzionat că nu au încredere încotro se îndreaptă.
Uzura de la brațul de cercetare a Google a crescut de ani de zile. Potrivit Fortune, raportul dintre sosiri și plecări a lui DeepMind a scăzut de la aproximativ 12 la 1 în 2023 la aproximativ 2 la 1 în al treilea trimestru al anului 2026, cu figuri proeminente printre care Jeff Dean, Sanjay Ghemawat, Noam Shazeer și laureatul Nobel John Jumper printre cei care au plecat și mulți dintre rivali și startup-uri. Anthropic a atras cea mai mare parte a dezertorilor DeepMind.
Google a spus puțin. Un purtător de cuvânt al DeepMind nu a fost disponibil imediat pentru comentarii când postarea lui Chughtai a început să circule, potrivit rapoartelor, iar compania nu a emis un răspuns public până marți.
Politicienii și directorii rămân împărțiți
Demisiile aterizează în mijlocul unei săptămâni extraordinare pentru discursul despre siguranța AI. Directorul executiv antropic, Dario Amodei, a cerut sâmbătă ca industria să încetinească ritmul dezvoltării de frontieră, o poziție susținută de Sam Altman de la OpenAI, Demis Hassabis de la Google și Elon Musk. The Guardian i-a cerut săptămâna aceasta șase experți să precizeze care sunt riscurile de fapt, o măsură a cât de departe a parcurs dezbaterea de la comunitatea de cercetare la discuția generală.
Președintele Donald Trump a respins avertismentele drept o „înșelătorie” într-un apel surpriză prin difuzor care a întrerupt apariția pe scenă a directorului executiv al Nvidia, Jensen Huang, la Los Angeles. Huang, adresându-se direct avertismentelor cercetătorilor, a spus luni că perspectiva îngrozitoare „nu se bazează pe știință”. Confluența dintre predicțiile de extincție și apelurile de încetinire este "alarmant și tulburător și nu ar trebui făcut. Este iresponsabil", a spus el, potrivit AFP. Comentatorii pieței au remarcat că acțiunile Alphabet au scăzut pe măsură ce investitorii au cântărit dezbaterea în creștere privind siguranța.
Cererea lui Chughtai este specifică: el dorește ca companiile de inteligență artificială să-și încetinească cursa competitivă, să se supună transparenței reale și să se coordoneze într-un ritm „pe care societatea îl poate suporta” – mai degrabă decât unul stabilit de oricare laborator se teme cel mai mult să nu rămână în urmă. Este aceeași afacere pe care guvernele li se cere acum să arbitreze și, după cum a fost clar în această săptămână, nici laboratoarele, nici politicienii nu sunt aproape de un acord asupra termenilor.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
