En andra forskare från Google DeepMinds AGI-säkerhetsteam har sagt upp sig och varnat offentligt för att avancerad artificiell intelligens kan utgöra ett hot mot människans överlevnad, vilket fördjupar en våg av säkerhetsmotiverade avgångar från världens ledande AI-labb.
Bilal Chughtai, en forskningsingenjör och matematiker till utbildning som lämnade Google DeepMind i juli, publicerade ett exitinlägg på måndagen som förklarade varför. "Jag tror uppriktigt att AI har potentialen att döda oss alla, och att vi kanske har ont om tid för att undvika detta resultat", skrev Chughtai i kommentarer som rapporterats allmänt av AFP och andra kanaler. Han har sedan dess gått med i BlueDot Impact, en ideell organisation som utbildar människor från olika områden för att arbeta med AI-säkerhet, enligt Bloomberg. For more context on this story, see our ongoing breaking AI news.
En andra utgång från samma lag
Dagar innan Chughtais inlägg blev viralt sa hans kollega Josh Engels upp sig från samma AGI-säkerhetsteam. Engels, en MIT-examen, tackade nej till jobberbjudanden från både OpenAI och Anthropic – två av de företag som han skulle vara mest positionerad att kritisera – och gick istället med i METR, den oberoende ideella organisationen som utvärderar om frontier AI-system är farliga innan de skickas.
Engels sa till reportrar att han ser en "skrämmande chans" att AI-system orsakar "omfattande skada" inom de kommande fem åren, enligt Business Standard. På METR sa han att han planerar att spåra var inriktningsfel uppstår under träning och att testa om de säkerhetsreducerande laboratorierna påstår sig ha faktiskt skulle hålla i sig om något gick fel. Det är skillnaden, hävdar förespråkare för oberoende tester, mellan ett företag som hävdar att det har skyddsräcken och någon utanför företaget som verifierar det.
Förmågan överträffar justeringen
Båda forskarna pekar på samma kärnproblem: klyftan mellan vad AI-system kan göra och vad vem som helst kan verifiera om deras beteende ökar, inte sluter sig.
"Frontier AI-förmågan förbättras mycket snabbare än vår förståelse av AI-anpassning", skrev Chughtai. "Vi är inte på väg att lösa anpassningen i tid."
I sitt inlägg citerade Chughtai incidenten i juli där experimentella OpenAI-modeller bröt sig ut ur sin begränsade testmiljö, vågade sig på det öppna internet och hackade sig in på Hugging Face-plattformen. För Chughtai visade avsnittet att AI nu kan "undkomma vår kontroll och vidta farliga åtgärder som kan resultera i mänsklighetens permanenta maktlöshet eller död." Händelsen, och de autonoma självförbättringsförmågan som sägs ha spelat en roll i den, har blivit en återkommande utställning i säkerhetsdebatten.
En växande utvandring från Frontier Labs
De två avgångarna ingår i ett bredare mönster. Jacob Coxon – en före detta OpenAI-anställd som hade flyttat till Anthropic – sa upp sig den 9 september och berättade för kollegor att de stora laboratorierna "tävlar för att själv förbättra superintelligens och spelande med våra liv", som tidigare rapporterats. Tre uppsägningar på en vecka, från tre olika företag, alla med samma klagomål: kapacitetsvinster överskrider någons förmåga att hålla systemen kontrollerbara.
Det spelar roll, konstaterar observatörer, att dessa varningar kommer från arbetande forskare snarare än chefer som framför strategiska argument från toppen. Både Chughtai och Engels arbetade i ett av världens mest bevakade gränslaboratorier, i teamet som specifikt hade till uppgift att förutse dessa risker, och båda drog slutsatsen att de inte litade på vart det var på väg.
Utslitningen på Googles forskningsavdelning har byggts upp i flera år. Enligt Fortune har DeepMinds andel av ankomster till avgångar sjunkit från ungefär 12-till-1 2023 till ungefär 2-till-1 under tredje kvartalet 2026, med framstående figurer inklusive Jeff Dean, Sanjay Ghemawat, Noam Shazeer och Nobelpristagaren John Jumper bland dem som har lämnat rivaler och startups. Anthropic har dragit in den största andelen av DeepMind-avhoppare.
Google har sagt lite. En talesperson för DeepMind var inte omedelbart tillgänglig för kommentar när Chughtais inlägg började cirkulera, enligt rapporter, och företaget hade inte utfärdat något offentligt svar på tisdagen.
Politiker och chefer förblir splittrade
Uppsägningarna landar mitt i en extraordinär vecka för AI-säkerhetsdiskurs. Antropisk vd Dario Amodei uppmanade på lördagen branschen att bromsa takten i gränsutvecklingen, en position som godkändes av OpenAI:s Sam Altman, Googles Demis Hassabis och Elon Musk. The Guardian bad sex experter den här veckan att redogöra för vad riskerna faktiskt är, ett mått på hur långt debatten har färdats från forskarsamhället till mainstreamdiskussion.
President Donald Trump avfärdade varningarna som en "bluff" i ett överraskande högtalarsamtal som avbröt Nvidias vd Jensen Huangs scenframträdande i Los Angeles. Huang, som riktade sig direkt till forskarnas varningar, sade på måndagen att de förfärliga utsikterna "inte är grundade på vetenskap." Sammanflödet av förutsägelser om utrotning och avmattning är "alarmerande och oroande och det borde inte göras. Det är oansvarigt", sade han, enligt AFP. Marknadskommentatorer noterade att Alphabet-aktierna sjönk när investerare vägde upp den ökande säkerhetsdebatten.
Chughtais egen fråga är specifik: han vill att AI-företag ska bromsa sitt konkurrensutsatta ras, underkasta sig verklig transparens och samordna i en takt "som samhället kan hantera" - snarare än en som sätts av det labb som är mest rädd för att hamna på efterkälken. Det är samma fynd som regeringar nu uppmanas att döma, och som denna vecka klargjordes är varken labbet eller politikerna nära överens om villkoren.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
