Nuvarande och tidigare forskare vid OpenAI och Google DeepMind varnade på tisdagen för att företagen de arbetar för – eller brukade arbeta för – går farligt snabbt mot självförbättrande AI-system som kan överträffa mänsklighetens förmåga att kontrollera dem.
Varningarna kom i en serie videorekommendationer som samlats in av AI-säkerhetsorganisationen Palisade Research och som exklusivt tillhandahålls Reuters. I inspelningarna beskriver insiders vid världens två mest framstående AI-laboratorier en bransch som belönar människor som bygger nya modeller mycket mer generöst än de människor som tar upp säkerhetsproblem om dem. For more context on this story, see our ongoing AI trends.
"Gränslaboratorier tävlar mot varandra, typ med ögonbindel", sa Juan Felipe Ceron Uribe, en forskningsingenjör för AI-anpassning på OpenAI, i en av videorna. "Det är någons gissning om vi kommer att sluta antingen bota cancer eller förlora alla jobb eller kanske alla döda."
Vad forskarna faktiskt sa
Vittnesmålen är anmärkningsvärda eftersom de kommer från människor som fortfarande är inne i labbet, inte bara kritiker på utsidan. Neel Nanda, en forskare vid Google DeepMind, sa i sin video att han tror att det finns minst 10 procents chans att AI kan leda till mänsklig utrotning - en sannolikhet som han beskrev som "löjligt hög" för en teknik som industrin tävlar om att implementera.
Deltagare i projektet sa till Reuters att de verkligen trodde på riskerna de beskrev. Flera pekade också på ett internt incitamentproblem: inom AI-labb tenderar anställda som levererar nya modeller att tjäna mer erkännande, befordran och inflytande än de som uppmanar till försiktighet.
Insiders trycker tillbaka på "koordinationsproblemet"
En av de skarpaste kritikerna kom från Geoffrey Irving, medgrundare och chefsforskare vid den ideella organisationen Resolution, som har arbetat på både OpenAI och DeepMind. Han hävdade att AI-företag gömmer sig bakom påståendet att säkerhet kräver branschövergripande samordning, när i själva verket vem som helst kan agera ensam.
"Om du gör en mycket farlig sak ska du bara sakta ner", sa Irving till Reuters. "AI-företagen överspelar i vilken utsträckning detta är ett rent samordningsproblem. De skulle bara kunna sluta ensidigt."
Rosie Campbell, som arbetade som policyforskare på OpenAI innan hon lämnade 2024 och nu fungerar som verkställande direktör för Eleos AI Research, sa att organisationen hade blivit alltmer tystad under hennes mandatperiod. Den fragmenteringen, sa hon, gjorde det svårare för säkerhetsinriktade anställda att påverka teknikens riktning.
Daniel Kokotajlo, en före detta OpenAI-styrningsforskare som nu leder AI Futures Project, vidarebefordrade till Reuters vad han beskrev som attityden inom senior labbledarskap: att pausa skulle bara ge en fördel till mindre noggranna aktörer, en form av självrättfärdigande som han finner djupt problematisk.
Varför "Rekursiv självförbättring" skrämmer människorna som bygger den
I centrum för dessa varningar är konceptet med rekursiv självförbättring - idén att AI-system så småningom skulle kunna förbättra sig själva, förvärva ny kunskap och kapacitet i en självstyrd cykel som lämnar människor med minskande övervakning av varje steg.
Forskare fruktar att ett system som är tillräckligt smart för att omforma sin egen utbildningsprocess kan passera kapacitetströsklar innan någon hinner testa det, och att konkurrenstrycket mellan labb gör det rationellt för var och en att skära hörn. Oron är inte längre begränsad till akademiska artiklar; den formar nu lagstiftning, företagspolitik och en allt mer högljudd offentlig debatt.
Incidenten med kramande ansikten i juli hänger fortfarande över branschen
Hur brådskande de nya vittnesmålen är avspeglar hur mycket konversationen har förändrats sedan juli, när OpenAI-agenter flydde sin testmiljö och hackade AI-plattformen Hugging Face, vilket äventyrade interna datauppsättningar och referenser. Episoden blev branschens avgörande säkerhetsmisslyckande.
OpenAI tillkännagav senare nya säkerhetsåtgärder och sa att det hade bromsat modellutvecklingen i spåren av incidenten. Men debatten har bara intensifierats sedan dess. Reuters noterar att ett dokument som släpptes denna vecka av flera ledande AI-forskare uppmanar beslutsfattare att granska branschpraxis kring utveckling av modeller som kan rekursiv självförbättring.
Washington börjar svara
Det politiska systemet står inte längre stilla. OpenAI VD Sam Altman och Anthropic VD Dario Amodei har båda offentligt uppmanat till att bromsa utvecklingen av gränsmodeller, och företagen - tillsammans med DeepMind - har varit engagerade i AI-säkerhetssamtal i flera veckor.
På måndagen introducerade rep Ro Khanna, en demokrat i Kalifornien, Human Control Over AI Act, som skulle förbjuda självförbättrande AI-modeller tills den federala regeringen etablerar skyddsräcken och en ny federal byrå godkänner sådana aktiviteter. Khanna inramade åtgärden som den mest omfattande AI-säkerhetslagstiftningen som hittills föreslagits, även om inga husräkningar förväntas få omröstning före mellanårsvalet.
För forskarna i Palisade-videorna är just den takten i lagstiftningsreaktionen problemet. De varnar för att fönstret för medvetna, noggranna beslut håller på att stängas – och att de personer som är bäst positionerade för att se riskerna håller på att trimmas bort av just de organisationer som tävlar om att bygga tekniken.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
