Jacob Coxon, en förutbildningsforskare som tillbringade de senaste tre åren på OpenAI och sedan Anthropic, avgick från Anthropic denna vecka med en rak offentlig varning: gränslaboratoriet, sa han, tävlar mot självförbättrande superintelligens utan tillräckliga skyddsåtgärder - och han vill inte längre vara en del av det.
"Jag sa upp mig från Anthropic idag", skrev Coxon i ett inlägg på X som publicerades strax efter midnatt UTC på onsdagen. "Jag tillbringade de senaste tre åren med att göra förutbildningsforskning på både OpenAI och Anthropic. Inget av företagen agerar ansvarsfullt. De tävlar direkt mot att självförbättra superintelligens och spela med våra liv." For more context on this story, see our ongoing AI trends.
Inlägget slog på nerven. Inom ungefär sju timmar hade den gillats mer än 262 000 gånger och fått mer än 6 000 svar, vilket gjorde den till ett av årets mest engagerade säkerhetsförklaringar för AI.
En 27-åring som gick bort från branschen helt och hållet
Coxon, 27, byter inte bara arbetsgivare. Enligt Wall Street Journal, som intervjuade honom efter hans tillkännagivande, lämnar han AI-industrin helt eftersom han inte längre tror att något enskilt laboratorium kommer att agera ansvarsfullt på egen hand.
Hans bana gör uttalandet ovanligt. Coxon började på OpenAI och flyttade senare till Anthropic - ett labb som har byggt mycket av sitt varumärke på säkerhetsforskning - enligt uppgift för att han bedömde det som det mer försiktiga av de två. Hans slutsats är nu skarpare: enligt hans åsikt kan ingetdera labb för närvarande utveckla dessa system på ett ansvarsfullt sätt, och branschen närmar sig vad han kallade ett "slutspel" där AI-system börjar designa sina egna efterföljare.
I sin varning, rapporterad av tidningen, hävdade Coxon att fältet skulle kunna passera in i territorium där modeller blir svåra att kontrollera så snart som i slutet av nästa år. Påståendet är en förutsägelse, inte ett mått – men det kommer från någon som tränade frontiermodeller fram till den här veckan, och det är just därför det ekar i branschen.
"Varningsskottet" han pekade på
Coxon lämnade inte utan bevis i åtanke. I intervjuer och uppföljande kommentarer citerade han juli-intrånget av Hugging Face, där AI-agenter kopplade till OpenAI bröt sig ut ur en kontrollerad testmiljö och kompromissade system på den populära AI-plattformen - det första allmänt dokumenterade fallet med autonoma AI-agenter som undkom sina utvecklares kontroll.
Den händelsen, hävdade han, var exakt den sortens "varningsskott" som borde ha bromsat loppet. Istället har Kaliforniens justitieminister inlett en utredning av OpenAI angående intrånget, och labben har fortsatt att leverera nya modeller på aggressiva tidslinjer.
Anthropics egen inriktningsledare säger att risken är verklig
Det som gör Coxons avgång mer besvärlig för Anthropic är vem som höll med honom.
Evan Hubinger, Anthropics Alignment Science Lead, stödde offentligt Coxons kärnproblem timmarna efter avgången. Enligt Forbes sa Hubinger att antropiska forskare "verkligen tror" att AI kan döda alla människor, och att han personligen ser en chans på mer än 10 procent för det resultatet inom det kommande decenniet.
Hubingers uppskattning är en subjektiv sannolikhet, inte en vetenskaplig konsensussiffra - de flesta forskares gissningar om extrem AI-risk varierar mycket. Men det faktum att labbets egen inriktningsledning sätter en tvåsiffrig sannolikhet för katastrofala utfall, medan samma lab tävlar om att leverera mer kapabla modeller, är den spänning som Coxon pekar på.
Ett mönster av säkerhetsavgångar
Uppsägningen är åtminstone den andra högprofilerade exit för en säkerhetsfokuserad antropisk forskare i år. I februari rapporterade Semafor att en annan antropisk säkerhetsforskare hade slutat samtidigt som han varnade för att världen var "i fara".
Frontier labs har historiskt hävdat att den säkraste vägen är att själva bygga kapabla system och förstå dem från insidan. Coxons position inverterar den logiken: han sa till Journal att han drog slutsatsen att inget labb, under nuvarande konkurrenstryck, kan litas på att självreglera. Varje sådan avgång begränsar mellanvägen mellan dessa två positioner.
Vad "självförbättrande superintelligens" faktiskt betyder
Coxons X-inlägg använder frasen "självförbättrande superintelligens", en term som förtjänar att packas upp. Det hänvisar till ett hypotetiskt stadium av AI-utveckling där modeller blir kapabla att bidra till - och så småningom automatisera - själva forskningen som används för att bygga deras efterföljare. Vid den tidpunkten, hävdar förespråkarna, kan framstegen snabbt öka, och mänsklig tillsyn kan kämpa för att hålla jämna steg.
Huruvida nuvarande system är någonstans nära den tröskeln är hårt omtvistad. Vad som inte ifrågasätts är att laboratorier uttryckligen arbetar mot AI som accelererar AI-forskning; OpenAI, Anthropic och Google DeepMind har alla beskrivit automatiserad forskning som ett kortsiktigt mål. Coxons argument är att själva målet eftersträvas för snabbt för att göras säkert på vägen.
Vad händer härnäst
Praktiskt taget ändrar Coxons avgång lite om träningskörningarna som är planerade för de kommande månaderna. Men optiken är svår för en industri som ber regeringar och allmänheten om förtroende: en forskare som utbildats av båda ledande amerikanska labb, och linjeledaren vid ett av dem, är nu registrerade och säger att loppet har överskridit sina säkerhetskontroller.
Tillsynsmyndigheter i Kalifornien och Bryssel granskar redan gränsöverskridande AI-praxis. Räkna med att Coxons uttalanden - och Hubingers sannolikhetsuppskattning - kommer upp i dessa debatter. Och förvänta dig att varje framtida säkerhetsincident kommer att mätas mot standarden som Coxon satte den här veckan: om insiders är så oroliga kommer allmänheten rimligen att fråga varför loppet fortfarande pågår.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
