En våg av offentliga varningar inifrån Anthropic intensifierades den här veckan när flera forskare på AI-företaget upprepade en före detta kollegas apokalyptiska bedömning av artificiell intelligens - och drog ett hånfullt svar från Elon Musk, som föreslog att ropet var en koordinerad "psyop".
Enligt The Guardian kom eskaleringen en dag efter att antropisk forskare Jacob Coxon meddelade sin avgång i ett viralt inlägg och skrev att varken Anthropic eller OpenAI – hans tidigare arbetsgivare – byggde AI-modeller på ett ansvarsfullt sätt och "spelade med våra liv". Istället för att blekna, växte kontroversen när den nuvarande antropiska personalen publicerade sina egna hemska bedömningar till stöd. For more context on this story, see our ongoing more AI stories.
Varningarna hopar sig
Anna Wang, som arbetar med artificiell allmän intelligenssäkerhet på Anthropic och tidigare arbetat på Googles DeepMind, sa på torsdagen att många personer på företaget vill bromsa utvecklingen för att planera för riskerna med allt mer kapabla modeller.
"Det finns ännu inte en hållbar vetenskaplig plan för att lösa risker från rekursivt självförbättrande AI," skrev Wang på X.
En annan Antropisk anställd, Drake Thomas, sa att han respekterade Coxons beslut att gå bort från att bygga tekniken. "Saker och ting går alldeles för snabbt, vi har inte i närheten av den grad av säkerhet vi vill ha för ASI [artificiell superintelligens]," skrev Thomas.
Samuel Marks, som arbetar med säkerhetsforskning på företaget, hävdade att farhågorna är allmänt delade inom branschen - och att tjänstgöring korrelerar med larm. "AI-utvecklare tror att deras teknik kan orsaka mänsklig utrotning (eller liknande dåliga resultat)," skrev Marks. "Detta kan hända under de närmaste åren. Generellt gäller att ju äldre medarbetaren är, desto mer oroad är de."
Evan Hubinger, som beskriver sig själv som en ledare i Anthropics alignment division, gick längst. "Vi tror verkligen att AI kan döda alla människor!" Hubinger skrev och tillade att han personligen sätter sannolikheten över 10 procent inom det kommande decenniet.
Insider-anteckningarna följer rapportering från CBS News om att en antropisk forskare tilldelade en större än 10 procents chans till AI som orsakar mänsklig utrotning, och bevakning av The Japan Times om att varningarna har förnyat krav på nya AI-regler i USA.
Musk: "Ser ut som en installation"
Elon Musk var skarpt motståndskraftig. "Verkar som ett upplägg", skrev världens rikaste man på X, sin egen sociala plattform.
Coxon svarade med en selfie: "Jag är på riktigt och det här är mina verkliga övertygelser. Du skulle kunna fråga dina xAI-forskare om mig om du inte hade sparkat dem."
Musk och andra sympatiska röster förstärkte en teori från Parker Thayer, en forskare vid den konservativa tankesmedjan Capital Research, som föreslog – med få bevis, noterar The Guardian – att Coxons inlägg var inledningen av en "MYCKET sofistikerad och välfinansierad PR-operation för att få stöd för demokrater att reglera AI till glömska."
Miljardärens hedgefondförvaltare Bill Ackman citerade Thayers inlägg med ett ettordssvar: "Intressant."
Musk utvecklade senare. "Jag tror att grunden för denna psy-operation (i brist på en bättre term) har förberetts under lång tid", skrev han. "Det här var bara tändstickan som tände elden."
Anthropic försvarar sitt tillvägagångssätt
Infångad mellan sina egna anställdas varningar och attacker utifrån, erbjöd Anthropic en avvägd allmänhetens respons.
"Vi har alltid varit transparenta att AI kommer att ge både enorma fördelar och oöverträffade risker", sa en talesperson för företaget till The Guardian. "För att ta itu med dessa risker fortsätter vi att bygga modeller med några av de starkaste skydden i branschen."
Företaget pekade på sin erfarenhet av att dokumentera och störa missbruk. Samma dag som varningarna blev virala släppte Anthropic sin underrättelserapport om hot i september, som beskrev hur företaget demonterade en operation som försökte bygga ett biologiskt vapen med sina AI-modeller – tillsammans med störda kampanjer som spänner över cyberattacker och påverkansoperationer. Al Jazeera och BBC var bland de butiker som lyfte fram biovapenfynden på fredagen.
Skeptiker ser en annan risk
Alla accepterar inte utrotningsramen. Gary Marcus, vetenskapsmannen och mångårig AI-kritiker, hävdade att tekniken redan orsakar skada som motiverar åtgärder oavsett superintelligensscenarier - och kräver en bojkott av AI över dagens skador.
Mer än utrotning, sa Marcus till The Guardian att han var orolig över "katastroferisken" från "AI-genererade patogener, från krig som startat eller eskalerat av AI-genererad desinformation, från hacks som förstör kritisk infrastruktur, och så vidare. Ingenting jag har sett ger någon indikation på att något av det är under kontroll."
Hans position understryker en splittring inom själva AI-säkerhetsdebatten: mellan de som fokuserar på långsiktiga risker i civilisationsskala från framtida system och de som fokuserar på konkreta skador från dagens modeller.
En debatt som vägrar att förbli intern
Det som började som en forskares avskedsbrev har blivit en mycket offentlig folkomröstning om hur AI-industrin bygger sina mest kraftfulla system. Inom Anthropic diskuterar anställda öppet om deras egna tidslinjer för säker utveckling har halkat. Utanför den viks varningarna till en alltmer polariserad politisk kamp om huruvida och hur regeringar ska ingripa.
The Guardians rapportering tyder på att många antropiska medarbetare delar dessa farhågor privat men inte har talat offentligt. Om fler av dem följer Coxon, Wang, Thomas, Marks och Hubinger kommer trycket på ledande AI-labb att sakta ner – och på tillsynsmyndigheter att agera – bara växa.
_Den här artikeln är baserad på rapporter från The Guardian, med ytterligare sammanhang från CBS News, The Japan Times, Al Jazeera och BBC._
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
