Anthropics ändrade börsintroduktion skapade rubriker på måndagen för dess ekonomi - ungefär 17 miljarder dollar i intäkter för tredje kvartalet mot 895,4 miljarder dollar i beräkningsåtaganden. Men begravd i riskfaktorerna för den reviderade S-1A är ett avslöjande som kan visa sig vara mer betydelsefullt: företaget säger att det kan vara på väg att passera sin egen tröskel för rekursiv självförbättring, punkten då AI-system blir kapabla att accelerera sin egen utveckling.
TechCrunch rapporterade att anmälan verkar varna för att Anthropic är på väg att skapa en modell som kan rekursiv självförbättring, allmänt känd som RSI – det skede då AI blir så bra på att förbättra AI att kapacitetsvinsterna börjar förvärras dramatiskt. For more context on this story, see our ongoing latest AI developments.
Vad arkiveringen faktiskt säger
Anthropic använder redan AI för att påskynda sin egen forskning och utveckling. I den ändrade anmälan varnar företaget för att denna praxis går åt båda hållen: "Att använda AI för att bygga mer kapabel AI kan också utgöra en avsevärd säkerhetsrisk, särskilt om det kraftigt accelererar framstegstakten. Detta är ett av områdena som täcks av vår policy för ansvarsfull skalning, som anger våra planer för att övervaka och minska riskerna när vi närmar oss vad som har skett".
Det nya riskfaktorspråket går längre än vad Anthropic tidigare har angett i sina offentliga anmälningar. Företaget avslöjar att det tidigare har misslyckats med att känna igen stora kapacitetssprång när de hände: "vi har tidigare inte identifierat, och i framtiden kanske inte identifierat, en betydande acceleration i vår utvecklingstakt förrän efter det har inträffat."
Sedan kommer uttalandet som uppmärksammar branschen. Enligt anmälan: "våra interna uppskattningar och våra förväntningar angående framtida modeller, snarare än våra nuvarande modeller, indikerar att vi omedelbart kan uppfylla vår ansvarsfulla skalningspolicys definition av 'dramatiskt accelererade framsteg som kan tillskrivas AI'."
Anthropic tillägger att de "inte har utsett någon av våra nuvarande modeller som överskrider denna tröskel" och fortsätter att bedöma de underliggande data. Med andra ord: ingen nuvarande Claude-modell kvalificerar sig, men företagets interna prognoser tyder på att nästa generation kan göra det.
Att hålla människor i slingan
Vid sidan av varningen åtar sig Anthropic att hålla människor i kontroll över modellutvecklingen. "Vi räknar inte med att säkert kunna använda Claude för att helt självständigt designa och bygga successiva generationer av gränsmodeller utan meningsfull mänsklig övervakning eller förståelse, om och när det blir tekniskt möjligt", står det i anmälan. "Därför överväger vi uppdateringar av vår policy för ansvarsfull skalning för att hålla människor i kontroll över gränsmodellutvecklingen på Anthropic."
Omfattningen av AI:s roll i Anthropics egen forskning växer snabbt. Business Insider rapporterade att AI nu leder ungefär en fjärdedel av Anthropics interna FoU-arbete, upp från 1 procent i mars – ett diagram som branschinsiders har kallat ett av de viktigaste inom AI.
Ett diskursskifte: från buzzword till balansräkning
När termen RSI blev populär tidigare i år avfärdade många i branschen det som ett modeord – eller i bästa fall ett mål för dåligt definierat för att uppnå, bevisa eller reglera. Den skepsisen är svårare att upprätthålla nu när konceptet förekommer, med en exakt intern definition, i ett dokument som ett företag enligt lag måste lämna in till SEC innan de säljer aktier till allmänheten.
Anthropic är inte heller ensam om att behandla självförbättring som ett antagande om planering på kort sikt. Googles medgrundare Sergey Brin har beskrivit branschen som en tävling mot ett "RSI-löpband" där modellerna hjälper till att bygga sina efterföljare, och tidigare OpenAI-grundare John Schulman har sagt att han förväntar sig rekursiv självförbättring inom ungefär tre till fyra år. Det som utmärker Anthropics avslöjande är dess formalitet: en definierad tröskel, en intern mätprocess och ett offentligt uttalande om när företaget förväntar sig att passera det.
Varför RSI är Tripwire Both Camps Watch
RSI har olika betydelser beroende på vem som beskriver det. För AI-säkerhetsforskare representerar det point of no return – scenariot där AI-system förbättrar sig själva snabbare än vad människor kan förstå, validera eller ingripa, vilket potentiellt glider bortom mänsklig kontroll. För AI-optimister är samma dynamik priset: system som på ett tillförlitligt sätt förbättrar sig själva skulle förenas till extraordinär produktivitet och vetenskaplig upptäckt.
Anthropics inramning erkänner båda möjligheterna. Avslöjandet sitter i ett dokument vars primära målgrupp är investerare, och skeptiker noterar att en S-1 fungerar som både avslöjande och marknadsföring - ett påstående om att företaget är nära att bygga en självförbättrande AI kan lika gärna läsas som ett argument för dess värdering.
Det finns dock ett konkret ankare för påståendet. Claudes förmågor inom kodning, matematik och cybersäkerhet har avancerat kraftigt fram till 2026, och Anthropics egen ansvarsfulla skalningspolicy definierar den "dramatiskt accelererade framsteg som kan tillskrivas AI"-standarden som företaget nu säger att den snart kan uppfylla.
Ett test för AI-styrning
Avslöjandet landar mitt i intensifierade politiska debatter om gränsöversyn av AI, från Vita husets ramverk för granskning av gränsmodeller till internationella diskussioner om datorstyrning. Om ett ledande AI-labb formellt utser en modell som uppfyller sin egen tröskel för accelererad framsteg, skulle det utlösa skyldigheter enligt Anthropics ansvarsfulla skalningspolicy – och skulle vara det första testet i verkligheten av huruvida sådana industriramar kan bromsa eller forma kapacitetsracing i praktiken.
För tillfället säger Anthropic att ingen modell har passerat gränsen. Anmälan antyder att företaget förväntar sig att den gränsen kommer att passeras snart - och ber investerare att i förväg förstå vad de planerar att göra åt det.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
