Upravené IPO společnosti Antropic se v pondělí dostalo do titulků jeho financí – zhruba 17 miliard dolarů v příjmech za třetí čtvrtletí oproti 895,4 miliardám dolarů ve výpočtech. Ale v rizikových faktorech revidovaného S-1A je odhalení, které se může ukázat jako závažnější: společnost říká, že může být na pokraji překročení vlastního prahu pro rekurzivní sebezdokonalování, což je bod, ve kterém se systémy AI stanou schopnými urychlit svůj vlastní vývoj.

TechCrunch uvedl, že záznam podle všeho varuje, že Anthropic je na pokraji vytvoření modelu schopného rekurzivního sebezdokonalování, běžně známého jako RSI – fáze, ve které se umělá inteligence stává tak dobrou ve zlepšování AI, že se začínají dramaticky sčítat přírůstky schopností. For more context on this story, see our ongoing artificial intelligence updates.

Co vlastně podání říká

Anthropic již používá AI k urychlení vlastního výzkumu a vývoje. V pozměněném podání společnost varuje, že tato praxe omezuje oba způsoby: "Použití umělé inteligence k vytvoření schopnější umělé inteligence by také mohlo představovat značné bezpečnostní riziko, zejména pokud prudce zrychlí tempo pokroku. Toto je jedna z oblastí, na kterou se vztahuje naše politika odpovědného škálování, která stanoví naše plány na monitorování a zmírňování rizik, když přistupujeme k tomu, co se nazývá "rekurzivní" sebezdokonalování."

Nový jazyk rizikových faktorů jde dále, než Anthropic dříve uvedl ve svých veřejných podáních. Společnost prozradila, že v minulosti nedokázala rozpoznat velké skoky ve schopnostech, jak k nim došlo: „v minulosti jsme neidentifikovali a v budoucnu nemusíme identifikovat významné zrychlení našeho tempa rozvoje, dokud k němu nedošlo.“

Pak přichází prohlášení, které přitahuje pozornost průmyslu. Podle spisu: "naše interní odhady a naše očekávání ohledně budoucích modelů, spíše než naše současné modely, naznačují, že bychom mohli v blízké době splnit definici naší Zásady odpovědného škálování o 'dramaticky zrychleném pokroku, který lze přičíst AI'."

Společnost Anthropic dodává, že „neoznačila žádný z našich současných modelů jako překračující tuto hranici“ a pokračuje ve vyhodnocování podkladových dat. Jinými slovy: žádný současný model Claude nesplňuje podmínky, ale interní projekce společnosti naznačují, že jeho další generace může.

Udržování lidí ve smyčce

Kromě varování se společnost Anthropic zavazuje, že udrží lidi pod kontrolou nad vývojem modelu. "Nepředpokládáme, že budeme schopni bezpečně používat Claude k plně autonomnímu navrhování a stavbě následných generací hraničních modelů bez smysluplného lidského dohledu nebo porozumění, pokud a až to bude technicky možné," uvádí se v přihlášce. "V souladu s tím zvažujeme aktualizace naší Zásady odpovědného škálování, abychom udrželi lidi pod kontrolou nad vývojem hraničních modelů v Anthropic."

Rozsah role AI ve vlastním výzkumu Anthropic rychle roste. Business Insider uvedl, že umělá inteligence nyní vede zhruba čtvrtinu interního výzkumu a vývoje společnosti Anthropic, oproti 1 procentu v březnu – graf, který odborníci z oboru označili za jeden z nejdůležitějších v oblasti umělé inteligence.

Posun diskurzu: Od módních slov k rozvaze

Když se termín RSI stal počátkem tohoto roku populární, mnozí v oboru jej odmítli jako módní slovo – nebo v nejlepším případě jako cíl příliš špatně definovaný, než aby jej bylo možné dosáhnout, dokázat nebo regulovat. Tento skepticismus je nyní těžší udržet, když se tento koncept objevuje s přesnou interní definicí v dokumentu, který je společnost ze zákona povinna podat u SEC před prodejem akcií veřejnosti.

Antropický také není sám, kdo považuje sebezdokonalování za předpoklad krátkodobého plánování. Spoluzakladatel společnosti Google Sergey Brin popsal toto odvětví jako závodící směrem k „běžeckému pásu RSI“, ve kterém modely pomáhají budovat jejich nástupce, a bývalý spoluzakladatel OpenAI John Schulman řekl, že očekává rekurzivní sebezdokonalování během zhruba tří až čtyř let. To, co odlišuje zveřejnění Anthropic, je jeho formálnost: definovaná prahová hodnota, proces interního měření a veřejné prohlášení o tom, kdy společnost očekává, že ji překročí.

Proč je RSI Tripwire Watch Both Camps

RSI má různé významy v závislosti na tom, kdo jej popisuje. Pro výzkumníky v oblasti bezpečnosti umělé inteligence to představuje bod, odkud není návratu – scénář, ve kterém se systémy umělé inteligence zlepšují rychleji, než jsou lidé schopni pochopit, ověřit nebo zasáhnout, a potenciálně se tak vymknou lidské kontrole. Pro optimisty v oblasti umělé inteligence je cena stejná dynamika: systémy, které se samy spolehlivě zlepšují, by se spojily do mimořádné produktivity a vědeckých objevů.

Rámování Anthropic uznává obě možnosti. Zveřejnění se nachází v dokumentu, jehož primárním publikem jsou investoři, a skeptici poznamenávají, že S-1 funguje jak jako zveřejnění, tak i jako marketing – tvrzení, že společnost je blízko k vybudování sebezdokonalující se AI, lze stejně snadno číst jako argument pro její ocenění.

Pro tvrzení však existuje kotva do betonu. Claudeovy schopnosti v oblasti kódování, matematiky a kybernetické bezpečnosti do roku 2026 prudce pokročily a vlastní Zásady odpovědného škálování společnosti Anthropic definují standard „dramaticky zrychlený pokrok, který lze přičíst AI“, o kterém nyní společnost tvrdí, že by jej mohl v nejbližší době splnit.

Test pro AI Governance

Zveřejnění přistává uprostřed intenzivnějších politických debat o dohledu nad hraniční umělou inteligencí, od rámce Bílého domu pro přezkoumání hraničních modelů až po mezinárodní diskuse o správě výpočetní techniky. Pokud přední laboratoř umělé inteligence formálně označí model jako splňující vlastní práh zrychleného pokroku, vyvolalo by to povinnosti podle zásad odpovědného škálování společnosti Anthropic – a byl by to první test v reálném světě, zda takové průmyslové rámce mohou zpomalit nebo utvářet závody schopností v praxi.

Prozatím Anthropic říká, že žádný model nepřekročil hranici. Podání naznačuje, že společnost očekává, že tato hranice bude brzy překročena – a žádá investory, aby předem pochopili, co s tím plánuje udělat.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →