Společnost Anthropic zlepšuje možnosti svých modelů AI zhruba dvakrát rychleji než před rokem a podle nezávislé analýzy zveřejněné ve čtvrtek neziskovou hodnotící skupinou METR se zdá, že velká část tohoto zrychlení pochází ze systémů AI, které pomáhají budovat jejich vlastní nástupce.
Zjištění, o nichž informovala agentura Associated Press, mají neobvyklou váhu, protože spočívají na tom, co METR popsal jako „bezprecedentní přístup“ k interním datům společnosti Anthropic. Výzkumníci ze skupiny se sídlem v Berkeley v Kalifornii – jejíž celé jméno je Model Evaluation and Threat Research – byli pozváni do společnosti na zhruba 11 týdnů, od poloviny srpna do konce října, kde analyzovali data z interního výzkumu a vedli rozhovory se zaměstnanci.
Pro čtenáře, kteří sledují debatu o bezpečnosti kolem hraničních laboratoří, se podívejte na naše přelomové zprávy o AI.
Základní zjištění: Pokrok se skládá
Ústředním odhadem METR je, že Anthropic zlepšuje výkon svých modelů na dobře specifikovaných úkolech zhruba dvakrát rychleji než o rok dříve. Zpráva to vyjádřila stroze: „Zdá se, že Anthropic udělal v uplynulém roce v oblasti benchmarků stejný pokrok jako mezi říjnem 2023 a říjnem 2025.“
Důslednější je to, co je podle METR hnacím motorem zrychlení. Výzkumníci uvedli, že byli schopni „s jistotou“ vyloučit růst výpočetního výkonu jako příčinu – tradičně proměnnou nejtěsněji spojenou s výkonem modelu. Jejich závěr: zlepšení je z velké části způsobeno používáním samotné AI k výzkumu AI.
Anthropic uznal, že jeho chatbot Claude stále více pomáhá společnosti vyvíjet novější, pokročilejší verze sebe sama. Zpráva METR nenašla žádná „úzká hrdla“ – jako jsou omezení na výpočetní techniku nebo data – která by tento proces brzdila, a poznamenala, že zatímco umělá inteligence zatím nepřispívá „vysoce významným a plně autonomním příspěvkem“ k nejdůležitějším částem modelového tréninku, výzkumníci společnosti Anthropic popsali významné „známky života“, což naznačuje, že se to může brzy změnit.
Zjištění přistála v debatě uprostřed zpomalení
Načasování je nepříjemné pro společnost, jejíž generální ředitel lobboval za zdrženlivost. Bylo to během období hodnocení METR, kdy generální ředitel společnosti Anthropic Dario Amodei publikoval 12. září esej, v níž naléhal na průmysl umělé inteligence, aby „zpomalil tempo, kterým zlepšujeme schopnosti modelů umělé inteligence“, aby je mohla dohnat bezpečnostní opatření.
METR také přezkoumal jak veřejnou zprávu o rizicích Antropic zveřejněnou v srpnu, tak soukromou verzi a došel k závěru, že veřejný dokument „celkově podhodnocuje úroveň zrychlení, ke kterému došlo“.
Odpověď Anthropic: Částečná dohoda, rozsáhlé redakce
Sam McCandlish, spoluzakladatel a hlavní architekt společnosti Anthropic, reagoval na zprávu ve čtvrtek v dlouhém příspěvku na X a napsal, že mnoho závěrů METR odpovídá jeho vlastnímu názoru.
„AI urychluje náš výzkum, ale je těžké přesně říci, o kolik,“ napsal a dodal, že Anthropic plánuje v nadcházejících týdnech vydat vlastní analýzu tempa pokroku AI uvnitř společnosti.
McCandlish také obhajoval rozhodnutí společnosti redigovat velké části zprávy, které omezovalo, jak přesně mohl METR sdělovat své odhady zrychlení. Řekl, že sdílení „přesně toho, co vede ke zrychlení, není správná věc“, protože tyto informace jsou jak komerčně citlivé, tak „riskující poskytování cestovní mapy pro ostatní, aby šli rychleji“ – což by podle něj zhoršilo samotná rizika, kterých se METR obává. "To je kompromis," napsal.
Důležitá upozornění
Zpráva byla, podle vlastního popisu METR, doplněna upozorněními. Skupina uvedla, že její hlavní zjištění by mohlo být nadhodnocující záležitosti: naměřené zrychlení se může vztahovat pouze na dobře specifikované úkoly, které lze automaticky hodnotit, spíše než na komplikovanější práci s otevřeným koncem, která definuje hraniční výzkum. Alternativně může společnost Anthropic jednoduše podhodnotit svou dřívější základní linii, takže nejnovější skok vypadá větší, než je.
Pozice METR stojí za zmínku také z důvodů transparentnosti: nezisková organizace je financována prostřednictvím darů, nepřijímá kompenzaci za svá hodnocení a po léta prováděla hodnocení schopností pro laboratoře Anthropic, OpenAI a další – ačkoli partnerské společnosti poskytují přístup k modelu a tokeny potřebné k provádění jejího výzkumu.
Proč na tom teď záleží
Analýza končí týdny před tím, než společnost Anthropic očekává, že vstoupí na burzu, což by mohla být největší primární veřejná nabídka v historii, s debatami o tom, zda stále schopnější modely umělé inteligence mohou uniknout lidské kontrole. Zastánci bezpečnosti dlouho tvrdili, že nezávislé ověřování – nikoli samohlášení v laboratoři – je jediným důvěryhodným měřítkem toho, jak rychle se hranice posouvá, zvláště když Trumpova administrativa povzbuzovala společnosti, aby se hlídaly.
METR upozornil na jednu poslední obavu: pokud se výzkum umělé inteligence za pomoci umělé inteligence začne přidávat, zrychlení samotné by se mohlo zrychlit, přičemž rizika pokročilých modelů rostou tempem, které pozorovatelé nemohou snadno sledovat. Zpráva skupiny naznačuje, že alespoň pro jednu přední laboratoř není smyčka zpětné vazby, jíž se pole obávalo, již hypotetická – objevuje se v datech srovnávacích testů.
Jak rychle bude následovat zbytek odvětví, je otázka, kterou nyní budou sledovat regulátoři, investoři a vlastní manažeři společnosti.
---
Stay Ahead of AIZískejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.
Přečtěte si další zprávy o AI →
