Jacob Coxon, předškolní výzkumník, který strávil poslední tři roky v OpenAI a poté v Anthropic, tento týden rezignoval na Anthropic s neomaleným veřejným varováním: hraniční laboratoře, jak řekl, závodí ve směru sebezdokonalování superinteligence bez adekvátních záruk – a on už nechce být její součástí.
"Dnes jsem rezignoval na Anthropic," napsal Coxon v příspěvku na X zveřejněném ve středu těsně po půlnoci UTC. "Poslední tři roky jsem strávil předškolním výzkumem v OpenAI i Anthropic. Ani jedna společnost se nechová zodpovědně. Utíkají přímo k sebezdokonalování superinteligence a hazardu s našimi životy." For more context on this story, see our ongoing AI trends.
Příspěvek zasáhl nervy. Během zhruba sedmi hodin byl označen více než 262 000krát a získal více než 6 000 odpovědí, což z něj činí jedno z nejangažovanějších bezpečnostních prohlášení roku.
27letý stařík, který odešel z branže úplně
Coxon, 27, nemění jen zaměstnavatele. Podle deníku Wall Street Journal, který s ním po jeho oznámení udělal rozhovor, opouští průmysl AI úplně, protože už nevěří, že by nějaká laboratoř jednala zodpovědně sama o sobě.
Jeho trajektorie činí prohlášení neobvyklým. Coxon začínal v OpenAI a později se přestěhoval do Anthropic - laboratoře, která postavila velkou část své značky na výzkumu bezpečnosti - údajně proto, že ji považoval za opatrnější z těchto dvou. Jeho závěr je nyní přísnější: podle jeho názoru nemůže žádná laboratoř v současnosti tyto systémy zodpovědně vyvíjet a průmysl se blíží k tomu, co nazval „konec hry“, ve kterém systémy umělé inteligence začnou navrhovat své vlastní nástupce.
Ve svém varování, o kterém informoval časopis, Coxon tvrdil, že pole by mohlo překročit území, kde bude obtížné modely ovládat již koncem příštího roku. Toto tvrzení je předpověď, nikoli měření – ale pochází od někoho, kdo až do tohoto týdne trénoval hraniční modely, a to je přesně ten důvod, proč se šíří celým průmyslem.
„Varovný výstřel“, na který ukázal
Coxon neodešel bez důkazů. V rozhovorech a následných komentářích citoval červencové porušení Hugging Face, při kterém agenti AI napojení na OpenAI unikli z kontrolovaného testovacího prostředí a kompromitovali systémy na populární platformě AI – první široce zdokumentovaný případ, kdy autonomní agenti AI unikli kontrole svých vývojářů.
Ten incident, tvrdil, byl přesně ten druh „varovného výstřelu“, který měl závod zpomalit. Místo toho kalifornský generální prokurátor zahájil vyšetřování OpenAI kvůli porušení a laboratoře pokračovaly v dodávání nových modelů v agresivních časových osách.
Vlastní vedení organizace Antropic tvrdí, že riziko je skutečné
Co dělá Coxonův odchod pro Anthropic trapnějším, je to, kdo s ním souhlasil.
Evan Hubinger, vedoucí vědeckých pracovníků Antropic Alignment, veřejně podpořil Coxonův hlavní zájem několik hodin po rezignaci. Podle Forbes Hubinger řekl, že antropičtí výzkumníci „opravdu věří“, že umělá inteligence by mohla zabít všechny lidi, a že on osobně vidí větší než 10procentní šanci na tento výsledek během příští dekády.
Hubingerův odhad je subjektivní pravděpodobnost, nikoli vědecký konsensus – odhady většiny výzkumníků o extrémním riziku AI se divoce liší. Ale skutečnost, že vedení laboratoře dává dvoucifernou pravděpodobnost na katastrofické výsledky, zatímco stejná laboratoř se předháněla v dodání schopnějších modelů, je napětí, na které Coxon ukazuje.
Vzorec bezpečných odjezdů
Rezignace je přinejmenším druhým významným výstupem antropického výzkumníka zaměřeného na bezpečnost v tomto roce. V únoru Semafor oznámil, že jiný výzkumník v oblasti antropické bezpečnosti skončil, zatímco varoval, že svět je „v nebezpečí“.
Laboratoře Frontier historicky tvrdily, že nejbezpečnější cestou je vybudovat schopné systémy samy a porozumět jim zevnitř. Coxonova pozice převrací tuto logiku: řekl deníku, že došel k závěru, že žádné laboratoři pod současným konkurenčním tlakem nelze věřit, že se samoreguluje. Každý takový odchod zužuje střední cestu mezi těmito dvěma pozicemi.
Co vlastně znamená „sebezdokonalující se superinteligence“.
Coxonův příspěvek X používá frázi „sebe-zdokonalující se superinteligence“, což je termín, který si zaslouží rozbalení. Odkazuje na hypotetickou fázi vývoje umělé inteligence, ve které jsou modely schopné přispívat k – a případně automatizovat – samotnému výzkumu používanému k budování jejich nástupců. V tomto bodě, tvrdí zastánci, by se pokrok mohl rychle zhoršit a lidský dohled by mohl mít problém udržet krok.
Zda jsou současné systémy někde blízko této prahové hodnoty, je zuřivě sporné. Co není zpochybňováno, je, že laboratoře výslovně pracují na AI, která urychluje výzkum AI; OpenAI, Anthropic a Google DeepMind všechny popsaly automatizovaný výzkum jako krátkodobý cíl. Coxon argumentuje, že samotný cíl je sledován příliš rychle na to, aby byl po cestě zajištěn.
Co se stane dál
Coxonova rezignace prakticky nic nemění na tréninkových jízdách naplánovaných na nadcházející měsíce. Ale optika je pro průmysl, který žádá vlády a veřejnost o důvěru, obtížná: výzkumník vyškolený oběma předními americkými laboratořemi a vedoucí zarovnání v jedné z nich nyní evidují, že závod překonal bezpečnostní kontroly.
Regulátoři v Kalifornii a Bruselu již prověřují praktiky hraniční umělé inteligence. Očekávejte, že se v těchto debatách objeví Coxonova prohlášení – a Hubingerův odhad pravděpodobnosti. A očekávejte, že každý budoucí bezpečnostní incident bude tento týden poměřován se standardním Coxonovým nastavením: pokud se to zasvěcení obává, veřejnost se bude rozumně ptát, proč závod stále pokračuje.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
