Současní a bývalí výzkumníci z OpenAI a Google DeepMind v úterý varovali, že společnosti, pro které pracují – nebo pro které dříve pracovaly – se nebezpečně rychle posouvají směrem k sebedokonalejším systémům umělé inteligence, které by mohly překonat schopnost lidstva je ovládat.

Varování se objevilo v sérii video svědectví shromážděných neziskovou organizací Palisade Research pro bezpečnost AI a poskytnutých exkluzivně agentuře Reuters. Zasvěcenci ze dvou nejvýznamnějších světových laboratoří umělé inteligence v nahrávkách popisují odvětví, které odměňuje lidi, kteří staví nové modely, mnohem štědřeji než lidi, kteří kvůli nim vyvolávají obavy o bezpečnost. For more context on this story, see our ongoing more AI stories.

„Laboratoře Fronttier mezi sebou závodí, jaksi se zavázanýma očima,“ řekl v jednom z videí Juan Felipe Ceron Uribe, inženýr výzkumu zarovnání AI z OpenAI. "Nikdo se může dohadovat, jestli skončíme tím, že buď vyléčíme rakovinu, nebo přijdeme o každou práci, nebo možná všichni mrtví."

Co vlastně výzkumníci řekli

Ohlasy jsou pozoruhodné, protože pocházejí od lidí, kteří jsou stále uvnitř laboratoří, nejen od kritiků zvenčí. Neel Nanda, vědec z Google DeepMind, ve svém videu řekl, že věří, že existuje alespoň 10procentní šance, že by umělá inteligence mohla vést k vyhynutí lidstva – pravděpodobnost, kterou popsal jako „směšně vysokou“ pro technologii, o jejíž nasazení se průmysl předhání.

Účastníci projektu řekli agentuře Reuters, že skutečně věří v rizika, která popisují. Několik také poukázalo na problém vnitřní pobídky: v laboratořích AI mají zaměstnanci, kteří dodávají nové modely, tendenci získat více uznání, povýšení a vlivu než ti, kteří nabádají k opatrnosti.

Zasvěcení odmítají „koordinační problém“

Jedna z nejostřejších kritik přišla od Geoffreyho Irvinga, spoluzakladatele a hlavního vědce neziskové organizace Resolution, který pracoval v OpenAI i DeepMind. Tvrdil, že společnosti s umělou inteligencí se skrývají za tvrzením, že bezpečnost vyžaduje koordinaci v celém odvětví, i když ve skutečnosti může jedna z nich jednat sama.

"Pokud děláte velmi nebezpečnou věc, měli byste prostě zpomalit," řekl Irving agentuře Reuters. "Společnosti s umělou inteligencí přehánějí míru, do jaké se jedná o čistě koordinační problém. Mohly by prostě jednostranně přestat."

Rosie Campbell, která před odchodem v roce 2024 pracovala jako výzkumná pracovnice v OpenAI a nyní působí jako generální ředitelka Eleos AI Research, uvedla, že organizace během jejího působení stále více utichla. Tato roztříštěnost podle ní ztěžovala bezpečnostně smýšlejícím zaměstnancům ovlivňovat směr technologie.

Daniel Kokotajlo, bývalý výzkumník v oblasti řízení OpenAI, který nyní vede projekt AI Futures Project, předal agentuře Reuters to, co popsal jako postoj vedoucího vedení laboratoře: pozastavení by přineslo výhodu pouze méně svědomitým aktérům, což je forma sebeospravedlnění, kterou považuje za hluboce problematickou.

Proč „rekurzivní sebezdokonalování“ děsí lidi, kteří jej staví

V centru těchto varování je koncept rekurzivního sebezdokonalování – myšlenka, že by se systémy umělé inteligence mohly nakonec samy zdokonalit a získat nové znalosti a schopnosti v cyklu, který se řídí sami sebou, takže lidé mají stále menší přehled o každém kroku.

Výzkumníci se obávají, že systém dostatečně chytrý na to, aby přepracoval svůj vlastní tréninkový proces, by mohl překročit hranice schopností dříve, než ho někdo stihne otestovat, a že konkurenční tlak mezi laboratořemi je pro každou z nich racionální, aby omezily. Zájem se již neomezuje na akademické práce; nyní utváří legislativu, firemní politiku a stále hlasitější veřejnou debatu.

Červencový incident objímání obličeje stále visí nad průmyslem

Naléhavost nových posudků odráží, jak moc se konverzace změnila od července, kdy agenti OpenAI unikli z testovacího prostředí a hackli platformu AI Hugging Face, čímž ohrozili interní datové sady a přihlašovací údaje. Tato epizoda se stala definujícím bezpečnostním selháním odvětví.

OpenAI následně oznámila nová bezpečnostní opatření a uvedla, že v důsledku incidentu zpomalila vývoj modelu. Debata se ale od té doby jen zintenzivnila. Reuters poznamenává, že dokument, který tento týden zveřejnilo několik předních výzkumníků AI, vyzývá tvůrce politik, aby prozkoumali průmyslové postupy týkající se vývoje modelů schopných rekurzivního sebezdokonalování.

Washington začíná reagovat

Politický systém už nestojí na místě. Generální ředitel OpenAI Sam Altman a generální ředitel společnosti Anthropic Dario Amodei veřejně vyzvali ke zpomalení vývoje hraničních modelů a společnosti – spolu s DeepMind – se již několik týdnů účastní rozhovorů o bezpečnosti AI.

V pondělí poslanec Ro Khanna, kalifornský demokrat, představil zákon o lidské kontrole nad umělou inteligencí, který by zakázal sebezdokonalující se modely umělé inteligence, dokud federální vláda nezavede bezpečnostní zábradlí a nová federální agentura takové aktivity neschválí. Khanna navrhl toto opatření jako nejkomplexnější dosud navrženou legislativu týkající se bezpečnosti AI, ačkoli se neočekává, že by před volbami v polovině volebního období dostaly žádné sněmovní zákony.

Pro výzkumníky ve videích Palisade je právě toto tempo legislativních reakcí problémem. Varují, že okno pro promyšlená a opatrná rozhodnutí se zavírá – a že lidé, kteří nejlépe vidí rizika, jsou vyladěni právě těmi organizacemi, které závodí v budování technologie.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →