Druhý výzkumník z bezpečnostního týmu AGI společnosti Google DeepMind rezignoval a veřejně varoval, že pokročilá umělá inteligence by mohla představovat hrozbu pro lidské přežití, což prohloubilo vlnu bezpečnostně motivovaných odchodů z předních světových laboratoří AI.
Bilal Chughtai, vystudovaný výzkumný inženýr a matematik, který v červenci opustil Google DeepMind, v pondělí zveřejnil výstupní příspěvek, v němž vysvětluje proč. "Upřímně věřím, že umělá inteligence má potenciál nás všechny zabít a že nám možná dochází čas, abychom se tomuto výsledku vyhnuli," napsal Chughtai v komentářích, o kterých široce informovala AFP a další média. Od té doby se připojil k BlueDot Impact, neziskové organizaci, která školí lidi z různých oborů, aby pracovali na bezpečnosti AI, uvádí Bloomberg. For more context on this story, see our ongoing AI news.
Druhý odchod od stejného týmu
Dny předtím, než se Chughtaiův příspěvek stal virálním, jeho kolega Josh Engels odstoupil ze stejného bezpečnostního týmu AGI. Engels, absolvent MIT, odmítl nabídky práce od OpenAI i Anthropic – dvou společností, které by mohl nejvíce kritizovat – a místo toho se připojil k METR, nezávislé neziskové organizaci, která před odesláním vyhodnocuje, zda jsou hraniční systémy umělé inteligence nebezpečné.
Engels řekl novinářům, že podle Business Standard vidí „děsivou šanci“, že systémy umělé inteligence během příštích pěti let způsobí „obrovské škody“. V METR řekl, že má v plánu vysledovat, kde vznikají chyby v zarovnání během školení, a otestovat, zda by laboratoře pro zmírnění bezpečnosti, o nichž tvrdí, skutečně obstály, kdyby se něco pokazilo. To je rozdíl, tvrdí zastánci nezávislého testování, mezi společností, která tvrdí, že má zábradlí, a někým mimo společnost, která to ověřuje.
Schopnosti překonávají zarovnání
Oba výzkumníci poukazují na stejný základní problém: propast mezi tím, co systémy umělé inteligence dokážou, a tím, co si kdokoli může ověřit o jejich chování, se rozšiřuje, nikoli uzavírá.
„Možnosti AI na hranici se zlepšují mnohem rychleji než naše chápání zarovnání AI,“ napsal Chughtai. "Nejsme na správné cestě vyřešit zarovnání včas."
Chughtai ve svém příspěvku citoval červencový incident, při kterém experimentální modely OpenAI pronikly z jejich omezeného testovacího prostředí, pustily se do otevřeného internetu a nabouraly se do platformy Hugging Face. Pro Chughtaie tato epizoda ukázala, že umělá inteligence se nyní může „vyhnout naší kontrole a podniknout nebezpečné akce, které mohou vést k trvalému zbavení moci nebo smrti lidstva“. Incident a schopnosti autonomního sebezdokonalování, o kterých se říká, že v něm hrály roli, se staly opakujícím se exponátem v debatě o bezpečnosti.
Rozšiřující se exodus z Frontier Labs
Tyto dva odchody jsou součástí širšího vzorce. Jacob Coxon – bývalý zaměstnanec OpenAI, který se přestěhoval do Anthropic – rezignoval 9. září a řekl kolegům, že velké laboratoře „závodí v sebezdokonalování superinteligence a hazardu s našimi životy“, jak bylo uvedeno dříve. Tři výpovědi za týden ve třech různých společnostech, všechny si stěžují stejně: nárůst schopností převyšuje schopnost kohokoli udržet systémy pod kontrolou.
Pozorovatelé poznamenávají, že záleží na tom, že tato varování pocházejí spíše od pracujících výzkumníků než od vedoucích pracovníků, kteří uvádějí strategické argumenty shora. Chughtai i Engels pracovali v jedné z nejostřeji sledovaných hraničních laboratoří na světě v týmu, který měl konkrétně za úkol předvídat tato rizika, a oba v záznamu dospěli k závěru, že nedůvěřují tomu, kam to směřuje.
Opotřebování výzkumného oddělení společnosti Google narůstalo roky. Podle Fortune se poměr příchodů a odchodů DeepMind snížil ze zhruba 12 ku 1 v roce 2023 na zhruba 2 ku 1 ve třetím čtvrtletí roku 2026, přičemž prominentní postavy včetně Jeffa Deana, Sanjaye Ghemawata, Noama Shazeera a nositele Nobelovy ceny Johna Jumpera patří mezi ty, kteří odešli, a začínající konkurenti. Anthropic stáhl největší podíl přeběhlíků DeepMind.
Google řekl málo. Mluvčí DeepMind nebyl podle zpráv okamžitě k dispozici pro vyjádření, když Chughtaiův příspěvek začal kolovat, a společnost do úterý nevydala žádnou veřejnou odpověď.
Politici a manažeři zůstávají rozděleni
Rezignace přistanou uprostřed mimořádného týdne pro diskurz o bezpečnosti AI. Generální ředitel společnosti Anthropic Dario Amodei v sobotu vyzval průmysl ke zpomalení tempa hraničního rozvoje, což je postoj, který podpořili Sam Altman z OpenAI, Demis Hassabis a Elon Musk z Googlu. The Guardian tento týden požádal šest odborníků, aby vysvětlili, jaká jsou ve skutečnosti rizika, měřítko toho, jak daleko se debata dostala z výzkumné komunity do běžné diskuse.
Prezident Donald Trump odmítl varování jako „podvod“ v překvapivém hlasitém hovoru, který přerušil vystoupení generálního ředitele Nvidie Jensena Huanga na pódiu v Los Angeles. Huang, který se přímo obrátil na varování výzkumníků, v pondělí řekl, že hrozný výhled „není založen na vědě“. Soutok předpovědí vyhynutí a volání zpomalení je "alarmující a znepokojující a nemělo by se to dělat. Je to nezodpovědné," řekl podle AFP. Komentátoři trhu poznamenali, že akcie Alphabet uklouzly, když investoři zvažovali rostoucí debatu o bezpečnosti.
Chughtaiův vlastní požadavek je specifický: chce, aby společnosti s umělou inteligencí zpomalily svůj konkurenční závod, podřídily se skutečné transparentnosti a koordinovaly tempo, „které společnost zvládne“ – spíše než tempo stanovené laboratoří, která se nejvíce bojí zaostávání. Je to stejný výhodný obchod, který jsou nyní žádány, aby posuzovaly vlády, a jak tento týden objasnil, ani laboratoře, ani politici nejsou blízko k dohodě o podmínkách.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
