„Pokud to myslíš vážně, otevři váhy“: Virový otevřený dopis zpochybňuje zpomalení AI Daria Amodeie

Několik hodin poté, co generální ředitel společnosti Anthropic Dario Amodei publikoval svou esej „We Must Pace the Frontier“, v níž vyzýval vlády, aby zpomalily závody v oblasti umělé inteligence, začala na Hacker News stoupat ostrá reakce, která se nakonec stala jedním z nejhlasovanějších příběhů dne. Jeho argument, uvedený v otevřeném dopise spisovatele a vývojáře Jacoba Golda, je odzbrojující jednoduchý: pokud to Amodei myslí se zpomalením umělé inteligence upřímně, existuje jeden zákon, který by mohl požadovat a který by to skutečně dokázal – a žádný jiný vedoucí laboratoře by to nemohl navrhnout. Vyžadovat, aby každý model umělé inteligence, který společnost nabízí veřejnosti, byl uvolněn jako otevřené váhy.

"Věřím, že to myslíš upřímně," otevírá se dopis a oslovuje přímo Amodei, "takže tě žádám, abys požadoval jiný zákon, takový, který by věci ve skutečnosti zpomalil, i když by to z tvé strany vyžadovalo skutečnou oběť." Dopis zasáhl nervy právě proto, že se zabývá nejsilnější verzí Amodeiova argumentu, spíše než aby jej zavrhl – a protože se dostal do středu dnešní nejzásadnější politické debaty o AI, debaty, kterou denně sledujeme v našem pokrytí zásad AI.

Co navrhl Amodei a proč Gold říká, že to nebude fungovat

Esej společnosti Amodei zavázala společnost Anthropic k integrovaným hodnotitelům třetích stran a požádala vlády, aby požadovaly, aby všechny ostatní příhraniční společnosti tento závazek dodržely. Sam Altman souhlasil během několika hodin – „Souhlasím s Dariem, že musíme pokročit na hranici,“ řekl podle Politico, přičemž OpenAI také splnila závazek hodnotitele. Na první pohled jde o bezprecedentní shodu: vedoucí dvou nejcennějších laboratoří umělé inteligence na světě veřejně žádají o zpomalení.

Goldův dopis tvrdí, že právě tento konsenzus by měl v pozorovatelích vzbudit podezření. „Každé nařízení, o které jste požádali, končí zajetím,“ varuje. Zabudovaní hodnotitelé, výpočetní prahy, koordinace průmyslu s antimonopolními výjimkami – „Všechno se to píše s pomocí současných hraničních laboratoří, protože nikdo jiný nerozumí technickým detailům natolik, aby to napsal.“ Jakmile se taková pravidla stanou zákonem, každý incident přidá pravidlo a žádný nebude nikdy odstraněn a obři si mohou dovolit týmy pro dodržování předpisů, které udržují menší vyzyvatele mimo. "Místo toho, aby tě zpomalil," říká dopis Amodei, "chrání tvou pozici a zisky."

Protinávrh otevřených vah

Alternativní zlaté skici jsou záměrně tupé. Jakýkoli model umělé inteligence, který společnost nabízí veřejnosti, by musel být odeslán se zveřejněnými hmotnostmi. Interní a výzkumné modely by zůstaly nedotčeny a vlády by si zachovaly přístup k dosud nevydaným systémům – ale Anthropic by musel zveřejnit váhy svého dalšího hraničního modelu v den jeho vydání a OpenAI by musela udělat totéž. "Není v tom nic, co by se dalo hrát nebo uhýbat," uzavírá dopis, "ani pro vás."

Mechanismus je spíše finanční než byrokratický. Jak vysvětluje Gold, financování vývoje hraničního modelu závisí na oceněních, která předpokládají, že váhy zůstávají majetkem. Mandát tento předpoklad obrací: pokud je každé veřejné vydání otevřené, konkurenční výhoda plyne tomu, kdo trénuje nejlepší model, spíše než tomu, kdo k němu prodává přístup, prémie vložená do soukromých ocenění se sníží a peníze dostupné na další školení se scvrknou – „v každé laboratoři najednou, aniž by o čemkoli rozhodoval regulátor“. Je to ve skutečnosti argument, že očekávání trhu od uzavřených modelů je motorem závodu a že odstranění tohoto očekávání motor odstraní.

Proč konkrétně Amodei

Důvod dopisu, proč je Amodei jedinou osobou, která by mohl učinit tento návrh, je postaven na jeho záznamu a je zvláště uctivý. Gold mu připisuje zásluhy za to, že na konci roku 2020 opustil OpenAI a založil společnost Anthropic, „když bylo bezpečné kariérní stěhování zůstat“, za to, že léta obhajoval regulaci svého vlastního odvětví a prosazoval kontroly exportu, které zmenšují jeho vlastní trh. Poznamenává, že společnost Anthropic se strukturovala jako veřejně prospěšná společnost s právním posláním – „odpovědný vývoj a údržba pokročilé umělé inteligence pro dlouhodobý prospěch lidstva“ – která by jejímu vedení umožnila absorbovat finanční zásah, který by takový zákon přinesl. Gold poznamenává, že Amodeiova vlastní esej říká, že Anthropic obhajuje regulaci, "i když nás to obviňuje z humbuku, 'doomerismu' nebo regulačního zachycení."

Skeptici si všimnou zřejmých protiargumentů a dopis na ně plně neodpovídá: otevřené váhy usnadňují zneužití a ztěžují postup, mandát otevřených vah by čelil divokému odporu ze strany investorů každé laboratoře a kritici dřívějších postojů Amodei k čínským otevřeným modelům uslyší v návrhu ozvěnu starých bojů. Ale hlavní výzva dopisu nezávisí na přijaté politice. Závisí to na napětí, které explicitně pojmenovává: laboratoř, která žádá vlády, aby zpomalily všechny ostatní, zatímco její vlastní ocenění závisí na udržení náskoku, ještě nepožádala o nic, co by ji něco stálo.

Debata, která je nyní nevyhnutelná

To, zda Amodei odpoví, je téměř zbytečné. Během jediného dne se hraniční laboratoře posunuly od soutěžení o schopnosti ke shodě o potřebě tempa a reakce veřejnosti se posunula od otázky, zda je AI nebezpečná, k otázce, zda lze lidem, kteří na ni upozorňují, věřit. Goldův dopis – několik stovek podrobností o politice zabalených kolem jedné nepříjemné otázky – se stal nejostřejším vyjádřením tohoto skepticismu a jeho viralita naznačuje, že debata o tempu bude vedena nejen ve Washingtonu, ale i na veřejnosti, na platformách, jako je Hacker News, kde komunita otevřených vah vyrábí variace tohoto argumentu už léta.

Stay Ahead of AI

Regulace, otevřené váhy a boj o tempo AI – pokryto bez humbuku.

Přečtěte si další zprávy o AI →