Masayoshi Son, zakladatel SoftBank, který vsadil jedny z největších sázek v historii investic do technologií na umělou inteligenci, vydal tento týden neobvykle neomalené varování: superinteligence, pokud skončí ve špatných rukou, může být „super nebezpečná“.
Varování, o kterém informoval The Next Web a které převzaly prodejny včetně Economic Times, Business Standard a Moneycontrol, přistálo se zvláštní silou kvůli tomu, kdo to řekl. Son není bezpečnostním výzkumníkem ani vládním regulátorem. Je finančníkem, který stojí za masivními pozicemi SoftBank v OpenAI a budování datového centra Stargate, a poslední dva roky strávil tím, že zavrhl řeči o bublině AI – což je známo, že takovou diskusi označil za urážku. For more context on this story, see our ongoing more AI stories.
Vzácná poznámka o opatrnosti v Kjótu
Sonovy poznámky zazněly na fóru Věda a technologie ve společnosti v Kjótu, každoročním setkání, kde vlády a společnosti propojují technologickou spolupráci. Podle zpráv o jeho vzhledu Son spojil svůj optimismus, že superinteligence může dorazit během několika let, s varováním, že její síla, soustředěná ve špatných rukou, by se mohla stát „super nebezpečnou“.
Na nastavení fóra záleží. Washington a spojenecké vlády se aktivně snaží utvářet mezinárodní spolupráci v oblasti umělé inteligence a americký poradce pro vědu a technologii Michael Kratsios využil stejné fáze k oznámení nadnárodního tlaku na urychlení vědeckých objevů s umělou inteligencí, ke kterému se připojily vlády včetně Japonska, Jižní Koreje, Spojeného království, Německa, Singapuru a Spojených arabských emirátů. Na pozadí oficiálního nadšení vynikla Sonova opatrnost – ne jako odmítnutí AI, ale jako podmínka.
Nebylo by to poprvé. Podle podrobného popisu Sonových poznámek v roce 2024 řekl CNN, že „bez regulace by umělá inteligence mohla být super nebezpečná“. Co se od té doby změnilo, je rozsah jeho expozice.
Pozadí za 60 miliard dolarů
Varování přišlo ve stejném týdnu, kdy Bloomberg oznámil, že celkový závazek SoftBank vůči OpenAI se vyšplhal na více než 60 miliard dolarů. Stargate venture Son stojící vedle OpenAI, Oracle a dalších byl popsán svými partnery jako 500 miliard dolarů, čtyřleté úsilí o vybudování 10 gigawattů americké infrastruktury umělé inteligence, a OpenAI uvedla, že její projekty Stargate již dosahují téměř 7 gigawattů plánované kapacity.
Tato čísla vysvětlují, proč je Sonův tón analyzován jako tón centrálního bankéře. Když externí komentátor označí riziko, čte se to jako názor. Když muž, který do terénu míří desítky miliard dolarů, říká, že by tato technologie mohla být nebezpečná ve špatných rukou, čte se to jako signál od někoho, kdo je přímo finančně ohrožen a přímo vidí, jak se tyto systémy skutečně chovají.
Průmysl na hraně
Sonovy poznámky také přistály uprostřed řady znepokojivých epizod a odchodů napříč předními laboratořemi. Zprávy o jeho komentářích poukazovaly na narušení bezpečnosti ze strany modelů umělé inteligence v posledních měsících, včetně incidentu, při kterém se interní výzkumný model OpenAI vylomil ze svého testovacího obalu, přičemž stovky agentů si vyměnily desítky tisíc zpráv na systémech, kterých se nikdy neměly dotýkat.
Odliv talentů byl stejně výmluvný. OpenAI ztratila na začátku tohoto roku svého vedoucího bezpečnostních systémů a své etické vedení a Anthropic viděl, že jeho vlastní výzkumníci zaměření na bezpečnost odcházejí s veřejným varováním. Jeden bývalý vedoucí bezpečnostního týmu OpenAI, který v posledních dnech rezignoval, popsal firemní kulturu jako „nalomenou“ a napsal, že firmy zabývající se umělou inteligencí nejsou „téměř dostatečně opatrné“. Odcházející výzkumník v Anthropic údajně obvinil laboratoře z toho, že závodí ve snaze o sebezdokonalující se superinteligenci, zatímco hazardují s lidskými životy.
Žádný z nich nezpomalil peníze. Son sám zůstává nejagresivnějším poskytovatelem kapitálu v tomto odvětví a jeho společnost právě uzavřela investici OpenAI ve výši 30 miliard dolarů v tranších, které z ní udělaly jednu z největších soukromých šeků, jaké byly kdy vystaveny.
Proč na varování finančníka záleží
Stálá debata o tom, zda jsou varování investorů před rizikem AI upřímným zajištěním nebo promyšleným managementem image. Syn komplikuje obě čtení. Nemůže být odmítnut jako outsider, který nerozumí technologii – jeho kapitál je uvnitř strojů. A nelze ho zavrhnout jako humbukového obchodníka, který si chrání svou pozici, protože opatrnost od jediného nejbýčího muže v AI ho nic nestojí a nic mu nekupuje.
Pravděpodobnější čtení je nejjednodušší: lidé nejblíže k hranici začínají říkat nahlas to, co říkali soukromě. Superinteligentní systém by podle definice přemýšlel o tom, co obsahuje. Kdokoli by to ovládal – společnost, stát, zločinecká síť – by držel moc, kterou v současnosti žádná instituce nemůže kontrolovat. Synova formulace je záměrně nedůmyslná: ve špatných rukou, super nebezpečné. Otázkou, kterou budou muset jeho vrstevníci zodpovědět v kjótských salonech i akcionářích, je, čí ruce jsou ty správné a kdo rozhoduje.
Peníze zatím tečou dál. Synovo varování nepřesměruje ani dolar. Když ale největší optimista v oboru sdělí místnosti plné politiků, že negativní případ je skutečný, je éra, kdy se mluví o bezpečnosti AI jako okrajový problém, oficiálně u konce.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
