Král Karel III vydal ve čtvrtek důrazné varování před „existenciálním nebezpečím“ umělé inteligence, když oslovil vedoucí pracovníky společností Nvidia, Google DeepMind a OpenAI, kteří se sešli v jeho sídle Dumfries House ve Skotsku na summitu na vysoké úrovni o budoucnosti této technologie.

Panovník řekl shromážděným vůdcům odvětví, že je naléhavě nutné čelit rizikům, která představují stále výkonnější systémy umělé inteligence, zejména pokud technologie skončí pod kontrolou zlomyslných aktérů. For more context on this story, see our ongoing AI industry coverage.

"Zdá se, že je naléhavé přiměřeně zvážit existenciální nebezpečí plynoucí z toho, že se takové technologie dostanou do nesprávných rukou a budou používány potenciálně katastrofálními způsoby," řekl král vůdcům shromážděným na sídlišti Ayrshire podle zpráv ABC News a mnoha dalších médií.

Dvojí poselství: Slib a nebezpečí

Králova adresa nebyla plošným odmítnutím technologie. Uznal, že umělá inteligence v sobě skrývá obrovský potenciál pro dobro, poukázal zejména na vědy o živé přírodě a medicínu, kde se nástroje umělé inteligence stále více používají k urychlení výzkumu a zlepšení výsledků pacientů.

Tento optimismus ale spojil s opatrností, že samotní tvůrci technologie stále častěji varují, že pokročilé systémy mohou vyvinout temnější kapacity, „možná dokonce i život,“ řekl podle zprávy televizní stanice o svých poznámkách.

King také vyzval k zavedení ochranných opatření, než bude příliš pozdě na řízení trajektorie technologie, a upozornil na dopad vývoje umělé inteligence na životní prostředí, což je téma, které přitahuje stále větší pozornost, protože výstavba datových center zatěžuje rozvodné sítě v mnoha zemích.

Kdo se zúčastnil skotského summitu

Seznam hostů se choval jako průřez nejmocnějšími postavami odvětví AI. Podle ABC News mezi účastníky patřil zakladatel a výkonný ředitel Nvidie Jensen Huang, zakladatel Google DeepMind Demis Hassabis a finanční ředitelka OpenAI Sarah Friar. Přítomna byla i britská ministryně pro umělou inteligenci Kanishka Narayan.

Podle obrázků a titulků distribuovaných agenturou Reuters byl Huang pozván, aby se setkal s králem, aby prodiskutoval bezpečnostní mechanismy v tomto odvětví. Diskuse se měl zúčastnit také otec Paolo Benanti, papežský poradce, který vyzval vlády, aby zpomalily vývoj umělé inteligence.

Důležitý je výběr místa a pořadatele. Britská monarchie nedisponuje žádnou regulační pravomocí, ale král má za sebou dlouhou historii veřejného zapojení do nově vznikajících technologických rizik a summit poskytl nejvyšším představitelům odvětví společný stůl v okamžiku, kdy na obou stranách Atlantiku sílí požadavky na dohled.

Znovu oživená debata

Shromáždění přichází v době obnovení veřejné debaty o riziku AI. Diskuse se vrátila do centra pozornosti poté, co dva výzkumníci z Antropie varovali, že rychle se rozvíjející technologie by mohla v nepříliš vzdálené budoucnosti vést k vyhynutí lidstva, což byly komentáře, které vyvolaly rozsáhlé pokrytí i kritiku stejnou měrou.

Generální ředitel společnosti Anthropic Dario Amodei samostatně vyzval společnosti, aby zpomalily tempo vývoje AI. Papež Leo XIV. vyzval vlády po celém světě, aby zpomalily vývoj systémů umělé inteligence a zmírnily jejich rušivé účinky, zatímco americký prezident Donald Trump také zasáhl do debaty, čímž se otázka řízení umělé inteligence stala spíše globálním politickým než čistě technickým problémem.

V této souvislosti narůstají obavy, že úsilí o bezpečnost AI zaostává za vývojem stále schopnějších systémů. V posledních týdnech se debata soustředila na to, zda se průmysl může a měl by sám regulovat, přičemž skeptici se ptají, zda manažeři, kteří volají po opatrnosti, mohou mít postranní motivy, jako je utváření pravidel, která zachovávají konkurenční náskok konkrétních společností.

Nejsou očekávána žádná závazná pravidla

Organizátoři nikdy nerámovali skotské setkání jako vyjednávání. Podle ABC News se neočekává, že schůzka přinese žádné závazné dohody. Jeho účel, alespoň nominálně, je průzkumný: zda sdílený soubor principů může vést k tomu, jak je umělá inteligence aplikována napříč hranicemi a odvětvími.

Buckinghamský palác uvedl, že diskuse zváží, zda by umělá inteligence mohla být vedena „nejen jako hnací síla schopností a efektivity, ale jako nástroj, který podporuje lidskou důstojnost a přispívá k rozkvětu lidí i planety“.

Toto rámování odráží téma, ke kterému se král opakovaně vracel: že otázkou není pouze to, zda lze AI zajistit, ale také k čemu by měla být. Čtvrteční poznámky tento bod vyostřily na varování o vlastnictví a kontrole, což je výrazně odlišný důraz od obav zaměřených na schopnosti, které dominují většině diskusí o rizicích AI.

Co se stane dál

Je nepravděpodobné, že by summit vytvořil politiku sám o sobě, ale dodává impuls řadě oficiálních snah, které již probíhají. Spojené království se od svých dřívějších summitů o AI postavilo do pozice svolavatele bezpečnosti AI a přítomnost oddaného ministra pro umělou inteligenci signalizuje, že vláda hodlá zůstat v kontaktu s americkými i čínskými vývojáři AI.

Pro společnosti v místnosti je kalkul choulostivý. Nvidia, DeepMind a OpenAI čelí komerčnímu tlaku, aby dodávaly stále schopnější systémy, i když jejich vlastní výzkumníci publikují varování o tom, co by tyto systémy mohly nakonec udělat. Královské předvolání toto napětí nevyřeší, ale zajistí, že napětí zůstane viditelné.

Základní poselství krále, že ochranná opatření musí dorazit dříve, než technologie unikne možnosti kohokoli ji řídit, přistane za týden, kdy byla diskuse o bezpečnosti v tomto odvětví neobvykle hlasitá, od odhalení mnoha bezpečnostních incidentů zahrnujících vlastní modely OpenAI až po eskalující veřejný spor mezi vedením AI společnosti Microsoft a Anthropic o tom, jak by měly být systémy AI navrženy.

Zda se čtvrteční shromáždění promítne do něčeho konkrétnějšího, se teprve uvidí. Ale vzhledem k tomu, že vůdci nejcennějšího výrobce čipů na světě a nejprominentnějších laboratoří umělé inteligence sedí ve skotském venkovském domě a shodují se minimálně na tom, že sázka je existenční, rozhovor o tom, kdo ovládá umělou inteligenci a v čí prospěch, se rozhodně otevřel.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →