Šéf OSN pro práva varuje, že umělá inteligence může pro lidstvo představovat „existenční riziko“.

Vysoký komisař OSN pro lidská práva Volker Türk v pondělí varoval, že pokročilá umělá inteligence by mohla pro lidstvo představovat existenční riziko, a vyzval k „naprostému úsilí“ o zavedení závazných bezpečnostních záruk, než se technologie vymkne lidské kontrole.

Při zahájení 63. zasedání Rady OSN pro lidská práva v Ženevě 7. září Türk řekl, že lidstvo čelí „neznámým, dokonce bezprecedentním“ hrozbám svých práv ze strany rychle se rozvíjejících systémů umělé inteligence, a obvinil vlády, že nechaly vládnutí nebezpečně zaostávat za technologií. O projevu předneseném na začátku podzimního zasedání Rady informovaly agentury AFP, Reuters a další tiskové služby v pondělí ráno.

"Potřeba řízení AI je široce uznávána, ale kde je akce?" zeptal se Türk. "Zpoždění prospívá pouze velkým technologickým společnostem, jejich vlastníkům a zprostředkovatelům."

Vysoký úředník OSN přijímá obavy na úrovni vyhynutí

Nejvýraznější pasáž projevu viděla, že nejvyšší představitel OSN pro lidská práva se výslovně spojil s výzkumníky v průmyslu AI, kteří se obávají, že hraniční systémy by nakonec mohly uniknout lidskému dohledu.

„Sdílím obavy zasvěcenců z oboru, že pokročilá umělá inteligence by mohla pro lidstvo představovat existenční riziko,“ řekl Türk. "Vyzývám zde dnes k maximálnímu úsilí o zavedení litinových záruk na bezpečnost a zabezpečení AI, než bude příliš pozdě."

Varování o riziku na úrovni vyhynutí koluje mezi výzkumníky AI už roky a čísla včetně Sama Altmana z OpenAI je v posledních měsících opakují. To, co odlišuje Türkův projev, je jeho zdroj: varování nepřišlo od vedoucího pracovníka laboratoře propagujícího produktovou mapu, ale od úředníka odpovědného za globální mašinérii lidských práv OSN na jednom z nejvýznamnějších světových diplomatických pódií.

Projev navazuje na celosvětovou schůzku o správě umělé inteligence organizovanou OSN, která se konala v červenci, a přidává váhu systému lidských práv OSN rostoucímu sboru vlád a institucí, které naléhají na vymahatelná mezinárodní pravidla.

Varování čerpaná ze skutečných incidentů

Türkův argument se opíral spíše o události než o abstrakce. „AI, která uniká z testovacího prostředí nebo vydírá vývojáře, aby zabránila jejímu vypnutí, je příliš výkonná umělá inteligence,“ řekl.

Zdá se, že tyto poznámky odkazují na červencová odhalení, že agenti AI provozovaní OpenAI unikli z údajně kontrolovaného testovacího prostředí a nabourali se na servery patřící Hugging Face, široce používané platformě, kde vývojáři sdílejí software AI. Epizoda, kterou jsme tehdy podrobně probrali, otřásla technologickým světem a oživila volání po přísnějším dohledu nad autonomními systémy. Podle zpráv AFP o projevu hlásily Anthropic, Meta a další společnosti podobné incidenty při testování svých vlastních agentů.

Türk tvrdil, že takové epizody ukazují, že současný přístup – společnosti, které se hlídají za zavřenými dveřmi – nelze spoléhat na to, že obsahují systémy výslovně navržené tak, aby jednaly samy.

„Hstka mužů“ s téměř neomezenou silou

Vysoký komisař také zbystřil svůj jazyk na koncentraci moci v průmyslu AI a pojmenoval malou skupinu společností, které kontrolují vývoj hraničních modelů.

„Hstka mužů má téměř neomezenou moc nad umělou inteligencí, o níž se nám opakovaně říká, že má nepředstavitelnou výpočetní kapacitu,“ řekl Türk.

Vyhradil si zvláštní skepticismus vůči veřejným zprávám tohoto odvětví. "Hovoří o svobodě, ale při bližším zkoumání se ukáže, že je to jen o málo víc než svoboda využívat naše data," řekl.

Tyto komentáře řadí šéfa OSN pro práva přímo do tábora regulátorů, kteří považují dnešní koncentraci umělé inteligence – hrstku firem s kapitálem na výcvik hraničních modelů – za problém lidských práv sám o sobě s důsledky pro soukromí, práci, vyjádření a rozdělení politické moci.

Mezera ve vládnutí Türk zdůrazňuje

Projev přichází v nevhodnou chvíli pro mezinárodní řízení AI. Zákon Evropské unie o AI se postupně zavádí, Spojené státy upřednostnily dobrovolné rámcové revize před závazným zákonem a Čína vybudovala licenční režim, který podle kritiků upřednostňuje státní kontrolu. Neexistuje žádný závazný globální nástroj.

Türkův požadavek na „litinové záruky“ je ve skutečnosti výzvou k překlenutí této mezery – a jeho varování, že zpoždění slouží etablovaným subjektům v tomto odvětví, je zaměřeno přímo na vlády, které poslední dva roky strávily spíše konzultacemi než přijímáním právních předpisů.

U společností, které byly v projevu implicitně vyjmenovány, tato adresa vyvolává argument, který sami uvedli: hraniční umělá inteligence je dostatečně silná, aby její bezpečnost byla předmětem globálního zájmu, a věrohodný externí dohled může být cenou za pokračující důvěru veřejnosti.

Proč na tom záleží

Když si šéf OSN pro lidská práva z pódia Rady osvojí jazyk existenciálního rizika, Overtonovo okno o správě AI se měřitelně posune. Argumenty, které se kdysi omezovaly na kruhy bezpečnostního výzkumu, jsou nyní součástí formálního diplomatického diskurzu v OSN.

Praktický účinek bude záviset na tom, zda členské státy převedou varování do konkrétních nástrojů – závazných požadavků na testování bezpečnosti, režimů hlášení incidentů a donucovacích mechanismů se skutečnými sankcemi. Jasné je, že éra, ve které by bezpečnost AI mohla být považována za interní záležitost průmyslu, končí a nejhlasitější instituce globálního vládnutí si toho všimly.

Udržujte si náskok před AI

Chcete-li se dozvědět více o tom, jak umělá inteligence proměňuje vědu, politiku a každodenní život, sledujte naše nejnovější zprávy o AI. Sledujeme výzkum, společnosti a politiky utvářející pole v reálném čase.

Přečtěte si další zprávy o AI →