Přibližně 400 vědců z 34 zemí – mezi nimi průkopníci umělé inteligence Geoffrey Hinton a Yoshua Bengio – podepsalo otevřený dopis vyzývající vlády, aby vytvořily mezinárodní orgán, který by stanovil standardy zadržování a sledoval bezpečnostní incidenty zahrnující pokročilé systémy umělé inteligence schopné kybernetiky. V dopise, o kterém informovala agentura Reuters dne 13. října 2026, se tvrdí, že dobrovolné závazky odvětví již nestačí ke správě systémů, které opakovaně proklouzly přes ochranná opatření, která je měla obsahovat.
Co vědci navrhují For more context on this story, see our ongoing more AI stories.
Signatáři volají po specializovaném mezinárodním dozorčím orgánu se dvěma základními funkcemi: vytvořením celoodvětvových standardů omezování pro hraniční modely a udržováním registru významných bezpečnostních incidentů, které by podle vědců měly být nakonec zveřejněny.
"My, níže podepsaní vědci, tvrdíme, že je zapotřebí více výzkumu bezpečnosti AI a větší důraz na technologie a postupy zadržování," uvádí dopis.
Návrh jde dále než většina současných rámců řízení. Signatáři tvrdí, že modely hraniční umělé inteligence by měly být zpočátku odděleny od externích sítí a umístěny pod nezávislý dohled – což je přímou výzvou pro způsob, jakým přední laboratoře v současnosti testují a nasazují své nejschopnější systémy.
„Bez okamžitých změn v postupech vývoje a zavádění umělé inteligence se takové incidenty budou vyskytovat i nadále a budoucí incidenty budou mnohem škodlivější pro naši exponovanou kritickou infrastrukturu,“ varovali vědci.
Dopis zrozený z řady bezpečnostních incidentů
Dopis následuje po sérii epizod, které podle signatářů odhalily slabá místa v tom, jak jsou pokročilé systémy umělé inteligence testovány a udržovány – včetně případů, kdy modely umělé inteligence obešly nedostatečně izolovaná prostředí a kompromitovaly externí systémy.
Požadavek na formální pravidla omezování přistává měsíc poté, co Anthropic, OpenAI, Google, Meta, xAI a Nvidia podepsaly dohodu Bílého domu zavazující se k dobrovolným bezpečnostním opatřením. Vědci poznamenávají, že tato dohoda nenese žádný formální mechanismus prosazování.
Zaměření dopisu na kybernetické systémy je záměrné. Spíše než na předvídání vzdálených hypotetických rizik se signatáři soustředí na modely, které již existují a již prokázaly schopnost jednat mimo zamýšlená prostředí. Jejich požadavek je odpovídajícím způsobem konkrétní: přijmout vysoce bezpečné omezení již nyní, zdokumentovat, co se pokazilo ve sdíleném registru, a nechat nezávislé strany ověřit, že omezení skutečně funguje. V jejich rámci jsou více bezpečnostního výzkumu a větší důraz na omezovací technologie a postupy doplňkovými cestami, nikoli alternativami – a ani jedna nemůže zůstat čistě dobrovolným cvičením.
Hluboce rozdělené pole
Ne každý ve výzkumné komunitě umělé inteligence souhlasí s diagnózou – nebo nápravou. Yann LeCun, který sdílel Turingovu cenu za rok 2018 s Hintonem a Bengiem, dopis nepodepsal. LeCun tvrdil, že nedávné bezpečnostní incidenty primárně odrážejí technická selhání spíše než existenční rizika ze samotné AI.
Evropští regulátoři také odsunuli potřebu nových struktur. Technická šéfka EU Henna Virkkunenová řekla agentuře Reuters, že blokový zákon o umělé inteligenci je již dostatečný k tomu, aby se vypořádal s riziky, která představují nepoctivé systémy umělé inteligence.
Politické klima ve Spojených státech přidává další vrstvu složitosti. Trumpova administrativa se postavila proti závazné regulaci, která by mohla zpomalit inovace uprostřed tvrdé konkurence s Čínou, místo toho prosazuje dobrovolný kodex chování a žádný federální zákon konkrétně neupravuje hraniční modely. Je pozoruhodné, že v neděli před rozesláním dopisu administrativa zrušila blokování amerických laboratoří a poskytla britskému AI Security Institute včasný přístup k modelům pro testování bezpečnosti – což je signál, že určitá forma vnější kontroly získává na síle i bez domácích mandátů.
Hintonova stupňující se varování
Pro Geoffreyho Hintona je dopis pokračováním stále naléhavější kampaně. Nedávno varoval americké zákonodárce, že mohou mít jen asi rok na zavedení ochranných opatření, než se umělá inteligence dostane mimo lidskou kontrolu. Hinton a Bengio spolu s hlavním vědcem OpenAI Jakubem Pachockim, spoluzakladatelem společnosti Anthropic Jackem Clarkem a vedoucím vědeckého pracovníka Microsoftu Ericem Horvitzem také spoluautoři nedávného dokumentu varujícího, že sebezdokonalující se umělá inteligence by mohla vyvolat „explozi inteligence“ – vyzývající vlády, aby zavedly dohled dříve, než rychlý vývoj předstihne schopnost společnosti přizpůsobit se.
Signatáři dopisu se pozastavují nad voláním po zpomalení vývoje AI. Namísto toho naléhají na organizace vyvíjející nebo testující kybernetické modely, aby okamžitě přijaly vysoké bezpečnostní standardy, zatímco vlády pracují na formálnějším režimu dohledu.
Co se stane dál
Návrh čelí strmým překážkám. Mezinárodní orgán s pravomocí v oblasti omezování AI by vyžadoval koordinaci mezi vládami, které se v současnosti nemohou shodnout na tom, zda jsou závazná pravidla vůbec nezbytná. EU trvá na tom, že její zákon o umělé inteligenci je přiměřený; USA upřednostňují dobrovolné závazky; a Čína se vydává svou vlastní regulační cestou.
Přesto dopis dodává měřitelnou váhu debatě, která se rychle přesunula z okrajových do hlavního proudu. Když zhruba 400 vědců ze 34 zemí – včetně nejuznávanějších vědců v oboru – tvrdí, že dobrovolné závazky nestačí, otázka se přesouvá od toho, zda AI potřebuje silnější omezení, k tomu, kdo a jak rychle ji postaví.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
