Republikán Ro Khanna, demokrat ze Silicon Valley, zavede legislativu, která by zakázala modely umělé inteligence schopné se rekurzivně vylepšovat, dokud federální vláda nevybuduje regulační systém schopný na ně dohlížet – nejrozsáhlejší návrh na bezpečnost umělé inteligence, který dosud v Kongresu přistál.

Návrh zákona, nazvaný Human Control Over AI Act, byl před jeho zavedením sdílen výhradně s CNBC v souhrnné podobě. Přichází uprostřed eskalujících bezpečnostních obav, které již přiměly generální ředitele OpenAI a Anthropic, aby vyzvali ke zpomalení vývoje hraničních modelů. For more context on this story, see our ongoing AI industry coverage.

"Ve skutečnosti existuje riziko civilizačního vyhynutí," řekl Khanna v pondělí v rozhovoru pro CNBC. "Existuje bezpečnostní riziko ztráty kontroly a pak riziko zneužití a oba musíme brát vážně."

Co by zákon zakázal

V jádru by zákon o lidské kontrole nad umělou inteligencí zakazoval modely umělé inteligence, které se rekurzivně samy zlepšují nebo autonomně upravují své vlastní hlavní cíle, mechanismy omezení nebo kontroly vypnutí – pokud neexistují federální zábrany a nová vládní agentura tyto činnosti neschválí.

V praxi se to zaměřuje na schopnost, které se výzkumníci v oblasti bezpečnosti nejvíce obávají: systémy, které se dokážou přepracovat v cyklu, který se řídí samy, takže lidé mají na každém kroku menší dohled. Zákaz by zůstal v platnosti, dokud regulační orgány nebudou vybaveny k vyhodnocení rizik.

Nová federální agentura pro hraniční umělou inteligenci

Návrh zákona by vytvořil specializovanou federální agenturu zaměřenou na nejvýkonnější modely umělé inteligence – ty vyvinuté společnostmi OpenAI, Anthropic, Google DeepMind a xAI – protože tyto společnosti se nacházejí pod intenzivnějším dohledem.

Podle shrnutí sdíleného s CNBC by agentura byla zodpovědná za:

  • Psaní bezpečnostních předpisů pro hraniční systémy AI
  • Provozování licenčního systému pro schválení modelového školení a nasazení
  • Provádění auditů hraničních modelů AI
  • Stanovení bezpečnostních standardů pro nepřetržité testování a účinnou lidskou kontrolu

V každé hraniční laboratoři by byli začleněni nezávislí auditoři a podávali by zprávy přímo agentuře – strukturální kontrola navržená tak, aby zajistila, že laboratoře nemohou jednoduše označit své vlastní domácí úkoly. Agentura by také stanovila standardy pokrývající testovací prostředí sandbox, vzduchové mezery, které izolují testovací systémy od internetu, přepínače zabíjení a ovládací prvky, které brání modelům uniknout z laboratorního nastavení a potulovat se po otevřeném internetu.

Legislativa by zejména rozšířila federální dohled na pokročilé čipy, které používají hraniční laboratoře, včetně mechanismů pro sledování nebo kontrolu toho, jak jsou tyto procesory nasazeny.

Trestní sankce a povinné pojištění

Návrh zákona jde dále než jakýkoli předchozí návrh o sankcích. Kriminalizovalo by to, co definuje jako „zločiny proti lidskosti“ za nasazení modelů umělé inteligence, které vedou ke zničení civilního obyvatelstva.

Zaměstnanci společností s umělou inteligencí by čelili trestním postihům za deaktivaci ochranných prvků, zabití přepínačů, logovacích nebo zadržovacích systémů – nebo za vědomé nasazení neautorizovaného systému. AI společnosti by také musely mít rozsáhlé pojištění odpovědnosti před uvedením svých modelů na trh, čímž by se finanční riziko neúspěchu přesunulo na průmysl spíše než na veřejnost.

Na geopolitické frontě návrh zákona vyzývá administrativu, aby prosazovala vymahatelné dohody a cílené kontroly vývozu, které mají Čínu a další protivníky odradit od vývoje nebezpečných systémů umělé inteligence.

Vytvořeno s bezpečnostní komunitou, nikoli s laboratořemi

Khanna se jasně vyjádřil k tomu, čí vstup utvářel návrh zákona. Spíše než vyjednávání s vedením společností, které bude regulovat, řekl, že legislativa byla vytvořena na základě rozhovorů s organizacemi pro bezpečnost AI, včetně nezávislých neziskových organizací Model Evaluation and Threat Research, Machine Intelligence Research Institute a Palisade Research.

"Chci, aby to byl model, který dá hlas bezpečnostní komunitě AI," řekl Khanna CNBC. "Věřím, že byly nespravedlivě odmítnuty jako sci-fi a nebyly brány dostatečně vážně. Je třeba, aby tuto debatu řídili oni, bezpečnostní komunita AI, ne vedoucí pracovníci hraničních laboratoří."

Khanna označil toto opatření za dosud nejkomplexnější legislativu v oblasti bezpečnosti AI.

Dlouhé kurzy v rozděleném kongresu

Zákon Human Control Over AI Act se připojuje k přeplněnému poli bezpečnostních návrhů AI na Capitol Hill. Mezi nimi je dvoustranný zákon FRONTIER Act od Reps. Jay Obernolte, kalifornského republikána, a Lori Trahan, demokratky z Massachusetts, který by umístil nezávislé auditory do hraničních laboratoří a dal vládní pravomoci zavřít modely, u nichž se předpokládá, že představují katastrofické riziko. Samostatný Sanders-Casarův návrh na zákaz umělé superinteligence získal veřejnou podporu od deseti sněmovních demokratů, včetně samotného Khanny.

Politická realita je však střízlivá. Očekává se, že o žádných sněmovních zákonech bude hlasováno až po volbách v polovině období, a očekává se, že Senát opustí Washington a vrátí se až poté, co voliči přijdou k volbám.

Tato časová osa znamená, že zákon o lidské kontrole nad umělou inteligencí bude fungovat, alespoň prozatím, jako ukazatel: podrobný plán toho, co by komunita pro bezpečnost umělé inteligence vytvořila, kdyby držela pero – představený přesně ve chvíli, kdy lidé, kteří vytvářejí hraniční umělou inteligenci, v záznamu varují, že technologie překračuje kontrolu.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →