Více než 20 výzkumníků – mezi nimi nositel Nobelovy ceny Geoffrey Hinton, kolega průkopník umělé inteligence Yoshua Bengio, spoluzakladatel společnosti Anthropic Jack Clark a hlavní vědec OpenAI Jakub Pachocki – varovalo vlády, aby se připravily na „explozi inteligence“ AI, která by podle nich mohla být nejdůslednějším technologickým vývojem v historii, uvedl v pondělí The Guardian.

Dokument s názvem „Co když automatizace výzkumu a vývoje umělé inteligence spustí zpravodajskou explozi“ nabádá politiky, aby jednali dříve, než dojde k rychlému pokroku v technologii. Jeho autoři popisují scénář jako „dramatické zrychlení pokroku umělé inteligence řízené umělou inteligencí, komprimující pokroky, které by jinak trvaly roky na měsíce nebo méně“. Pro čtenáře sledující nejnovější zprávy o výzkumu AI je zpráva pozoruhodná ani tak svým alarmem, než tím, kdo ji podepsal: čísla z akademické sféry a konkurenčních hraničních laboratoří společně prohlašují, že automatizovaný výzkum je scénář, na který jsou politici nejméně připraveni.

Co by znamenala zpravodajská exploze

Ústředním zájmem autorů je vyhlídka na zlepšení systémů AI bez lidského zásahu – proces známý jako rekurzivní sebezdokonalování, v článku široce označovaný jako automatizovaný výzkum a vývoj AI.

Jakmile systémy AI dosáhnou schopností expertní úrovně ve výzkumu a vývoji AI, může jediný vývojář provozovat pracovní sílu ekvivalentní „milionům“ špičkových lidských výzkumníků. Automatizace výzkumu a vývoje umělé inteligence je podle názoru autorů nejpravděpodobnějším spouštěčem zpravodajské exploze, protože systémy umělé inteligence již přispívají ke zdokonalování jejich vlastní technologie – a vylepšené systémy, které pomáhají vytvářet, lze po vybudování rychle nasadit.

„Výbuch zpravodajských služeb by mohl být nejdůslednějším technologickým vývojem v historii lidstva, který by roky pokroku stlačoval na měsíce nebo méně, ohrožoval lidskou kontrolu nad systémy umělé inteligence a vážně narušoval kontroly moci v rámci států, společností a odvětví vlády a mezi nimi,“ uvádí list podle The Guardian.

Proč autoři říkají, že se okno zavírá

Naléhavost zprávy spočívá na časové ose: systémy umělé inteligence, které se dnes zdají závadné, by mohly do roku 2028 plně automatizovat projekty výzkumu a vývoje, které v současnosti lidským týmům zabírají měsíce.

„Zisky produktivity z automatizace výzkumu a vývoje AI ještě nedosáhly prahu potřebného ke spuštění zpravodajské exploze, ale zisky z novějších systémů se této hranici pravděpodobně blíží,“ píší autoři. "Jakmile začne zpravodajská exploze, okno pro akci se může zavřít."

List dodává, že „předběžné důkazy naznačují, že je možná softwarově řízená inteligenční exploze“, která by mohla vést k „extrémně rychlému vývoji vysoce schopných nebo nadlidských systémů umělé inteligence“.

Rizika, která označují

Zatímco zpravodajská exploze by mohla přinést lékařské průlomy a rychlé technologické skoky, autoři nastiňují tři hlavní nebezpečí:

  • Hrozby na útěku. Výkonné systémy by mohly umožnit biologické a kybernetické hrozby, které se vyvíjejí rychleji než opatření potřebná k jejich potlačení.
  • Ztráta kontroly. Jak se lidé méně zapojují do výzkumu a vývoje AI, mohou přijít o příležitost řídit a omezovat systémy, které vytvářejí.
  • Strategická nestabilita. Státy by mohly využít zpravodajskou explozi k přeměně skromného náskoku – například v kyberprostoru – na rozhodující národní výhodu.

Zpráva je upřímná, že tyto dopady jsou „nejisté“. Implementace daných dodavatelských řetězců pro specializované materiály nebo regulační požadavky by mohla nějakou dobu trvat technologický průlom a systémy umělé inteligence by také mohly urychlit rychlost zmírňování rizik.

Co by měly dělat vlády

Autoři říkají, že příprava na zpravodajskou explozi „by měla být naléhavou prioritou, a to i na nejvyšších úrovních vládního vedení“, a navrhují soubor kandidátských politik:

  • Požadovat transparentní zprávy o pokroku ve výzkumu a vývoji souvisejícím s umělou inteligencí, včetně začlenění nezávislých auditorů do společností s umělou inteligencí
  • Omezení toho, jak rychle se může systém AI zlepšovat v daném časovém období
  • Práce s datovými centry umožňující pozastavení určitých projektů výzkumu a vývoje AI
  • Zajištění, aby automatizované systémy výzkumu a vývoje AI byly plně izolované a nemohly uniknout lidské kontrole
  • Vytváření „plánů reakce na mimořádné události“ pro řadu scénářů, které by zpravodajská exploze mohla způsobit

Návrhy rozšiřují myšlenky, které již procházejí západní politikou umělé inteligence – povinné hlášení incidentů, hodnocení třetí stranou a řízení výpočetní techniky – ale aplikují je na konkrétní koncový bod: automatizaci samotného výzkumu.

Proč tito autoři a proč teď

Signatáři dávají papíru neobvyklou váhu. Hinton a Bengio jsou dva „kmotři“ moderní umělé inteligence, uznávaní za základní práci na neuronových sítích; oba se stali prominentními hlasy varujícími před technologií, kterou pomohli vytvořit. Clark spoluzaložil Anthropic a Pachocki je hlavním vědcem v OpenAI.

Jejich varování přistane uprostřed měřitelného pohybu průmyslu tímto směrem. Anthropic uvedl, že AI nyní produkuje 80 % vlastního kódu, zatímco OpenAI používá autonomní agenty AI v oblastech, jako je školení nových modelů, podle The Guardian. Obě laboratoře také souhlasily s tím, že jejich modely posoudí nezávislí hodnotitelé poté, co varovali, že vývoj umělé inteligence dosáhl kritického bodu z hlediska bezpečnosti.

Zda se vlády budou pohybovat tempem, které autoři chtějí, je jiná otázka. Ale stěžejní argument papíru – že okamžik k sestavení brzd je dříve, než je auto potřebuje – nyní schvalují lidé, kteří jsou stroji nejblíže.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →