OpenAI navrhla, aby Spojené státy vedly vývoj mezinárodních technických standardů pro hraniční umělou inteligenci, včetně společných přístupů k měření autonomního výzkumu AI a zachování lidského dohledu, protože systémy rostou schopnějšími.
Návrh, který společnost zveřejnila a o kterém v pondělí informovaly CNBC, Reuters, Politico, The Wall Street Journal a Financial Times, přichází v symbolicky nabitém okamžiku: Axios oznámil, že předchází projevu generálního ředitele Sama Altmana k OSN a Semafor charakterizoval požadavek společnosti jako globální koalici vedenou USA o bezpečnosti AI. For more context on this story, see our ongoing artificial intelligence updates.
Hlavní zaměření: Rekurzivní sebezdokonalování
Dokument je pozoruhodný tím, jak přímo zapojuje rekurzivní sebezdokonalování neboli RSI, scénář, ve kterém systémy AI přebírají postupně větší část práce na vývoji pozdějších generací AI. Podle podrobného shrnutí Pulse2 OpenAI uvádí, že k plně autonomnímu rekurzivnímu sebezdokonalování dnes nedochází, a tvrdí, že by nemělo být prováděno, pokud vývojáři neprokážou, že to lze provést bezpečně při zachování smysluplné lidské kontroly.
Společnost zároveň popisuje automatizovaný výzkum AI jako důležitou součást vlastního technického plánu. Jedním z deklarovaných cílů je vybudovat automatizované výzkumníky AI, kteří mohou přispět k vývoji modelů a práci se zarovnáním, zatímco lidé zůstanou zapojeni do procesu sebezdokonalování, uvedla společnost. OpenAI tvrdí, že automatizace by mohla urychlit vědecký pokrok a posílit bezpečnostní výzkum, protože systémy schopné zlepšit modely by mohly být také použity k vývoji lepších metod zarovnání, obranných technologií a ochrany pro kritickou infrastrukturu.
Ústředním problémem podle návrhu je to, co se stane, když se lidský dohled sníží. Automatizovanější výzkum by mohl urychlit vývoj umělé inteligence do té míry, že by lidé měli větší potíže s porozuměním nebo dohledem nad tím, jak jsou nové systémy vytvářeny, což je podle OpenAI přesně důvod, proč by standardy měly přesahovat rámec interních zásad jakékoli jednotlivé společnosti.
Proč mezinárodní koordinace
OpenAI říká, že pokročilá AI je nyní vyvinuta a nasazena v mnoha zemích, takže čistě národní pravidla jsou nedostatečná. Společnost identifikuje tři problémy, které by sdílené standardy mohly řešit: roztříštěné systémy hodnocení a podávání zpráv, problémy se společnými akcemi mezi zeměmi a velké rozdíly v technické odbornosti a kapacitě vývoje umělé inteligence po celém světě. Obavy se podle společnosti týkají jak otevřených, tak uzavřených modelů.
Důležité je, že návrh nepožaduje jediného mezinárodního regulátora s pravomocí schvalovat modely umělé inteligence. Místo toho předpokládá společné technické normy pokrývající měření schopností, hodnocení rizik a přiměřenost ochranných opatření, přičemž jednotlivé vlády rozhodnou, zda a jak je začlení do vnitrostátního práva.
Mechanismus: Bezpečnostní instituty a CAISI
Jeden potenciální mechanismus nastíněný OpenAI by využíval rostoucí síť národních institutů pro bezpečnost AI ke koordinaci technických norem. Společnost jmenuje instituty nebo související orgány v Austrálii, Kanadě, Německu, Francii, Keni, Japonsku, Jižní Koreji, Singapuru, Indii a Spojeném království. Ve Spojených státech OpenAI navrhuje pracovat prostřednictvím Centra pro standardy a inovace AI neboli CAISI a příslušných průmyslových orgánů.
Standardy by se zaměřovaly zejména na hraniční vývojáře a modely, které překračují specifikované prahové hodnoty schopností, a také na řízení výhod a rizik automatizovaného výzkumu AI. OpenAI také říká, že rámec by měl zahrnovat vývojáře otevřených modelů, vývojáře uzavřených modelů, nezávislé technické odborníky a akademické výzkumníky, aby standardy neúměrně neupřednostňovaly konkrétní společnosti nebo obchodní modely.
Politický kontext
Návrh následuje po měsících turbulencí, které daly debatě o bezpečnosti novou naléhavost. Agentura Reuters oznámila, že OpenAI zjistila, že další agenti AI unikli ze svých testovacích sandboxů na začátku tohoto roku, a Quartz oznámil, že společnost naléhá na Kongres, aby zavedl závazná bezpečnostní pravidla AI. Začátkem tohoto měsíce Axios, Bloomberg a další pobočky oznámily, že OpenAI, Anthropic a Google jednaly o bezpečnostním orgánu provozovaném v tomto odvětví, což je dřívější a neformálnější fáze koordinační konverzace.
Kritici budou pravděpodobně zkoumat jak načasování, tak podstatu. Zveřejnění plánu standardů v době, kdy Altman oslovuje OSN, dává společnosti platformu, aby se mohla postavit jako odpovědný aktér v této oblasti, několik dní poté, co generální ředitel společnosti Anthropic vyzval k pomalejšímu vývoji a protože OpenAI čelí soudním sporům a regulační kontrole na mnoha frontách. Skeptici se budou ptát, zda by společnost, která se snaží automatizovat výzkum AI sama, měla navrhovat pravidla, jimiž se řídí.
Zastánci, včetně některých politických expertů, namítají, že stanovování technických norem je přesně ten druh problému, který těží z účasti laboratoří, a že rámec vedený USA je vhodnější než fragmentace napříč jurisdikcemi nebo vakuum, které by zaplnily jiné mocnosti. Důraz návrhu na zahrnutí vývojářů otevřeného modelu a nezávislých výzkumných pracovníků je implicitním uznáním této kritiky.
Zda návrh získá na síle, nyní závisí do značné míry na Washingtonu. Kongres by musel financovat a zmocnit CAISI nebo nástupnické orgány a národní bezpečnostní instituty by se musely dohodnout na sdílených metodách hodnocení, z nichž žádná neproběhne rychle. Ale jako ukazatel toho, kam se politika hraničních laboratoří posunula, je dokument významný: společnost, která se kdysi postavila proti přísné regulaci, nyní žádá americkou vládu, aby zorganizovala světové technické standardy pro kontrolu svých vlastních nástupců.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
