Generální ředitel společnosti Anthropic Dario Amodei varoval zákonodárce, že zrychlující se trend směrem k umělé inteligenci s otevřeným zdrojovým kódem by mohl vést společnost na nebezpečnou cestu, pokud budou výkonné modely zveřejněny bez pečlivých záruk, což znovu podnítí jednu z nejspornějších debat v politice AI.
Amodei, který založil a vede společnost stojící za rodinou modelů Claude, tvrdil, že jedinečná povaha open-source umělé inteligence, díky níž jsou pokročilé systémy volně dostupné komukoli ke stažení, úpravě a nasazení, vytváří rizika, která konvenční open source software nikdy nepředstavoval. Jeho poznámky, o kterých píše Tekedia, se soustředí na obtížnost ovládání schopné umělé inteligence poté, co byla veřejně distribuována. Další kontext k tomuto příběhu naleznete v našich probíhajících dalších příběhech o AI.
Na rozdíl od tradičního softwaru mohou špičkové systémy umělé inteligence generovat přesvědčivý text, vytvářet realistické obrázky, psát počítačový kód a pomáhat s úkoly v oblasti kybernetické bezpečnosti. Amodei tvrdí, že ve špatných rukou by tyto schopnosti mohly být zneužity k automatizaci kybernetických útoků, zahájení sofistikovaných dezinformačních kampaní nebo pokroku škodlivého biologického výzkumu.
Problém stálosti
Jedním z hlavních rizik, na které Amodei upozornil, je to, že jakmile je mocný model veřejně vydán, je prakticky nemožné jej odvolat. Uzavřené systémy provozované společnostmi lze monitorovat, opravovat a omezovat, když se objeví nová zranitelnost. Naproti tomu model s otevřeným zdrojovým kódem lze neomezeně kopírovat a redistribuovat přes internet, takže vývojáři nemají žádný mechanismus, který by jeho použití po vydání omezoval.
Tato stálost, varoval Amodei, je obzvláště znepokojující, protože modely se při stále složitějších úkolech blíží k výkonu na lidské úrovni. Tvrdil, že pokročilá umělá inteligence by měla být podrobena robustnímu bezpečnostnímu testování, řízenému nasazení a vhodnému regulačnímu dohledu, než se stane široce dostupnou, spíše než aby se s ní zacházelo jako s běžným softwarem, který lze vylepšovat ve spolupráci v otevřeném prostoru.
Jeho pozice odráží rostoucí chybovou linii v tomto odvětví. Zastánci open-source umělé inteligence tvrdí, že veřejný přístup podněcuje konkurenci, demokratizuje technologický pokrok a brání hrstce korporací monopolizovat umělou inteligenci. Vývojáři po celém světě mohou kontrolovat architekturu modelu, chyby v povrchové bezpečnosti a vylepšovat systémy ve spolupráci, zatímco startupy, výzkumníci a vzdělávací instituce mohou stavět bez závislosti na drahých proprietárních platformách.
Specifická rizika na stole
Amodeiovy obavy nejsou abstraktní. Otevřeně vydané modely již výzkumníci zbavili bezpečnostních zábradlí pomocí jednoduchých technik jemného doladění, což je praxe, která demonstrovala, jak rychle lze odstranit ochranná opatření, jakmile jsou základní závaží zveřejněna. S tím, jak se modely stávají schopnějšími v úkolech, jako je chemie, biologie a využívání softwaru, existuje obava, že otevřené verze by mohly poskytnout výkonné schopnosti hráčům, kteří by nikdy neprošli screeningem, který odpovědné laboratoře ukládají svým zákazníkům.
Dezinformační dimenze také vyvolala zkoumání. Modely, které dokážou generovat realistický text, obrázky a zvuk v měřítku, by se mohly obrátit k volebnímu vměšování, finančním podvodům nebo masové produkci propagandy. Protože otevřený model funguje výhradně na hardwaru útočníka, poznamenal Amodei, neexistuje žádné rozhraní API, které by bylo možné omezit, žádný účet, který by bylo možné pozastavit, a žádný poskytovatel, který by byl odpovědný, jakmile dojde k poškození.
Konkurenční pozadí
Varování Amodei přichází uprostřed přívalu schopných otevřených modelů od čínských vývojářů. GLM-5.2 společnosti Zhipu spolu s dalšími levnými čínskými systémy přitáhly novou pozornost k tomu, jak rychle otevřené a otevřeně dostupné modely uzavírají mezeru mezi hraničními proprietárními systémy od Anthropic a OpenAI. Tento konkurenční tlak zesílil politickou debatu o tom, zda by omezení otevřeného uvolňování zvýhodnilo dominantní firmy, nebo zda by společnosti byly vystaveny zneužití.
Kritici postoje Amodei tvrdí, že omezení umělé inteligence s otevřeným zdrojovým kódem by mohlo nechtěně upevnit velké technologické společnosti omezením nezávislých inovací. Poznamenávají také, že transparentnost často umožňuje výzkumníkům identifikovat zranitelná místa rychleji než uzavřený vývoj. I mnoho zastánců otevřeného vývoje však uznává, že stále výkonnější systémy mohou vyžadovat silnější rámce řízení než předchozí generace softwaru.
Regulační napjaté lano
Diskuse nabyla na naléhavosti, protože vlády po celém světě zvažují nové předpisy týkající se umělé inteligence. Tvůrci politik čelí obtížné rovnováze: přílišná omezení by mohla zpomalit hospodářský růst a vědecké objevy, zatímco nedostatečný dohled by mohl vystavit společnosti těžko předvídatelným rizikům. Dosažení této rovnováhy, navrhl Amodei, vyžaduje spolupráci mezi vládami, technologickými společnostmi, akademickými výzkumníky a občanskou společností.
Jeho svědectví podtrhuje jednu z určujících debat o technologické politice desetiletí. S rostoucí schopností umělé inteligence se společnost musí rozhodnout, jak podpořit inovace a zároveň minimalizovat nebezpečí spojená s rozšířeným přístupem k transformačním systémům. Ať už prostřednictvím regulace, průmyslových standardů nebo mezinárodní spolupráce, rozhodnutí učiněná v nadcházejících měsících ohledně open-source umělé inteligence by mohla ovlivnit, kdo bude technologii ovládat a jak bezpečně bude nasazena v nadcházejících letech.
Postoj společnosti Anthropic je v souladu s dlouhodobým důrazem společnosti na bezpečnost AI a řízené vypouštění. Ale vzhledem k tomu, že se otevřené modely rychle rozvíjejí a regulační orgány se stále snaží dohnat, může se propast mezi Amodeiovými varováními a tempem hnutí open-source zmenšovat rychleji, než ji politici mohou uzavřít.
---
Stay Ahead of AIZískejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.
Přečtěte si další zprávy o AI →
