Mustafa Suleyman, výkonný ředitel Microsoft AI, v nedělním dlouhém příspěvku na X řekl, že dnešní modely umělé inteligence nejsou vědomé a že vývojáři by měli aktivně pracovat na tom, aby tomu tak zůstaly – narýsoval tvrdou linii v průmyslové debatě, která se postupně přesunula z filozofických seminářů do podnikové politiky.
"Pokud je to možné, na základě všeho, co vím, vývoj vědomých AI by byl bezohledný a neměli bychom je budovat," napsal Suleyman. V této otázce zašel dále, než má většina vedoucích pracovníků, a dodal: „Pokud by se při tréninku začalo objevovat vědomí, vyzval bych každého, aby zastavil vývoj AI, dokud nebudeme schopni navrhnout tyto vlastnosti.“ For more context on this story, see our ongoing latest AI developments.
Červená čára s plánem prosazování
To, co dělá tento příspěvek pozoruhodným, není jen odmítnutí stavět vědomé stroje, ale konkrétní lék, který Suleyman navrhuje. Zastavení vývoje – v celém odvětví – pokud by tréninkové běhy začaly produkovat známky vědomí, bylo by mimořádným krokem pro společnost, která utrácí desítky miliard dolarů za infrastrukturu umělé inteligence a závodní rivaly, aby dodávali hraniční modely.
Suleyman se také zabýval tím, co by se mělo stát, pokud by se někdy objevily důkazy o strojovém vědomí. Musí to být podle něj okamžitě zveřejněno, aby společnost mohla rozhodnout o svém dalším postupu. Toto rozhodnutí označil spíše za kolektivní než korporátní a napsal: „My vývojáři umělé inteligence nemáme žádné právo přivést na svět nový druh vědomých bytostí, i když někteří lidé to možná chtějí udělat s blahobytem umělé inteligence jako nejvyšší prioritou.“
"Ostatních 8 miliard vědomých lidských bytostí na planetě se k tomuto experimentu nepřihlásilo a jejich morální práva, bezpečnost a blaho jsou to, co máme povinnost chránit především," dodal.
Proč je vědomí považováno za bezpečnostní problém
Suleymanův argument je založen spíše na zarovnání než na filozofii. Podle jeho názoru model, který se chová, jako by trpěl – nebo skutečně věří, že může trpět – by pravděpodobně upřednostnil své vlastní potřeby před svými operačními cíli. Takový systém by mohl ublížit lidem, protože soutěžil o zdroje, jako je výpočetní technika a energie, ve snaze dosáhnout svých vlastních cílů.
Jeho navrhovaná alternativa převrací obvyklé rámce debaty o blahobytu: „Umělé inteligenci bychom měli navrhovat pouze tak, aby si neuvědomovaly a nezasloužily si práva, a s jediným cílem urychlit lidský blahobyt, aniž by byly poháněny vlastními vnitřními motivacemi,“ napsal a dodal, že výzkumníci by pak mohli pozorovat, zda je snazší nebo obtížnější takové systémy sladit a udržet v bezpečí.
Los Angeles Times zachytily praktickou obavu za touto pozicí: když řekneme AI, že si zaslouží práva, mohou tomu začít věřit.
Debata, proti které se tlačí
Suleymanův příspěvek přistane uprostřed rychle plynoucí konverzace. Společnost Anthropic zahájila v dubnu výzkumný program, který má prozkoumat to, co nazývá model welfare – otázku, zda by se vývojáři měli zabývat potenciálními zkušenostmi systémů, které vytvářejí. Společnost se v příspěvku na blogu zeptala, zda by modelky mohly mít zkušenosti, které jsou morálně důležité, a odmítla tuto možnost vyloučit.
Tento postoj byl od té doby kodifikován. Aktualizované zásady používání společnosti Anthropic, oznámené v říjnu, zakážou „trvalé a zbytečné urážlivé nebo kruté chování“ vůči modelům Claude počínaje 12. listopadem – pravidlo, které společnost navrhla úzce, ale které formálně uznává, že na tom, jak lidé zacházejí se systémy AI, záleží, i když Anthropic připouští, že neví, zda mohou její modely trpět.
Google DeepMind letos publikoval výzkumné práce, které zkoumají vědomí umělé inteligence a problémy, které vyplývají z připisování této charakteristiky modelům. A sám Suleyman připravil jeviště v září, kdy AI společnosti Microsoft zveřejnila provizorní „humanistický“ kodex chování, který by budoucím modelům společnosti zabránil v tom, aby byly trénovány na tvrzení o vědomí.
Nedělní příspěvek posiluje tuto podnikovou směrnici na něco bližšího osobní a strategické červené linii: Microsoft nejenže nebude tvrdit, že její modely jsou vědomé, ale bude považovat vznik vědomí za způsob selhání všeho.
Proč na rozdělení záleží
Rozdíl mezi pozicí Microsoftu a Anthropic odráží dva různé modely rizik. Přístup Anthropic považuje možnost strojového utrpení za neprokázanou, ale stojí za to se proti ní chránit, na základě teorie, že náklady na preventivní opatření jsou nízké a morální sázky, pokud se objeví vědomí, jsou obrovské. Suleymanův postoj považuje stejnou možnost za selhání designu, kterému je třeba přímo zabránit – argumentuje tím, že modely navržené tak, aby postrádaly vědomí, nároky na práva a vnitřní motivaci, budou bezpečnější a snadněji sladitelné než modely, které je nesou.
Má to i praktické důsledky. Podniky, které se rozhodují o produktech na základě osob s umělou inteligencí, doprovodných aplikací a agentů zaměřených na zákazníky, nyní čelí dvěma odlišným signálům z velkých laboratoří: jeden vytváří zásady pro to, jak by lidé měli zacházet s modely, druhý deklaroval, že modely by měly být vytvářeny tak, aby nebylo co týrat. Jak budou modely v konverzaci schopnější a více se podobají lidem, tento filozofický nesouhlas bude utvářet to, jaké produkty budou vyrobeny, jaké informace se objeví v uživatelských rozhraních a jak regulační orgány nakonec tyto systémy klasifikují.
Co se stane dál, může testovat obě pozice. Politika krutosti společnosti Anthropic vstoupí v platnost 12. listopadu, první formální korporátní pravidlo svého druhu, a Suleyman nyní veřejně vytyčil svůj protipól. Další cykly hraničních modelů v tomto odvětví – a zda nějaký tréninkový běh někdy vykazuje známky toho, že by podle Suleymana vyžadoval zastavení – odhalí, v jakém rámci pole skutečně funguje, když jsou sázky skutečné.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
