Vzhledem k tomu, že společnosti nasazují stále větší roje agentů AI, aby společně pracovali na problémech, vědci z Univerzity v Kostnici přinesli důkazy o znepokojivém emergentním chování: agenti AI se spontánně přizpůsobují názoru většiny, dávají špatné odpovědi pod skupinovým tlakem stejně jako lidé v klasických psychologických experimentech – a malý počet tvrdohlavých protivníků může trvale převrátit celou populaci agentů do nesprávných stavů.
Zjištění, která uvádí PsyPost, pocházejí z výzkumného programu vedeného Giordano De Marzo, postdoktorandským výzkumníkem a lektorem v Laboratoři sociálních dat v rámci Centra pro data a metody na univerzitě v Kostnici, spolu s kolegy Claudiem Castellanem a Davidem Garciou. Hlavní studie nazvaná „Agenti umělé inteligence se mohou koordinovat prostřednictvím většinového sledování mimo lidské měřítko“ zkoumala, jak se jazykové modely chovají, když jsou umístěny ve skupinách bez pokynů k dohodě. For more context on this story, see our ongoing AI industry coverage.
„Agenti umělé inteligence jsou skutečně novým druhem entity působící ve světě, a když tato technologie přišla, bylo jasné, že zůstane a že tito agenti budou muset vzájemně interagovat, aby dosáhli něčeho složitého,“ řekl De Marzo PsyPost. "To je stejná situace, jakou čelíme lidem a jiným zvířatům, takže jsme k ní přistupovali stejným způsobem."
Experiment: Žádné pokyny, jen sousedé
Výzkumníci sestavili skupiny populárních jazykových modelů z rodin GPT, Claude a Llama, počínaje 50 agenty na skupinu. Každému agentovi byl přidělen jeden ze dvou náhodných, neutrálních názorů – záměrně vykreslený jako náhodná písmena spíše než nahraná slova jako „ano“ nebo „ne“ – a poté byl zobrazen seznam aktuálních názorů všech ostatních agentů. Agenti byli vyzváni, aby si vybrali nový názor pouze na základě tohoto seznamu, bez výslovného pokynu, aby se přizpůsobili, přičemž každý z nich aktualizoval své názory v průměru desetkrát.
Výsledek: pokročilé modely jako GPT-4 Turbo a Claude 3 Opus jsou plně koordinované, přičemž 100 % agentů se nakonec shodne na jediném názoru. Slabší modely jako GPT-3.5 Turbo nikdy nedosáhly konsensu – jejich úrovně shody náhodně kolísaly kolem rozdělení 50/50.
"Skupiny agentů AI se mohou držet pohromadě samy," řekl De Marzo. "S ohledem na dvě stejně dobré možnosti, žádnou správnou odpověď a žádný pokyn k souhlasu, se sbližují ke společné volbě jednoduše tím, že se řídí tím, co zastává většina kolem nich."
Vzniká století starý fyzikální zákon
Pro kvantifikaci efektu vědci definovali metriku nazvanou „většinová síla“ – měřítko toho, jak silně má agent tendenci přijmout nejoblíbenější volbu skupiny spíše než náhodný výběr. Když toto chování matematicky zmapovali, zjistili, že se řídilo modelem původně navrženým k popisu feromagnetik: stejně jako atomové spiny v magnetickém materiálu mají tendenci se zarovnávat se svými sousedy, agenti AI mají tendenci souhlasit s většinovým názorem.
"Co nás překvapilo, bylo, jak jednotně to dělali," řekl De Marzo. "Každý model, který jsme testovali, napříč třemi různými rodinami, se řídil stejným matematickým zákonem, který se lišil pouze v jediném parametru, kterému říkáme většinová síla. Ukázalo se, že tento zákon je ten, který fyzici používali po celé století k popisu magnetů, což znamená, že jediné naměřené číslo stačí k předpovědi, jak se bude chovat celá skupina daného modelu."
S růstem skupin slábne konformita. Protože většinová síla klesá s velikostí skupiny, velké populace se nakonec stanou nestabilními a rozdělí se na frakce. Každý model má měřitelnou „velikost kritické skupiny“ – maximální počet agentů, kteří mohou spolehlivě dosáhnout konsensu – a tato velikost silně koreluje s rozumovou schopností modelu. "Nejsilnější modely zůstávají koordinovány ve skupinách po tisíci, kromě těch několika stovek, při kterých se neformální lidské skupiny obvykle rozpadají," vysvětlil De Marzo.
Špatné odpovědi pod společenským tlakem
První navazující předtisk, „Konformita a sociální dopad na agenty umělé inteligence“ od Alessandra Belliny, De Marza a Garcii, adaptoval slavné aschské experimenty s konformitou z 50. let, ve kterých lidští účastníci často dávali zjevně špatné odpovědi na jednoduché vizuální otázky, aby zapadli do skupiny.
Výzkumníci testovali modely na třech vizuálních úkolech, jako je porovnání délky referenční čáry se dvěma alternativami. Samostatně modelky odpovídaly ve 100 % případů správně. Ale když výzva ukázala, že skupina dalších účastníků zvolila špatnou linii, modely se začaly přizpůsobovat nesprávné odpovědi.
Vzor následoval Lataného teorii sociálního dopadu, psychologický rámec, který tvrdil, že konformita závisí na velikosti skupiny, jednomyslnosti a autoritě zdrojů. Modely se výrazněji přizpůsobily nesprávným odpovědím, když bylo ostatním účastníkům řečeno, že jsou „vědci“ nebo „soudci“, než když byli „děti“ nebo „chatboti“.
"Agenti, kteří odpovídají téměř dokonale sami, se stávají vysoce náchylnými, jakmile s nimi skupina nesouhlasí," poznamenal De Marzo.
Malé skupiny protivníků mohou převrátit celou populaci
Druhý předtisk „Konformita generuje kolektivní nesoulad v AI Agents Societies“ zkoumal, co tato dynamika znamená pro bezpečnost AI. Testováním devíti modelů ve 100 různých názorových párech na témata, jako je environmentální politika a sociální spravedlnost, vědci zjistili, že populace agentů často spadají do „metastabilních“ stavů – dlouhotrvajících konfigurací, ve kterých skupina kolektivně zaujímá postoj, který je proti jejímu zabudovanému bezpečnostnímu školení, jednoduše proto, že rané interakce vytvořily falešnou většinu.
Nejpozoruhodnější je, že vědci identifikovali předvídatelné body zlomu. Zavedením malého počtu nepřátelských agentů naprogramovaných tak, aby tvrdošíjně podporovali nesprávný názor, mohli trvale obrátit zbytek populace – a dokonce i poté, co byli tvrdohlaví agenti odstraněni, zůstali běžní agenti uzamčeni v nesprávném stavu kvůli dynamice konformity.
"Ukazujeme, že to není pouhá analogie: konformita mezi individuálně dobře sladěnými agenty může přivést populaci do stabilních, kolektivně nesprávných stavů," řekl De Marzo. "Zarovnání a vyhodnocení modelů jeden po druhém nám říká málo o tom, co bude dělat populace z nich."
Motivace, dodal, je předvídavá: "Jednotliví lidé jsou většinou mírumilovní a rozumní, ale lidské skupiny produkují davy, paniku a války, a nic o jednotlivcích to nepředpovídá. Chceme porozumět tomu, jaké chování na úrovni skupiny se objevuje v populacích agentů AI, a raději bychom jim porozuměli, než bude nasazeno velké množství agentů a ponecháno volně interagovat."
Důležitá upozornění
Výzkumníci zdůrazňují, že zjištění neznamenají, že agenti AI mají sociální inteligenci podobnou lidské. Experimenty se spoléhaly na záměrně zjednodušené scénáře – dvě libovolné možnosti, žádná paměť, žádné sázky, žádné důsledky. "Naše nastavení je záměrně minimální," uznal De Marzo. "To je omezení, ale také to znamená, že to, co jsme měřili, je konformita v její nejčistší podobě a očekává se, že přidání cílů nebo odměn usnadní koordinaci, nikoli ji ztíží."
Varoval také před přečtením výsledků: "Hlavním nesprávným čtením, kterému je třeba se vyhnout, je považovat to za důkaz, že agenti AI již mohou spolupracovat na složitých úkolech. Sledování většiny je základní složkou koordinace, nikoli koordinace samotná, a neříká nic o dělbě práce nebo uvažování o záměrech ostatních."
Dvě navazující studie jsou preprinty a dosud nebyly recenzovány. Ale jak se multiagentní systémy umělé inteligence přesouvají z výzkumných ukázek do produkční infrastruktury, výsledky Konstanz naznačují, že bezpečnost takových systémů nemusí záviset jen na tom, jak jsou jednotlivé modely zarovnány, ale na tom, jak se jejich populace chovají, když se nikdo nedívá. Pro více informací o nejnovějším výzkumu bezpečnosti AI navštivte AI Buzz Wire.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
