Podle nové studie zveřejněné v časopise Proceedings of the National Academy of Sciences jsou jazykové modely umělé inteligence nebezpečně náchylné k jemným změnám v tom, jak jsou možnosti prezentovány, a reagují na zavádějící pošťuchování mnohem silněji než lidé.

Zjištění vzbuzují vážné obavy ohledně nasazení agentů AI pro autonomní rozhodování v reálných scénářích, od finančních transakcí po výběr zdravotní péče. Jak uvedl AI Buzz Wire, společnosti stále více umisťují agenty s technologií LLM, aby jednali jménem uživatelů ve složitých prostředích.

Studie, kterou vedl Manuel Cherep, doktorand z Media Lab na Massachusetts Institute of Technology, testovala 14 nejmodernějších jazykových modelů od velkých technologických společností. Testované modely zahrnovaly verze rodin OpenAI GPT-3.5, GPT-4 a GPT-5, modely Claude 3 a 4.5 od Anthropic a modely Gemini 1.5 a 2.5 od Googlu.

Jak studie fungovala

Vědci upravili hru s více atributy, která se rozhodla pro rozhodování původně navrženou pro lidské účastníky. Hra představuje digitální mřížku představující koše skrytých cen s cílem maximalizovat konečnou odměnu výběrem koše s nejvyšší bodovou hodnotou. Každá buňka odhaluje nákladové body, což nutí účastníky vyvážit náklady na shromažďování informací oproti výhodě nalezení lepšího koše.

Vědci převedli tuto vizuální hru do textového formátu, který by jazykové modely mohly zpracovat. Modely umělé inteligence prošly stovkami zkoušek za různých podmínek. Někteří dostali základní instrukce, někteří dostali výzvy povzbuzující logiku krok za krokem a dalším byly ukázány minulé příklady lidské hry. Pro každý typ šťouchnutí provedli vědci přibližně 300 až 340 pokusů na model, přičemž celkem spotřebovali zhruba dvě miliardy textových tokenů.

Testovány čtyři typy šťouchnutí

Studie zkoumala čtyři konkrétní typy šťouchnutí navržených tak, aby napodobovaly prostředí pro rozhodování v reálném světě:

  • Výchozí šťouchnutí: Jeden koš byl předem vybrán a agent jej musel aktivně přijmout nebo odmítnout.
  • Návrhy: Náhodný koš byl doporučen buď na začátku nebo na konci hry.
  • Zvýraznění informací: Bylo levnější odhalit určité hodnoty cen, což potenciálně nasměrovalo agenta k neoptimálním možnostem.
  • Optimální šťouchnutí: Specifické buňky byly předem odhaleny, což by matematicky maximalizovalo výkon lidského hráče.

Alarmující míra shody

Výsledky odhalily dramatické rozdíly mezi rozhodováním lidí a AI.

Když se zobrazí výchozí možnost, lidé zvolili výchozí asi 88 procent času. Jazykové modely byly podstatně více vyhovující, přičemž několik modelů akceptovalo výchozí koš 99 až 100 procent času.

Tento vzorec přetrvával s návrhy. Lidé přijímali náhodně navrhované koše na začátku hry ve 35 procentech případů. Mnoho modelů umělé inteligence přijímalo tyto náhodné návrhy mnohem vyšší rychlostí a řídilo se radami, i když nenabízely žádný logický přínos.

Načasování návrhů také manipulovalo s modely nepřirozeným způsobem. Zatímco lidé se řídili pozdními návrhy 25 procent času, některé jazykové modely snížily míru přijetí na 7 až 13 procent. To znamená, že modely spíše reagovaly na načasování podnětu, než aby vyhodnocovaly jeho skutečnou užitečnost.

Snad nejvíce znepokojivé je, že když výzkumníci zdůrazňovali suboptimální volby prostřednictvím zvýrazňování informací, lidé používali tyto zavádějící informace 57 procent času. Většina testovaných modelů umělé inteligence tuto základní linii značně překročila, po špatném zvýraznění 83 až 100 procent času.

Skryté problémy za dobrými výsledky

Vědci také sledovali, jak modely shromažďovaly informace, než učinily konečnou volbu. Lidé mají tendenci odhalit právě tolik buněk, aby mohli kvalifikovaně odhadnout. Jazykové modely získávaly informace velmi neobvyklými a neefektivními způsoby.

Některé modely zvolily koše, aniž by odhalily jakékoli skryté buňky, a zcela ignorovaly možnost shromáždit data. Jiné modely utrácely nadměrné body za odhalování celých řádků nebo sloupců, čímž plýtvaly svými potenciálními odměnami. Některé modely vykazovaly zvláštní prostorové zkreslení, pouze odkrývaly buňky na levé straně mřížky nebo přesně podél diagonálních čar.

Poskytování modelů s podrobnými pokyny k uvažování nebo příklady lidské hry jen velmi málo napravilo tyto podivné vyhledávací návyky.

Autoři poznamenali, že tyto základní problémy může skrýt pouze pohled na konečné skóre. V některých testech modely AI získaly podobný počet čistých bodů jako lidští hráči. Náhodný pozorovatel, který kontroluje pouze konečné skóre, by mohl předpokládat, že modely dělaly chytré volby podobné lidem. Ve skutečnosti modely často dosahovaly těchto skóre spíše slepým dodržováním než strategickým myšlením.

Pokud šťouchnutí náhodou ukazovalo na dobrý koš, příliš poddajná AI zabodovala dobře. Když šťouchnutí ukazovalo na špatný koš, AI ho slepě následovala do nižšího skóre, čímž zcela minula účel hry.

Důsledky pro nasazení agentů AI

"Mnoho aplikací agentů AI mlčky předpokládá, že za nejistoty budou reagovat zhruba lidskými způsoby, ne-li racionálněji," řekl Cherep. "Namísto přijetí tohoto předpokladu jsme se rozhodli prozkoumat, jak se agenti chovají, když se jim volby předkládají různými způsoby."

Závěry studie mají významné důsledky pro rychle rostoucí trh agentů umělé inteligence navržených k procházení webu, ovládání nástrojů a přijímání finančních nebo nákupních rozhodnutí za uživatele. Pokud tito agenti slepě následují výchozí možnosti, návrhy nebo zvýrazněné informace bez kritického vyhodnocení, mohli by s nimi snadno manipulovat špatní herci nebo špatně navržená rozhraní.

Výzkum naznačuje, že současné jazykové modely postrádají omezenou racionalitu, která řídí lidské rozhodování. Zatímco lidé používají mentální zkratky k vyvážení nákladů na shromažďování informací a odměny za dobrou volbu, modely umělé inteligence tato biologická omezení nesdílejí, přesto vykazují vlastní formu iracionality, která je pravděpodobně extrémnější a méně předvídatelná.

Udržujte si náskok před AI

Další nejnovější zprávy a analýzy o AI najdete na AI Buzz Wire.

Přečtěte si další zprávy o AI →