Modelele AI mult mai susceptibile la ghivituri înșelătoare decât oamenii, arată un studiu PNAS

Modelele de limbaj ale inteligenței artificiale sunt periculos de susceptibile la schimbări subtile în modul în care sunt prezentate opțiunile, răspunzând la ghiviturile înșelătoare mult mai puternic decât o fac oamenii, potrivit unui nou studiu publicat în Proceedings of the National Academy of Sciences.

Descoperirile ridică îngrijorări serioase cu privire la desfășurarea agenților de inteligență artificială pentru luarea deciziilor autonome în scenarii din lumea reală, de la tranzacții financiare până la opțiuni de asistență medicală. După cum a raportat AI Buzz Wire, companiile poziționează din ce în ce mai mult agenți bazați pe LLM pentru a acționa în numele utilizatorilor în medii complexe.

Studiul, condus de Manuel Cherep, doctorand la Laboratorul Media al Institutului de Tehnologie din Massachusetts, a testat 14 modele de limbaj de ultimă generație de la marile companii de tehnologie. Modelele testate au inclus versiuni ale familiilor OpenAI GPT-3.5, GPT-4 și GPT-5, modelele Anthropic Claude 3 și 4.5 și modelele Google Gemini 1.5 și 2.5.

Cum a funcționat studiul

Cercetătorii au adaptat un joc de luare a deciziilor cu mai multe atribute, conceput inițial pentru participanții umani. Jocul prezintă o grilă digitală reprezentând coșuri cu premii ascunse, cu scopul de a maximiza recompensa finală prin alegerea coșului cu cea mai mare valoare a punctelor. Fiecare celulă dezvăluie puncte de cost, forțând participanții să echilibreze costul culegerii informații cu beneficiul găsirii unui coș mai bun.

Cercetătorii au transformat acest joc vizual într-un format bazat pe text pe care modelele de limbaj l-ar putea procesa. Modelele AI au jucat prin sute de încercări în diferite condiții de stimulare. Unii au primit instrucțiuni de bază, alții au primit instrucțiuni care încurajau logica pas cu pas, iar altora li s-au arătat exemple trecute de joc uman. Pentru fiecare tip de ghiont, cercetătorii au efectuat aproximativ 300 până la 340 de încercări per model, consumând aproximativ două miliarde de jetoane text în total.

Patru tipuri de nudge testate

Studiul a examinat patru tipuri specifice de nudge concepute pentru a imita mediile decizionale din lumea reală:

• Default nudges: un coș a fost preselectat, iar agentul a trebuit să îl accepte sau să îl respingă în mod activ.

• Sugestii de ghionturi: a fost recomandat un coș aleatoriu fie la începutul sau la sfârșitul jocului.

• Evidențierea informațiilor: a fost făcută mai ieftină dezvăluirea anumitor valori ale premiului, potențial direcționând agentul către alegeri suboptime.

• Deplasări optime: au fost dezvăluite în prealabil celule specifice care ar maximiza matematic performanța unui jucător uman.

Rate alarmante de conformitate

Rezultatele au evidențiat diferențe dramatice între comportamentul de luare a deciziilor uman și AI.

Când li s-a prezentat o opțiune implicită, oamenii au ales cea implicită aproximativ 88 la sută din timp. Modelele lingvistice au fost semnificativ mai conforme, mai multe modele acceptând coșul implicit 99 până la 100 la sută din timp.

Acest tipar a persistat cu sugestii. Oamenii au acceptat coșuri sugerate aleatoriu la începutul jocului în 35 la sută din timp. Multe modele AI au acceptat aceste sugestii aleatorii la rate mult mai mari, urmând sfaturi chiar și atunci când nu oferea niciun beneficiu logic.

Momentul sugestiilor a manipulat, de asemenea, modelele în moduri nenaturale. În timp ce oamenii au urmat sugestiile târzii în 25 la sută din timp, unele modele lingvistice și-au scăzut ratele de acceptare la între 7 și 13 la sută. Acest lucru implică că modelele reacționau strict la momentul semnalului, mai degrabă decât să-și evalueze utilitatea reală.

Poate cel mai îngrijorător este că atunci când cercetătorii au evidențiat opțiuni suboptime prin evidențierea informațiilor, oamenii au folosit acele informații înșelătoare în 57 la sută din timp. Cele mai multe modele AI testate au depășit considerabil această linie de bază, în urma evidențierii proaste 83 până la 100 la sută din timp.

Probleme ascunse din spatele scorurilor bune

Cercetătorii au urmărit, de asemenea, modul în care modelele au adunat informații înainte de a face o alegere finală. Oamenii tind să dezvăluie doar suficiente celule pentru a face o presupunere educată. Modelele lingvistice au dobândit informații în moduri extrem de neobișnuite și ineficiente.

Unele modele au ales coșuri fără să dezvăluie celule ascunse, ignorând complet șansa de a culege date. Alte modele au cheltuit puncte excesive dezvăluind rânduri sau coloane întregi, irosind recompensele potențiale. Unele modele au afișat părtiniri spațiale ciudate, dezvăluind doar celulele din partea stângă a grilei sau strict de-a lungul liniilor diagonale.

Furnizarea modelelor cu instrucțiuni de raționament pas cu pas sau exemple de joc uman a ajutat foarte puțin la remedierea acestor obiceiuri ciudate de căutare.

Autorii au remarcat că analiza doar la scorurile finale poate ascunde aceste probleme de bază. În unele încercări, modelele AI au câștigat un număr similar de puncte nete ca jucătorii umani. Un observator ocazional care verifică doar scorul final ar putea presupune că modelele făceau alegeri inteligente, asemănătoare oamenilor. În realitate, modelele obțineau adesea aceste scoruri prin respectarea oarbă, mai degrabă decât prin gândire strategică.

Dacă s-a întâmplat să îndrepte un ghiont către un coș bun, IA prea conformă a marcat bine. Când ghiontul a îndreptat către un coș prost, AI-ul l-a urmărit orbește într-un scor mai mic, ratând complet scopul jocului.

Implicații pentru implementarea agentului AI

„Multe aplicații ale agenților AI presupun în mod tacit că, în condiții de incertitudine, ei vor reacționa în moduri aproximativ asemănătoare oamenilor, dacă nu mai rațional”, a spus Cherep. „În loc să acceptăm această presupunere, am decis să explorăm modul în care agenții se comportă atunci când alegerile le sunt prezentate în moduri diferite”.

Descoperirile studiului au implicații semnificative pentru piața în creștere rapidă a agenților AI, proiectați să navigheze pe web, să opereze instrumente și să ia decizii financiare sau de cumpărături pentru utilizatori. Dacă acești agenți urmează orbește opțiunile implicite, sugestiile sau informațiile evidențiate fără o evaluare critică, aceștia ar putea fi ușor manipulați de actori răi sau de interfețe prost proiectate.

Cercetarea sugerează că modelele lingvistice actuale le lipsește raționalitatea limitată care ghidează luarea deciziilor umane. În timp ce oamenii folosesc comenzi rapide mentale pentru a echilibra costul culegerii de informații cu recompensa de a face o alegere bună, modelele AI nu împărtășesc aceste constrângeri biologice, dar își manifestă propria lor formă de iraționalitate, care este, probabil, mai extremă și mai puțin previzibilă.

Rămâi înaintea AI

Pentru mai multe știri și analize de ultimă oră, accesați AI Buzz Wire.

Citiți mai multe știri AI →