Pe măsură ce companiile desfășoară roiuri din ce în ce mai mari de agenți AI pentru a rezolva probleme împreună, cercetătorii de la Universitatea din Konstanz au produs dovezi ale unui comportament emergent neliniștitor: agenții AI se conformează spontan cu opinia majorității, dau răspunsuri greșite sub presiunea grupului, la fel ca oamenii în experimentele clasice de psihologie - și un număr mic de adversari încăpățânați pot transforma permanent o întreagă populație de agenți dezordonați.
Descoperirile, raportate de PsyPost, provin dintr-un program de cercetare condus de Giordano De Marzo, cercetător postdoctoral și lector la Laboratorul de Științe a Datelor Sociale din cadrul Centrului pentru Date și Metode de la Universitatea din Konstanz, împreună cu colegii Claudio Castellano și David Garcia. Studiul principal, intitulat „Agenții AI se pot coordona prin urmărirea majorității dincolo de scara umană”, a examinat modul în care modelele lingvistice se comportă atunci când sunt plasate în grupuri fără instrucțiuni de acord. For more context on this story, see our ongoing breaking AI news.
„Agenții AI sunt un tip cu adevărat nou de entitate care acționează în lume, iar când această tehnologie a ajuns, a fost clar atât că va rămâne, cât și că acești agenți ar trebui să interacționeze între ei pentru a realiza ceva complex”, a spus De Marzo pentru PsyPost. „Aceasta este aceeași situație cu care ne confruntăm cu oamenii și alte animale, așa că am abordat-o în același mod.”
Experimentul: Fără instrucțiuni, doar vecini
Cercetătorii au adunat grupuri de modele de limbaj populare din familiile GPT, Claude și Llama, începând cu 50 de agenți per grup. Fiecărui agent i s-a atribuit una dintre cele două opinii aleatorii, neutre – redate în mod deliberat ca litere aleatorii, mai degrabă decât cuvinte încărcate precum „da” sau „nu” – și apoi a arătat o listă cu opiniile curente ale tuturor celorlalți agenți. Agenții au fost îndemnați să aleagă o nouă opinie bazată exclusiv pe această listă, fără instrucțiuni explicite de a se conforma, actualizându-și opiniile în medie de zece ori fiecare.
Rezultatul: modele avansate precum GPT-4 Turbo și Claude 3 Opus pe deplin coordonate, 100% dintre agenți fiind în cele din urmă de acord cu o singură opinie. Modelele mai slabe precum GPT-3.5 Turbo nu au ajuns niciodată la un consens - nivelurile lor de acord au fluctuat aleatoriu în jurul unei împărțiri 50/50.
„Grupurile de agenți AI pot ține împreună singure”, a spus De Marzo. „Având în vedere două opțiuni la fel de bune, niciun răspuns corect și nicio instrucțiune pentru a fi de acord, aceștia converg către o alegere comună, pur și simplu urmând ceea ce susține majoritatea din jurul lor.”
Apare o lege a fizicii veche de un secol
Pentru a cuantifica efectul, cercetătorii au definit o măsură numită „forța majoritară” – o măsură a cât de puternic un agent tinde să adopte cea mai populară alegere a grupului, mai degrabă decât să aleagă la întâmplare. Când au cartografiat acest comportament din punct de vedere matematic, au descoperit că a urmat un model conceput inițial pentru a descrie feromagneții: la fel cum rotațiile atomice din materialul magnetic tind să se alinieze cu vecinii lor, agenții AI tind să se alinieze cu opinia majorității.
„Ceea ce ne-a surprins a fost cât de uniform au făcut-o”, a spus De Marzo. „Fiecare model pe care l-am testat, în trei familii diferite, a urmat aceeași lege matematică, diferă doar într-un singur parametru pe care îl numim forța majoritară. Acea lege s-a dovedit a fi cea pe care fizicienii au folosit-o timp de un secol pentru a descrie magneții, ceea ce înseamnă că un singur număr măsurat este suficient pentru a prezice cum se va comporta un întreg grup dintr-un anumit model”.
Conformitatea slăbește pe măsură ce grupurile cresc. Deoarece forța majoritară scade odată cu mărimea grupului, populațiile mari devin în cele din urmă instabile și se împart în facțiuni. Fiecare model are o „dimensiune critică a grupului” măsurabilă – numărul maxim de agenți care pot ajunge în mod fiabil la un consens – și această dimensiune se corelează puternic cu capacitatea de raționament a unui model. „Cele mai puternice modele rămân coordonate în grupuri de peste o mie, dincolo de cele câteva sute în care grupurile umane informale se despart de obicei”, a explicat De Marzo.
Răspunsuri greșite sub presiunea socială
O primă preprint ulterioară, „Conformity and Social Impact on AI Agents” de Alessandro Bellina, De Marzo și Garcia, a adaptat celebrele experimente de conformitate Asch din anii 1950, în care participanții umani dădeau adesea răspunsuri evident greșite la întrebări vizuale simple pentru a se potrivi cu un grup.
Cercetătorii au testat modele pe trei sarcini vizuale, cum ar fi potrivirea lungimii unei linii de referință cu două alternative. Izolat, modelele au răspuns corect 100% din timp. Dar când un prompt a indicat că un grup de alți participanți au ales linia greșită, modelele au început să se conformeze răspunsului incorect.
Modelul a urmat teoria impactului social a lui Latané, un cadru psihologic care susține că conformitatea depinde de mărimea grupului, unanimitatea și autoritatea surselor. Modelele au fost mult mai probabil să se conformeze răspunsurilor greșite atunci când li s-a spus că celorlalți participanți sunt „oameni de știință” sau „judecători” decât atunci când sunt „copii” sau „chatbots”.
„Agenții care răspund aproape perfect singuri devin extrem de sensibili odată ce un grup nu este de acord cu ei”, a remarcat De Marzo.
Grupurile mici de adversari pot răsturna o întreagă populație
Un al doilea preprint, „Conformity Generates Collective Misalignment in AI Agents Societies”, a examinat ce înseamnă aceste dinamice pentru siguranța AI. Testând nouă modele în 100 de perechi de opinii diferite pe subiecte precum politica de mediu și justiția socială, cercetătorii au descoperit că populațiile de agenți cad adesea în stări „metastabile” - configurații de lungă durată în care grupul adoptă în mod colectiv o poziție care se opune formării sale în materie de siguranță, pur și simplu pentru că interacțiunile timpurii au creat o majoritate falsă.
Cel mai surprinzător este că cercetătorii au identificat puncte critice previzibile. Prin introducerea unui număr mic de agenți adversari programați să susțină cu încăpățânare o opinie nealiniată, aceștia ar putea răsturna permanent restul populației - și chiar și după ce agenții încăpățânați au fost îndepărtați, agenții obișnuiți au rămas blocați în starea nealiniată din cauza dinamicii conformității.
„Arătăm că aceasta nu este doar o analogie: conformitatea între agenții bine aliniați individual poate conduce populația în state stabile, colectiv nealiniate”, a spus De Marzo. „Alinierea și evaluarea modelelor pe rând ne spune puțin despre ceea ce va face o populație dintre ele”.
Motivația, a adăugat el, este anticipativă: „Oamenii individuali sunt în mare parte pașnici și rezonabili, totuși grupurile umane produc gloate, panică și războaie, și nimic despre individ nu prezice asta. Vrem să înțelegem ce comportamente la nivel de grup apar în populațiile de agenți AI și le-am înțelege mai degrabă înainte ca un număr mare de agenți să fie desfășurați și lăsați să interacționeze liber”.
Avertismente importante
Cercetătorii subliniază că descoperirile nu înseamnă că agenții AI posedă inteligență socială asemănătoare omului. Experimentele s-au bazat pe scenarii simplificate în mod deliberat - două opțiuni arbitrare, fără memorie, fără mize, fără consecințe. „Configurația noastră este în mod deliberat minimă”, a recunoscut De Marzo. „Aceasta este o limitare, dar înseamnă, de asemenea, că ceea ce am măsurat este conformitatea în forma sa cea mai pură, iar adăugarea de obiective sau recompense ar fi de așteptat să facă coordonarea mai ușoară decât mai grea.”
El a avertizat, de asemenea, împotriva supracitirii rezultatelor: „Principala interpretare greșită de evitat este tratarea asta ca o dovadă că agenții AI pot deja colabora la sarcini complexe. Urmărirea majorității este un ingredient de bază al coordonării, nu coordonarea în sine și nu spune nimic despre diviziunea muncii sau raționamentul despre intențiile celorlalți”.
Cele două studii ulterioare sunt preprinturi și nu au fost încă revizuite de colegi. Dar, pe măsură ce sistemele AI multi-agenți trec de la demonstrațiile de cercetare la infrastructura de producție, rezultatele Konstanz sugerează că siguranța unor astfel de sisteme poate depinde nu doar de modul în care este aliniat fiecare model, ci și de modul în care se comportă populațiile acestora atunci când nimeni nu urmărește. Pentru mai multe despre cele mai recente cercetări privind siguranța AI, vizitați AI Buzz Wire.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
