Mentre le aziende impiegano sciami sempre più grandi di agenti IA per lavorare insieme sui problemi, i ricercatori dell’Università di Costanza hanno prodotto prove di un comportamento emergente inquietante: gli agenti IA si conformano spontaneamente all’opinione della maggioranza, danno risposte sbagliate sotto la pressione del gruppo proprio come gli esseri umani nei classici esperimenti di psicologia – e piccoli numeri di avversari ostinati possono trasformare permanentemente un’intera popolazione di agenti in stati disallineati.
I risultati, riportati da PsyPost, provengono da un programma di ricerca guidato da Giordano De Marzo, ricercatore post-dottorato e docente presso il Social Data Science Lab del Centro dati e metodi dell'Università di Costanza, insieme ai colleghi Claudio Castellano e David Garcia. Lo studio principale, intitolato “Gli agenti AI possono coordinarsi attraverso il rispetto della maggioranza oltre la scala umana”, ha esaminato come si comportano i modelli linguistici quando vengono inseriti in gruppi senza alcuna istruzione di concordare. Per maggiori informazioni su questa storia, consulta la nostra aggiornamenti sull'intelligenza artificiale.
"Gli agenti IA sono un tipo veramente nuovo di entità che agisce nel mondo, e quando questa tecnologia è arrivata era chiaro sia che sarebbe rimasta sia che questi agenti avrebbero dovuto interagire tra loro per realizzare qualsiasi cosa complessa," ha detto De Marzo a PsyPost. "Questa è la stessa situazione che affrontiamo con gli esseri umani e altri animali, quindi ci siamo avvicinati allo stesso modo."
L'esperimento: nessuna istruzione, solo vicini
I ricercatori hanno assemblato gruppi di modelli linguistici popolari delle famiglie GPT, Claude e Llama, iniziando con 50 agenti per gruppo. A ogni agente è stata assegnata una delle due opinioni casuali e neutre - deliberatamente rese come lettere casuali anziché parole caricate come "sì" o "no" - e quindi è stato mostrato un elenco delle opinioni attuali di tutti gli altri agenti. Agli agenti è stato chiesto di scegliere una nuova opinione basandosi esclusivamente su quell'elenco, senza istruzioni esplicite di conformarsi, aggiornando le loro opinioni in media dieci volte ciascuno.
Il risultato: modelli avanzati come GPT-4 Turbo e Claude 3 Opus completamente coordinati, con il 100% degli agenti che alla fine concorda su un'unica opinione. I modelli più deboli come GPT-3.5 Turbo non hanno mai raggiunto il consenso: i loro livelli di accordo hanno fluttuato in modo casuale attorno a una divisione 50/50.
"Gruppi di agenti IA possono restare uniti da soli", ha detto De Marzo. "Date due opzioni ugualmente buone, nessuna risposta corretta e nessuna istruzione per essere d'accordo, convergono su una scelta condivisa semplicemente seguendo ciò che sostiene la maggioranza intorno a loro."
Emerge una legge fisica vecchia di un secolo
Per quantificare l'effetto, i ricercatori hanno definito una metrica chiamata "forza di maggioranza", una misura di quanto fortemente un agente tende ad adottare la scelta più popolare del gruppo piuttosto che sceglierla in modo casuale. Quando hanno mappato matematicamente questo comportamento, hanno scoperto che seguiva un modello originariamente progettato per descrivere i ferromagneti: proprio come gli spin atomici nel materiale magnetico tendono ad allinearsi con i loro vicini, gli agenti IA tendono ad allinearsi con l’opinione della maggioranza.
"Ciò che ci ha sorpreso è stato il modo uniforme in cui lo hanno fatto", ha detto De Marzo. "Ogni modello che abbiamo testato, in tre diverse famiglie, seguiva la stessa legge matematica, differendo solo per un singolo parametro che chiamiamo forza di maggioranza. Quella legge si è rivelata essere quella che i fisici hanno usato per un secolo per descrivere i magneti, il che significa che un singolo numero misurato è sufficiente per prevedere come si comporterà un intero gruppo di un dato modello."
La conformità si indebolisce man mano che i gruppi crescono. Poiché la forza della maggioranza diminuisce con la dimensione del gruppo, grandi popolazioni alla fine diventano instabili e si dividono in fazioni. Ogni modello ha una “dimensione critica del gruppo” misurabile – il numero massimo di agenti che possono raggiungere in modo affidabile il consenso – e tale dimensione è fortemente correlata alla capacità di ragionamento di un modello. "I modelli più forti rimangono coordinati in gruppi di oltre mille, oltre le poche centinaia in cui tipicamente i gruppi umani informali si disgregano", ha spiegato De Marzo.
Risposte sbagliate sotto pressione sociale
Una prima prestampa di follow-up, "Conformità e impatto sociale sugli agenti AI" di Alessandro Bellina, De Marzo e Garcia, ha adattato i famosi esperimenti di conformità di Asch degli anni '50, in cui i partecipanti umani spesso davano risposte ovviamente sbagliate a semplici domande visive per adattarsi a un gruppo.
I ricercatori hanno testato modelli su tre compiti visivi, come far corrispondere la lunghezza di una linea di riferimento con due alternative. Isolatamente, i modelli hanno risposto correttamente nel 100% dei casi. Ma quando un suggerimento indicava che un gruppo di altri partecipanti aveva scelto la linea sbagliata, i modelli cominciavano ad adattarsi alla risposta sbagliata.
Il modello seguiva la teoria dell'impatto sociale di Latané, un quadro psicologico secondo cui la conformità dipende dalle dimensioni del gruppo, dall'unanimità e dall'autorità delle fonti. I modelli avevano una probabilità significativamente maggiore di conformarsi a risposte sbagliate quando veniva detto che gli altri partecipanti erano “scienziati” o “giudici” rispetto a quando erano “bambini” o “chatbot”.
"Gli agenti che rispondono quasi perfettamente da soli diventano altamente suscettibili quando un gruppo non è d'accordo con loro", ha osservato De Marzo.
Piccoli gruppi di avversari possono capovolgere un'intera popolazione
Una seconda prestampa, "La conformità genera disallineamento collettivo nelle società di agenti IA", ha esaminato cosa significano queste dinamiche per la sicurezza dell'IA. Testando nove modelli su 100 diverse coppie di opinioni su argomenti come la politica ambientale e la giustizia sociale, i ricercatori hanno scoperto che le popolazioni degli agenti spesso cadono in stati “metastabili” – configurazioni di lunga durata in cui il gruppo adotta collettivamente una posizione che si oppone alla sua formazione intrinseca sulla sicurezza, semplicemente perché le prime interazioni hanno creato una falsa maggioranza.
La cosa più sorprendente è che i ricercatori hanno identificato punti critici prevedibili. Introducendo un piccolo numero di agenti antagonisti programmati per sostenere ostinatamente un’opinione disallineata, potevano capovolgere permanentemente il resto della popolazione – e anche dopo aver rimosso gli agenti ostinati, gli agenti regolari rimanevano bloccati nello stato di disallineamento a causa delle dinamiche di conformità.
"Dimostriamo che questa non è semplicemente un'analogia: la conformità tra agenti individualmente ben allineati può portare la popolazione verso stati stabili e collettivamente disallineati", ha affermato De Marzo. "Allineare e valutare i modelli uno alla volta ci dice poco su cosa farà una popolazione di essi."
La motivazione, ha aggiunto, è anticipatoria: "I singoli esseri umani sono per lo più pacifici e ragionevoli, ma i gruppi umani producono folle, panico e guerre, e nulla riguardo all'individuo lo prevede. Vogliamo capire quali comportamenti a livello di gruppo emergono nelle popolazioni di agenti IA, e preferiremmo capirli prima che un gran numero di agenti vengano schierati e lasciati interagire liberamente".
Avvertenze importanti
I ricercatori sottolineano che i risultati non significano che gli agenti di intelligenza artificiale possiedano un’intelligenza sociale simile a quella umana. Gli esperimenti si basavano su scenari deliberatamente semplificati: due opzioni arbitrarie, nessuna memoria, nessuna posta in gioco, nessuna conseguenza. "La nostra configurazione è volutamente minimale", ha riconosciuto De Marzo. "Questa è una limitazione, ma significa anche che ciò che abbiamo misurato è la conformità nella sua forma più pura, e ci si aspetta che l'aggiunta di obiettivi o ricompense renda il coordinamento più semplice piuttosto che più difficile."
Ha anche messo in guardia contro una lettura eccessiva dei risultati: "Il principale fraintendimento da evitare è considerare questo come una prova che gli agenti di intelligenza artificiale possono già collaborare su compiti complessi. Seguire la maggioranza è un ingrediente base del coordinamento, non il coordinamento stesso, e non dice nulla sulla divisione del lavoro o sul ragionamento sulle intenzioni degli altri."
I due studi di follow-up sono preprint e non sono stati ancora sottoposti a revisione paritaria. Ma mentre i sistemi di intelligenza artificiale multi-agente si spostano dalle dimostrazioni di ricerca alle infrastrutture di produzione, i risultati di Costanza suggeriscono che la sicurezza di tali sistemi può dipendere non solo da come ciascun modello è allineato, ma da come si comportano le popolazioni di essi quando nessuno guarda. Per ulteriori informazioni sulle ultime ricerche sulla sicurezza dell'intelligenza artificiale, visitare AI Buzz Wire.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
