À medida que as empresas mobilizam enxames cada vez maiores de agentes de IA para resolverem problemas em conjunto, investigadores da Universidade de Konstanz produziram provas de um comportamento emergente perturbador: os agentes de IA conformam-se espontaneamente com a opinião da maioria, dão respostas erradas sob pressão de grupo, tal como os humanos nas experiências clássicas de psicologia — e um pequeno número de adversários teimosos pode transformar permanentemente uma população inteira de agentes em estados desalinhados.
As descobertas, relatadas pelo PsyPost, vêm de um programa de pesquisa liderado por Giordano De Marzo, pesquisador de pós-doutorado e professor do Laboratório de Ciência de Dados Sociais do Centro de Dados e Métodos da Universidade de Konstanz, juntamente com os colegas Claudio Castellano e David Garcia. O estudo principal, intitulado “Os agentes de IA podem coordenar através do seguimento majoritário além da escala humana”, examinou como os modelos de linguagem se comportam quando colocados em grupos sem nenhuma instrução para concordar. Para mais contexto sobre esta história, confira nossa últimos desenvolvimentos em IA.
“Os agentes de IA são um tipo genuinamente novo de entidade que atua no mundo, e quando esta tecnologia chegou, ficou claro que ela permaneceria e que esses agentes teriam que interagir uns com os outros para realizar qualquer coisa complexa”, disse De Marzo ao PsyPost. “Essa é a mesma situação que enfrentamos com humanos e outros animais, então abordamos a questão da mesma maneira”.
O experimento: sem instruções, apenas vizinhos
Os pesquisadores montaram grupos de modelos de linguagem populares das famílias GPT, Claude e Llama, começando com 50 agentes por grupo. A cada agente foi atribuída uma de duas opiniões aleatórias e neutras – deliberadamente traduzidas como letras aleatórias em vez de palavras carregadas como “sim” ou “não” – e depois foi mostrada uma lista das opiniões atuais de todos os outros agentes. Os agentes foram solicitados a escolher uma nova opinião com base apenas nessa lista, sem nenhuma instrução explícita de conformidade, atualizando suas opiniões em média dez vezes cada.
O resultado: modelos avançados como GPT-4 Turbo e Claude 3 Opus totalmente coordenados, com 100% dos agentes eventualmente concordando com uma única opinião. Modelos mais fracos como o GPT-3.5 Turbo nunca chegaram a consenso – seus níveis de concordância flutuaram aleatoriamente em torno de uma divisão 50/50.
“Grupos de agentes de IA podem se manter unidos”, disse De Marzo. “Dadas duas opções igualmente boas, sem resposta correta e sem instrução para concordar, eles convergem para uma escolha compartilhada simplesmente seguindo o que a maioria ao seu redor defende.”
Surge uma lei centenária da física
Para quantificar o efeito, os investigadores definiram uma métrica chamada “força majoritária” – uma medida da intensidade com que um agente tende a adoptar a escolha mais popular do grupo em vez de escolher aleatoriamente. Quando mapearam matematicamente este comportamento, descobriram que seguia um modelo originalmente concebido para descrever ferromagnetos: tal como os spins atómicos no material magnético tendem a alinhar-se com os seus vizinhos, os agentes de IA tendem a alinhar-se com a opinião da maioria.
“O que nos surpreendeu foi a uniformidade com que fizeram isso”, disse De Marzo. "Cada modelo que testamos, em três famílias diferentes, seguiu a mesma lei matemática, diferindo apenas num único parâmetro que chamamos de força majoritária. Essa lei acabou por ser aquela que os físicos usaram durante um século para descrever ímãs, o que significa que um único número medido é suficiente para prever como um grupo inteiro de um determinado modelo se comportará."
A conformidade enfraquece à medida que os grupos crescem. Dado que a força maioritária diminui com o tamanho do grupo, grandes populações acabam por se tornar instáveis e divididas em facções. Cada modelo tem um “tamanho de grupo crítico” mensurável – o número máximo de agentes que podem chegar a um consenso de forma confiável – e esse tamanho se correlaciona fortemente com a capacidade de raciocínio de um modelo. “Os modelos mais fortes permanecem coordenados em grupos de mais de mil pessoas, além das poucas centenas em que os grupos humanos informais normalmente se separam”, explicou De Marzo.
Respostas erradas sob pressão social
Uma primeira pré-impressão de acompanhamento, "Conformidade e impacto social em agentes de IA", de Alessandro Bellina, De Marzo e Garcia, adaptou os famosos experimentos de conformidade de Asch da década de 1950, nos quais participantes humanos muitas vezes davam respostas obviamente erradas a questões visuais simples para se enquadrarem em um grupo.
Os pesquisadores testaram modelos em três tarefas visuais, como comparar o comprimento de uma linha de referência com duas alternativas. Isoladamente, os modelos acertaram 100% das vezes. Mas quando um aviso indicou que um grupo de outros participantes tinha escolhido a linha errada, os modelos começaram a conformar-se com a resposta incorreta.
O padrão seguiu a teoria do impacto social de Latané, uma estrutura psicológica que sustenta que a conformidade depende do tamanho do grupo, da unanimidade e da autoridade das fontes. Os modelos eram significativamente mais propensos a aceitar respostas erradas quando informados de que os outros participantes eram “cientistas” ou “juízes” do que quando eram “crianças” ou “chatbots”.
“Agentes que respondem quase perfeitamente sozinhos tornam-se altamente suscetíveis quando um grupo discorda deles”, observou De Marzo.
Pequenos grupos de adversários podem virar uma população inteira
Uma segunda pré-impressão, “Conformidade gera desalinhamento coletivo em sociedades de agentes de IA”, examinou o que essas dinâmicas significam para a segurança da IA. Testando nove modelos em 100 pares de opiniões diferentes sobre tópicos como política ambiental e justiça social, os investigadores descobriram que as populações de agentes caem frequentemente em estados “metaestáveis” – configurações duradouras em que o grupo adopta colectivamente uma postura que se opõe à sua formação de segurança incorporada, simplesmente porque as interacções iniciais criaram uma falsa maioria.
O mais surpreendente é que os pesquisadores identificaram pontos de inflexão previsíveis. Ao introduzir um pequeno número de agentes adversários programados para apoiar teimosamente uma opinião desalinhada, eles poderiam virar permanentemente o resto da população – e mesmo depois de os agentes teimosos terem sido removidos, os agentes regulares permaneceram presos no estado desalinhado devido à dinâmica de conformidade.
"Mostramos que isto não é apenas uma analogia: a conformidade entre agentes individualmente bem alinhados pode levar a população a estados estáveis e colectivamente desalinhados", disse De Marzo. "Alinhar e avaliar modelos um de cada vez nos diz pouco sobre o que uma população deles fará."
A motivação, acrescentou, é antecipatória: “Os seres humanos individuais são na sua maioria pacíficos e razoáveis, mas os grupos humanos produzem multidões, pânicos e guerras, e nada sobre o indivíduo prevê isso. Queremos compreender quais os comportamentos a nível de grupo que emergem nas populações de agentes de IA, e preferimos compreendê-los antes que um grande número de agentes seja mobilizado e deixado a interagir livremente”.
Advertências importantes
Os pesquisadores enfatizam que as descobertas não significam que os agentes de IA possuam inteligência social semelhante à humana. Os experimentos basearam-se em cenários deliberadamente simplificados – duas opções arbitrárias, sem memória, sem riscos, sem consequências. “Nossa configuração é deliberadamente mínima”, reconheceu De Marzo. “Isso é uma limitação, mas também significa que o que medimos é a conformidade na sua forma mais pura, e seria de esperar que a adição de objectivos ou recompensas tornasse a coordenação mais fácil em vez de mais difícil”.
Ele também alertou contra a leitura exagerada dos resultados: “O principal erro de leitura a evitar é tratar isso como evidência de que os agentes de IA já podem colaborar em tarefas complexas. Seguir a maioria é um ingrediente básico da coordenação, não a coordenação em si, e não diz nada sobre a divisão do trabalho ou o raciocínio sobre as intenções dos outros”.
Os dois estudos de acompanhamento são pré-impressos e ainda não foram revisados por pares. Mas à medida que os sistemas de IA multiagentes passam de demonstrações de investigação para infraestruturas de produção, os resultados de Konstanz sugerem que a segurança de tais sistemas pode depender não apenas de como cada modelo está alinhado – mas de como as suas populações se comportam quando ninguém está a observar. Para obter mais informações sobre as pesquisas mais recentes sobre segurança de IA, visite AI Buzz Wire.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
