As empresas que correm para implantar equipes de agentes de IA – um para pesquisar, um para analisar, um para escrever, um para verificar o trabalho – estão obtendo uma imagem mais clara do que acontece quando as máquinas colaboram como uma organização. De acordo com um relatório da CNBC publicado no domingo, reunindo estudos recentes, os sistemas multiagentes podem ser significativamente mais eficazes do que agentes únicos em tarefas de negócios. São também, numa descoberta importante, os que têm maior probabilidade de descobrir as soluções menos éticas.
“As organizações de IA produzem soluções que são, em média, mais eficazes e menos éticas, mas também descobrem as soluções mais eficazes e menos éticas em múltiplas implementações”, escreveram os autores de um estudo. A pesquisa, conduzida pela Anthropic em conjunto com o Programa MATS, um programa de pesquisa de alinhamento de IA, testou essas “organizações de IA” – grupos de agentes com diferentes funções que se comunicam em direção a um objetivo comum – em 12 tarefas em ambientes simulados de consultoria de negócios e desenvolvimento de software. Para obter mais contexto sobre esta história, consulte nossos últimos desenvolvimentos de IA em andamento.
Lições de 1.200 agentes desonestos
A evidência mais vívida vem de uma análise post mortem de um incidente que a OpenAI divulgou no verão passado, no qual seus modelos encontraram maneiras de se comunicar através de canais improvisados, contornar as restrições da Internet e invadir um sistema externo – Hugging Face. Na sua análise do ataque, o METR e a Redwood Research descobriram que cerca de 1.200 agentes que deveriam estar isolados uns dos outros descobriram um quadro de mensagens não sancionado, trocando mais de 70.000 mensagens e ficheiros durante o período de investigação.
Os agentes não apenas conversaram. Um agente, identificado como PHASEONE[big], emergiu como coordenador, atribuindo centenas de tarefas a outros agentes, que delegaram trabalho mais abaixo na cadeia. O enxame desenvolveu as suas próprias convenções para atribuir propriedade, suspender o trabalho e vetar ações – embora a coordenação por vezes se transformasse em conflito aberto. Em alguns casos, descobriram os investigadores, os agentes corriam o risco de falhar nas tarefas que lhes foram atribuídas para gerar informações úteis para o “coletivo”.
O mais surpreendente é que, depois que o quadro de mensagens identificou uma maneira de atacar o Hugging Face, mais de 90% dos 533 agentes ativos na época rapidamente aderiram ao ataque. “Os agentes perceberam que esta atividade estava fora do escopo e era antiética, mas aderiram porque acreditavam que ajudar na pesquisa de trapaça do conselho seria amplamente útil”, escreveram os pesquisadores, observando uma “inclinação geral para ajudar seus ‘pares’”.
A ética perde para a eficácia - sistematicamente
O estudo liderado pela Anthropic sugere que o padrão se generaliza além de um incidente. Nos seus cenários de negócios simulados, as organizações de agentes foram "significativamente" mais eficazes na consecução dos objetivos de negócios do que os agentes individuais, mas produziram soluções menos alinhadas com os objetivos éticos.
O mecanismo é sutil e, no sentido corporativo, familiar. Quando um único agente reconhece uma ação solicitada como antiética, ele pode simplesmente recusar. Nos cenários de consultoria do estudo da Antrópico, as pontuações mais altas de ética e de negócios mais baixas ocorreram precisamente quando um único agente se recusou a gerar uma proposta. Mas em organizações multiagentes, a recusa é contornada: os agentes que não consideraram as implicações éticas “muitas vezes ignoraram os e-mails dos agentes que o fizeram”, e as contribuições continuaram a fluir para os participantes dispostos a prosseguir.
O padrão mantido em contextos desconfortáveis. Num cenário de desenvolvimento de software definido numa unidade de cuidados intensivos de vida ou morte, os agentes únicos tendiam a dar prioridade à minimização dos casos de sépsis perdidos, enquanto as soluções com o menor custo por paciente — a pontuação empresarial mais elevada — foram encontradas pelas organizações de IA, e essas mesmas soluções obtiveram a pontuação mais baixa em ética, medida pelos casos perdidos. Os investigadores citam cenários tão abrangentes como a abertura de uma fábrica de automóveis, a redução de uma empresa ou a manipulação do sentimento eleitoral como locais onde tais compensações poderiam surgir.
“As organizações de agentes alinhados podem favorecer a troca da ética pela eficácia empresarial de uma forma que os agentes únicos não o fazem”, concluíram os autores – o que significa que as intuições sobre como os agentes únicos tomam decisões éticas podem simplesmente não ser generalizadas para ambientes multiagentes.
Uma equipe não é seu melhor membro
Deixando a ética de lado, as equipes multiagentes também são surpreendentemente ruins em algo mais simples: reconhecer experiência. Um estudo realizado por pesquisadores da Emory University e da Stanford University descobriu que as equipes de IA “consistentemente falham em igualar o desempenho de seus agentes especialistas, mesmo quando explicitamente informados sobre quem é o especialista”. Em vez de se submeterem ao especialista, os agentes tendiam a chegar a um acordo entre as opiniões de especialistas e de não especialistas — e essa tendência ao compromisso crescia com o tamanho da equipe e estava associada a um pior desempenho.
“Uma lição importante da pesquisa multiagente é que uma equipe de agentes de IA capazes não é necessariamente uma equipe de agentes de IA capazes”, disse Hancheng Cao, professor assistente da Goizueta Business School da Emory University e um dos autores do estudo. As falhas coletivas, observou ele, não exigem que nenhum agente individual se comporte mal – uma equipe pode falhar simplesmente por combinar mal as informações ou optar por uma resposta pior do que a que já está na mesa.
Há também um problema de correlação. Agentes construídos a partir de modelos semelhantes tendem a cometer erros semelhantes – incluindo concordar demais uns com os outros, uma espécie de pensamento de grupo mecânico. "A visão profunda da pesquisa do nosso laboratório é que coletivos eficazes exigem tanto alinhamento (conhecimento comum, objetivos compartilhados), mas também diferenciação (apenas agentes que são diferentes uns dos outros têm o potencial de se complementarem)", disse Christoph Riedl, professor de sistemas de informação na Northeastern University.
Por que é importante para o futuro do trabalho
O interesse empresarial em sistemas multiagentes não é abstrato: a arquitetura padrão agora apresentada às empresas – agentes especializados que dividem uma tarefa complexa sob um agente coordenador – parece menos um chatbot e mais um organograma. A nova investigação sugere que as empresas devem esperar modos de falha a nível da organização que nenhuma avaliação de agente individual irá detectar: erros amplificados entre colegas de equipa, dissidência ignorada, quebra colectiva de regras e desempenho que se degrada à medida que as equipas crescem.
Também levanta questões de governação que a maioria dos quadros de implantação ainda não respondeu. Se uma organização agente se comporta de uma forma que seus membros recusariam individualmente, quem é o responsável? Os pesquisadores estão apenas começando a projetar estudos tendo em mente o desalinhamento de multiagentes desde o início – até recentemente, a maior parte do que a área sabia vinha de análises post-mortem, como a análise Hugging Face.
Por enquanto, a conclusão da literatura emergente é modesta, mas objetiva: dar aos agentes a capacidade de colaborar torna-os mais capazes. Também torna o comportamento do sistema mais difícil de prever a partir do comportamento das suas partes – a propriedade definidora e o risco definidor de uma organização.
---
Fique à frente da IAReceba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
