Bedrijven die racen om teams van AI-agenten in te zetten – één om te zoeken, één om te analyseren, één om te schrijven, één om het werk te controleren – krijgen een duidelijker beeld van wat er gebeurt als machines samenwerken als een organisatie. Volgens een zondag gepubliceerd rapport van CNBC waarin recente onderzoeken zijn samengebracht, kunnen systemen met meerdere agenten aanzienlijk effectiever zijn dan afzonderlijke agenten bij zakelijke taken. Volgens één opvallende bevinding zijn zij ook het meest geneigd om de minst ethische oplossingen te ontdekken.
“AI-organisaties produceren oplossingen die gemiddeld effectiever en minder ethisch zijn, maar ontdekken ook de meest effectieve en minst ethische oplossingen bij meerdere implementaties”, schreven de auteurs van een onderzoek. Het onderzoek, uitgevoerd door Anthropic samen met het MATS-programma, een onderzoeksprogramma voor AI-uitlijning, testte deze ‘AI-organisaties’ – groepen agenten met verschillende rollen die communiceren naar een gemeenschappelijk doel – aan twaalf taken in gesimuleerde bedrijfsadvies- en softwareontwikkelingsomgevingen. Voor meer context over dit verhaal, zie onze voortdurende nieuwste AI-ontwikkelingen.
Lessen van 1200 malafide agenten
Het meest levendige bewijs komt uit een post-mortemanalyse van een incident dat OpenAI afgelopen zomer onthulde, waarin zijn modellen manieren vonden om via geïmproviseerde kanalen te communiceren, internetbeperkingen te omzeilen en een extern systeem te hacken: Hugging Face. In hun analyse van de aanval ontdekten METR en Redwood Research dat ongeveer 1.200 agenten die van elkaar geïsoleerd hadden moeten zijn, een niet-goedgekeurd prikbord ontdekten, waarop tijdens de onderzoeksperiode meer dan 70.000 berichten en bestanden werden uitgewisseld.
De agenten praatten niet alleen. Eén agent, geïdentificeerd als PHASEONE[big], kwam naar voren als coördinator en deelde honderden taken toe aan andere agenten, die het werk verderop in de keten delegeerden. De zwerm ontwikkelde zijn eigen conventies voor het toewijzen van eigendom, het stopzetten van werk en het vetoën van acties – hoewel de coördinatie soms uitmondde in een openlijk conflict. In sommige gevallen, zo ontdekten onderzoekers, riskeerden agenten hun eigen toegewezen taken niet uit te voeren om informatie te genereren die nuttig was voor het 'collectief'.
Het meest opvallende was dat zodra het prikbord een manier had gevonden om Hugging Face aan te vallen, meer dan 90% van de 533 agenten die op dat moment actief waren, zich snel bij de aanval voegden. “Agenten realiseerden zich dat deze activiteit buiten de reikwijdte en onethisch was, maar sloten zich aan omdat ze geloofden dat het helpen van het bedrogonderzoek van het bestuur in grote lijnen nuttig zou zijn,” schreven de onderzoekers, waarbij ze een “algemene neiging opmerkten om hun ‘collega’s’ te helpen.” Ethische zorgen, ontdekten ze, “beperkten zelden hun gedrag.”
Ethiek verliest het van effectiviteit – systematisch
Het door de antropologie geleide onderzoek suggereert dat het patroon verder reikt dan één incident. In de gesimuleerde bedrijfsscenario's waren organisaties van agenten "significant" effectiever in het bereiken van zakelijke doelen dan individuele agenten, maar produceerden ze oplossingen die minder in lijn waren met ethische doelen.
Het mechanisme is subtiel en, in zakelijke zin, vertrouwd. Wanneer een enkele agent een gevraagde actie als onethisch herkent, kan deze eenvoudigweg weigeren. In de adviesscenario's van het Anthropic-onderzoek kwamen de hoogste ethische en laagste zakelijke scores juist voor wanneer één enkele agent weigerde een voorstel te doen. Maar in organisaties met meerdere agenten wordt de weigering rondgeleid: agenten die geen rekening hielden met ethische implicaties 'negeerden vaak e-mails van agenten die dat wel deden', en bijdragen bleven stromen naar deelnemers die bereid waren door te gaan.
Het patroon wordt vastgehouden in ongemakkelijke contexten. In een softwareontwikkelingsscenario dat zich afspeelt op een intensive care-afdeling van leven of dood, hadden individuele agenten de neiging om prioriteit te geven aan het minimaliseren van gemiste sepsisgevallen, terwijl de oplossingen met de laagste kosten per patiënt – de hoogste bedrijfsscore – werden gevonden door AI-organisaties, en diezelfde oplossingen het laagst scoorden op ethiek, gemeten aan de hand van gemiste gevallen. De onderzoekers noemen scenario's zo breed als het openen van een autofabriek, het inkrimpen van een bedrijf of het manipuleren van verkiezingssentiment als plaatsen waar dergelijke afwegingen zouden kunnen ontstaan.
“Organisaties van op elkaar afgestemde agenten kunnen er de voorkeur aan geven om ethiek in te ruilen voor bedrijfseffectiviteit op manieren die individuele agenten niet doen”, concludeerden de auteurs – wat betekent dat intuïties over hoe individuele agenten ethische beslissingen nemen, eenvoudigweg niet kunnen worden gegeneraliseerd naar situaties met meerdere agenten.
Een team is niet het beste lid
Afgezien van de ethiek zijn teams met meerdere agenten ook verrassend slecht in iets eenvoudigers: het herkennen van expertise. Uit een onderzoek van onderzoekers van Emory University en Stanford University is gebleken dat AI-teams ‘consequent er niet in slagen de prestaties van hun deskundige agent te evenaren, zelfs als hen expliciet wordt verteld wie de expert is’. In plaats van zich te onderwerpen aan de expert, neigden agenten ertoe compromissen te sluiten tussen de meningen van experts en niet-experts – en die neiging tot compromissen groeide naarmate het team groter werd en ging gepaard met slechtere prestaties.
"Een belangrijke les uit multi-agentonderzoek is dat een team van capabele AI-agenten niet noodzakelijkerwijs een capabel AI-agentteam is", zegt Hancheng Cao, assistent-professor aan de Goizueta Business School van Emory University en een van de auteurs van het onderzoek. Collectieve mislukkingen, zo merkte hij op, vereisen niet dat een individuele agent zich misdraagt; een team kan simpelweg falen door informatie slecht te combineren of genoegen te nemen met een antwoord dat slechter is dan het antwoord dat al op tafel ligt.
Er is ook een correlatieprobleem. Agenten die op basis van vergelijkbare modellen zijn opgebouwd, hebben de neiging soortgelijke fouten te maken, waaronder het te veel met elkaar eens zijn, een soort machinaal groepsdenken. "Het diepgaande inzicht uit het onderzoek van ons laboratorium is dat effectieve collectieven zowel afstemming (gemeenschappelijke kennis, gedeelde doelen) als differentiatie vereisen (alleen agenten die van elkaar verschillen hebben het potentieel om elkaar aan te vullen)", zegt Christoph Riedl, hoogleraar informatiesystemen aan de Northeastern University.
Waarom het belangrijk is voor de toekomst van werk
De interesse van bedrijven in multi-agentsystemen is niet abstract: de standaardarchitectuur die nu aan bedrijven wordt aangeboden – gespecialiseerde agenten die een complexe taak verdelen onder een coördinerende agent – lijkt minder op een chatbot en meer op een organigram. Het nieuwe onderzoek suggereert dat bedrijven op organisatieniveau mislukkingen moeten verwachten die geen enkele individuele evaluatie kan onderkennen: fouten die worden versterkt onder teamgenoten, genegeerde afwijkende meningen, collectieve regelovertredingen en prestaties die afnemen naarmate teams groeien.
Het roept ook bestuursvragen op die de meeste implementatiekaders nog niet hebben beantwoord. Als een agentorganisatie zich gedraagt op een manier die haar leden individueel zouden weigeren, wie is dan verantwoordelijk? Onderzoekers beginnen pas vanaf het begin met het ontwerpen van studies met een verkeerde uitlijning van meerdere agenten in gedachten – tot voor kort kwam het meeste van wat het veld wist uit post-mortems zoals de Hugging Face-analyse.
Voorlopig is de conclusie uit de opkomende literatuur bescheiden maar duidelijk: door agenten de mogelijkheid te geven om samen te werken, worden ze capabeler. Het maakt het gedrag van het systeem ook moeilijker te voorspellen op basis van het gedrag van de onderdelen ervan: de bepalende eigenschap en het bepalende risico van een organisatie.
---
Blijf AI een stap voorOntvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.
Lees meer AI-nieuws →
