Terwijl bedrijven steeds grotere zwermen AI-agenten inzetten om samen aan problemen te werken, hebben onderzoekers van de Universiteit van Konstanz bewijs geleverd van een verontrustend opkomend gedrag: AI-agenten conformeren zich spontaan aan de mening van de meerderheid, geven verkeerde antwoorden onder groepsdruk, net als mensen in klassieke psychologie-experimenten – en kleine aantallen koppige tegenstanders kunnen een hele populatie agenten permanent in een toestand van wanorde brengen.
De bevindingen, gerapporteerd door PsyPost, komen uit een onderzoeksprogramma onder leiding van Giordano De Marzo, een postdoctoraal onderzoeker en docent aan het Social Data Science Lab binnen het Centrum voor Data en Methoden van de Universiteit van Konstanz, samen met collega's Claudio Castellano en David Garcia. Het hoofdonderzoek, getiteld ‘AI-agenten kunnen coördineren via meerderheidsvolging buiten menselijke schaal’, onderzocht hoe taalmodellen zich gedragen wanneer ze in groepen worden geplaatst zonder instructies om het eens te worden. Voor meer context over dit verhaal, zie ons laatste AI-ontwikkelingen.
“AI-agenten zijn een werkelijk nieuw soort entiteit die in de wereld actief is, en toen deze technologie arriveerde was het duidelijk dat deze zou blijven en dat deze agenten met elkaar zouden moeten communiceren om iets complexs te bereiken,” vertelde De Marzo aan PsyPost. "Dat is dezelfde situatie waarmee we worden geconfronteerd bij mensen en andere dieren, dus we hebben het op dezelfde manier benaderd."
Het experiment: geen instructies, alleen buren
De onderzoekers verzamelden groepen populaire taalmodellen uit de GPT-, Claude- en Llama-families, te beginnen met 50 agenten per groep. Elke agent kreeg een van de twee willekeurige, neutrale meningen toegewezen – opzettelijk weergegeven als willekeurige letters in plaats van geladen woorden als ‘ja’ of ‘nee’ – en vervolgens werd een lijst getoond met de huidige meningen van alle andere agenten. De agenten werden gevraagd een nieuwe mening te kiezen, uitsluitend op basis van die lijst, zonder expliciete instructie om zich daaraan te conformeren. Ze actualiseerden hun mening elk gemiddeld tien keer.
Het resultaat: geavanceerde modellen zoals GPT-4 Turbo en Claude 3 Opus volledig gecoördineerd, waarbij 100% van de agenten het uiteindelijk eens werd over één mening. Zwakkere modellen zoals GPT-3.5 Turbo bereikten helemaal geen consensus; hun overeenstemmingsniveaus fluctueerden willekeurig rond een verdeling van 50/50.
“Groepen AI-agenten kunnen zelfstandig bij elkaar blijven”, zei De Marzo. “Gezien twee even goede opties, geen juist antwoord en geen instructie om het eens te worden, komen ze samen tot een gedeelde keuze door simpelweg te volgen wat de meerderheid om hen heen denkt.”
Er ontstaat een eeuwenoude natuurkundewet
Om het effect te kwantificeren, hebben de onderzoekers een metriek gedefinieerd die de ‘meerderheidskracht’ wordt genoemd – een maatstaf voor hoe sterk een agent de neiging heeft om de populairste keuze van de groep over te nemen in plaats van willekeurig te kiezen. Toen ze dit gedrag wiskundig in kaart brachten, ontdekten ze dat het een model volgde dat oorspronkelijk was ontworpen om ferromagneten te beschrijven: net zoals atomaire spins in magnetisch materiaal de neiging hebben zich aan te sluiten bij hun buren, hebben AI-agenten de neiging zich aan te sluiten bij de mening van de meerderheid.
"Wat ons verraste was hoe uniform ze het deden", zei De Marzo. ‘Elk model dat we hebben getest, in drie verschillende families, volgde dezelfde wiskundige wet en verschilde slechts in één enkele parameter die we de meerderheidskracht noemen. Die wet bleek de wet te zijn die natuurkundigen een eeuw lang hebben gebruikt om magneten te beschrijven, wat betekent dat een enkel gemeten getal voldoende is om te voorspellen hoe een hele groep van een bepaald model zich zal gedragen.’
De conformiteit verzwakt naarmate groepen groeien. Omdat de meerderheidsmacht afneemt met de groepsgrootte, worden grote populaties uiteindelijk onstabiel en splitsen ze zich op in facties. Elk model heeft een meetbare ‘kritieke groepsgrootte’ – het maximale aantal agenten dat op betrouwbare wijze consensus kan bereiken – en die omvang correleert sterk met het redeneervermogen van een model. “De sterkste modellen blijven gecoördineerd in groepen van meer dan duizend, afgezien van de paar honderd waarbij informele menselijke groepen doorgaans uit elkaar vallen”, legt De Marzo uit.
Verkeerde antwoorden onder sociale druk
Een eerste vervolgvoordruk, "Conformity and Social Impact on AI Agents" van Alessandro Bellina, De Marzo en Garcia, paste de beroemde Asch-conformiteitsexperimenten uit de jaren vijftig aan, waarin menselijke deelnemers vaak duidelijk verkeerde antwoorden gaven op eenvoudige visuele vragen om bij een groep te passen.
De onderzoekers testten modellen op drie visuele taken, zoals het vergelijken van de lengte van een referentielijn met twee alternatieven. Afzonderlijk antwoordden de modellen 100% van de tijd correct. Maar toen een prompt aangaf dat een groep andere deelnemers de verkeerde lijn had gekozen, begonnen de modellen zich aan het onjuiste antwoord te conformeren.
Het patroon volgde de sociale impacttheorie van Latané, een psychologisch raamwerk dat stelt dat conformiteit afhangt van groepsgrootte, unanimiteit en de autoriteit van de bronnen. Het was aanzienlijk waarschijnlijker dat de modellen zich aan verkeerde antwoorden hielden als ze te horen kregen dat de andere deelnemers 'wetenschappers' of 'rechters' waren dan wanneer ze 'kinderen' of 'chatbots' waren.
"Agenten die bijna perfect alleen antwoorden, worden zeer vatbaar als een groep het niet met hen eens is", merkte De Marzo op.
Kleine groepen tegenstanders kunnen een hele bevolking omverwerpen
In een tweede preprint, ‘Conformity Generates Collective Misalignment in AI Agents Societies’, werd onderzocht wat deze dynamiek betekent voor de veiligheid van AI. Door negen modellen uit honderd verschillende opinieparen over onderwerpen als milieubeleid en sociale rechtvaardigheid te testen, ontdekten de onderzoekers dat agentpopulaties vaak in ‘metastabiele’ toestanden vervallen – langdurige configuraties waarin de groep collectief een standpunt inneemt dat zich verzet tegen de ingebouwde veiligheidstraining, eenvoudigweg omdat vroege interacties een valse meerderheid creëerden.
Het meest opvallend was dat de onderzoekers voorspelbare omslagpunten identificeerden. Door een klein aantal vijandige agenten te introduceren die geprogrammeerd zijn om koppig een niet-afgestemde mening te steunen, konden ze de rest van de bevolking permanent omdraaien – en zelfs nadat de koppige agenten waren verwijderd, bleven de reguliere agenten opgesloten in de niet-afgestemde staat vanwege de conformiteitsdynamiek.
“We laten zien dat dit niet alleen maar een analogie is: conformiteit tussen individueel goed op elkaar afgestemde actoren kan de bevolking in stabiele, collectief slecht op elkaar afgestemde staten drijven”, aldus De Marzo. "Het één voor één op één lijn brengen en evalueren van modellen vertelt ons weinig over wat een populatie van hen zal doen."
De motivatie, zo voegde hij eraan toe, is anticiperend: ‘Individuele mensen zijn meestal vreedzaam en redelijk, maar menselijke groepen veroorzaken bendes, paniek en oorlogen, en niets over het individu voorspelt dat. We willen begrijpen welk gedrag op groepsniveau naar voren komt in AI-agentpopulaties, en we zouden ze liever begrijpen voordat grote aantallen agenten worden ingezet en vrijelijk met elkaar kunnen communiceren.’
Belangrijke kanttekeningen
De onderzoekers benadrukken dat de bevindingen niet betekenen dat AI-agenten mensachtige sociale intelligentie bezitten. De experimenten waren gebaseerd op opzettelijk vereenvoudigde scenario's: twee willekeurige opties, geen geheugen, geen inzet, geen gevolgen. "Onze opzet is bewust minimaal", erkende De Marzo. "Dat is een beperking, maar het betekent ook dat wat we hebben gemeten conformiteit in de puurste vorm is, en dat het toevoegen van doelen of beloningen de coördinatie eerder gemakkelijker dan moeilijker zal maken."
Hij waarschuwde ook tegen het overmatig lezen van de resultaten: “De belangrijkste misinterpretatie die we moeten vermijden, is dit behandelen als bewijs dat AI-agenten al kunnen samenwerken aan complexe taken. Het volgen van de meerderheid is een basisingrediënt van coördinatie, niet de coördinatie zelf, en het zegt niets over de arbeidsverdeling of het redeneren over de bedoelingen van anderen.”
De twee vervolgstudies zijn preprints en nog niet peer-reviewed. Maar nu multi-agent AI-systemen van onderzoeksdemonstraties naar productie-infrastructuur evolueren, suggereren de resultaten van Konstanz dat de veiligheid van dergelijke systemen niet alleen kan afhangen van hoe elk model is uitgelijnd – maar ook van hoe populaties ervan zich gedragen als niemand kijkt. Bezoek AI Buzz Wire voor meer informatie over het nieuwste AI-veiligheidsonderzoek.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
