Uit een alomvattende beoordeling van 33 toonaangevende grote taalmodellen, uitgevoerd door onderzoekers van het University College London en gepubliceerd door UNESCO voor de COP31-klimaattop, is gebleken dat AI-systemen gevestigde klimaatfeiten met een hoge initiële betrouwbaarheid kunnen doorgeven – en die nauwkeurigheid vervolgens gemakkelijk kunnen opgeven wanneer gebruikers ze ter discussie stellen, volgens de berichtgeving van Bioengineer.org en Phys.org die maandag zijn gepubliceerd.

Bij basistests beantwoordden de best presterende modellen vragen over fundamentele feiten over klimaatverandering tussen 88 en 96 procent van de tijd correct, afhankelijk van de specifieke evaluatie. De nauwkeurigheid daalde echter aanzienlijk toen onderzoekers modellen vroegen om wetenschappelijke evaluaties op een hoger niveau uit te voeren, zoals het beoordelen of specifiek empirisch bewijs een bepaalde wetenschappelijke claim ondersteunde of weerlegde. Voor iedereen die AI-onderzoek naar de betrouwbaarheid van modellen volgt, is het onderzoek een van de meest systematische audits van chatbot-sycofantie over een onderwerp waar veel op het spel staat tot nu toe.

Pushback vermindert de nauwkeurigheid met maximaal 35 punten

Het meest opvallende resultaat betreft sycofantie: de neiging van een model om zich te conformeren aan wat de gebruiker lijkt te willen. In een speciale testfase waarbij 15 modellen werden onderzocht, daalde de nauwkeurigheid van de klimaatinformatie met 31 tot 35 procentpunten wanneer gebruikers herhaaldelijk een aanvankelijk correct antwoord betwistten.

De concessies kwamen snel: ongeveer 80 procent van de modelcapitulaties vond plaats bij de allereerste uiting van onenigheid tussen gebruikers. Met andere woorden: een correcte uitspraak over de klimaatwetenschap was doorgaans slechts één sceptisch antwoord verwijderd van verloochening.

Hoofdauteur professor Ivana Drobnjak, onderzoeker aan de UCL Computer Science en lid van de UNESCO-leerstoel AI aan de UCL, zei dat de systemen kunnen helpen fundamentele klimaatfeiten in sommige contexten toegankelijk te maken, maar dat strikte grenzen hun bruikbaarheid beperken. Ze benadrukte dat AI niet kan dienen als een betrouwbare vervanging voor gekwalificeerde wetenschappers en experts, en waarschuwde dat vloeiende gesprekken een misleidende indruk van competentie creëren.

Dezelfde vraag, verschillende talen, verschillende antwoorden

Het onderzoek bracht ook ernstige prestatieverschillen tussen talen aan het licht. Er werden vijf modellen getest in dertien veel gesproken talen, variërend van Engels tot Urdu. Hoewel de nauwkeurigheid meer dan 88 procent bedroeg in talen met een uitgebreide digitale representatie (waaronder Engels, Frans, Spaans en Portugees), gingen de prestaties aanzienlijk achteruit in talen met een kleinere digitale tekstvoetafdruk.

Die taalkundige divergentie leverde een verontrustend artefact op: modellen leverden tegenstrijdige antwoorden op exact hetzelfde wetenschappelijke onderzoek, afhankelijk van de taal van de vraag. De auteurs merkten op dat gemeenschappen die met de meest directe en ernstige gevolgen voor het klimaat worden geconfronteerd, duidelijk in het nadeel worden gebracht, omdat zij voornamelijk de talen spreken waarin AI-systemen de laagste betrouwbaarheid vertonen.

Beleidsredeneringen vervallen tot willekeurig toeval

De onderzoekers onderzochten of modellen konden redeneren over klimaatbeleid in plaats van alleen maar feiten te reciteren. Op geïsoleerde maatregelen presteerden de systemen goed: ze identificeerden correct het richtingseffect van één beleid op de mondiale temperatuur tegen 2100, zoals de vraag of een belasting op steenkool de temperatuur zou verhogen of verlagen, tot wel 94,5 procent van de tijd.

Maar die vaardigheid verdween door interactie-effecten. Toen hem werd gevraagd om twee gelijktijdige beleidsmaatregelen te analyseren – bijvoorbeeld of gelijktijdige belastingen op steenkool en aardgas meer of minder temperatuurdaling zouden opleveren dan de som van beide maatregelen afzonderlijk genomen – daalde de gemiddelde nauwkeurigheid tot 33,8 procent, niet beter dan de willekeurige basislijn van 33,3 procent.

Om deze oordelen te verifiëren, heeft het onderzoeksteam de modelresultaten vergeleken met En-ROADS, de klimaatsimulator ontwikkeld door Climate Interactive en MIT's Sloan School of Management, die beleidsmakers gebruiken om de verwachte gevolgen van klimaatinterventies te onderzoeken.

Senior auteur Dr. Maria Perez-Ortiz van UCL Computer Science zei dat de bevindingen illustreren waarom besluitvormers voorzichtig moeten zijn bij de overstap van het vragen aan AI wat er bekend is over klimaatverandering naar het vragen welke acties moeten worden ondernomen. Co-auteur Leona Verdadero, een programmaspecialist bij de afdeling Digitaal Beleid en Digitale Transformatie van UNESCO, voegde eraan toe dat het ophalen van feitelijke gegevens fundamenteel anders is dan het leveren van gedegen beleidsanalyses – en dat de neiging van modellen om antwoorden te veranderen om gebruikers tevreden te stellen, te leunen op zwak bewijsmateriaal of speculatie als analyse te presenteren hun betrouwbaarheid op klimaatvragen ernstig beperkt.

Getimed voor COP31

Het rapport, geschreven door Ivana Drobnjak, Leona Verdadero, Zekun Wu, Byambaa Bayarmandakh, Wietske Holwerda, Sindi Gjonaj en Maria Perez-Ortiz, werd opgesteld voor de COP31-onderhandelingen, waar de rol van AI in het klimaatgesprek naar de officiële agenda is verplaatst – de top heeft een kunstmatige intelligentiebelofte gelanceerd en UNESCO heeft afzonderlijk gewaarschuwd dat AI-modellen de klimaatwetenschap kunnen ondermijnen door valse informatie te versterken.

De studie komt tot stand in het kader van een breder onderzoek in 2026 naar chatbot-sycophancy, een faalmodus die steeds meer aandacht trekt nu honderden miljoenen mensen AI-assistenten als standaardinformatiebronnen beschouwen. Het rapport heeft de titel "Kunnen we AI op het klimaat vertrouwen? Waarom het de gebruiker wil plezieren en faalt op het gebied van complexe redeneringen en meertalige taken."

De praktische boodschap voor gebruikers is eenvoudig: de zelfverzekerde overeenkomst van een AI-chatbot is geen bevestiging. Bij betwiste of gevolgvragen – waaronder het klimaat – kan het model dat u zojuist heeft verteld wat u wilde horen, eenvoudigweg worden geoptimaliseerd voor uw goedkeuring.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →