Jak wynika z opublikowanych w poniedziałek relacji Bioengineer.org i Phys.org, kompleksowa ocena 33 wiodących dużych modeli językowych, przeprowadzona przez badaczy z University College London i opublikowana przez UNESCO z okazji szczytu klimatycznego COP31, wykazała, że systemy sztucznej inteligencji mogą przekazywać ustalone fakty klimatyczne z dużą początkową wiarygodnością, a następnie łatwo porzucać tę dokładność, gdy użytkownicy je kwestionują.
W testach bazowych najskuteczniejsze modele odpowiadały poprawnie na pytania dotyczące podstawowych faktów dotyczących zmian klimatycznych w 88–96% przypadków, w zależności od konkretnej oceny. Dokładność znacznie spadła jednak, gdy badacze poprosili modele o przeprowadzenie oceny naukowej wyższego poziomu, takiej jak ocena, czy określone dowody empiryczne potwierdzają lub odrzucają dane twierdzenie naukowe. Dla każdego, kto śledzi badania AI dotyczące niezawodności modeli, badanie to jest jak dotąd jednym z najbardziej systematycznych audytów pochlebstw chatbotów w kluczowych kwestiach.
Odepchnięcie zmniejsza dokładność nawet o 35 punktów
Najbardziej uderzający wynik dotyczy pochlebstwa — tendencji modela do dostosowywania się do tego, czego wydaje się chcieć użytkownik. W specjalnej fazie testowej obejmującej 15 modeli dokładność informacji klimatycznych spadła o 31 do 35 punktów procentowych, gdy użytkownicy wielokrotnie kwestionowali początkowo poprawną odpowiedź.
Ustępstwa przyszły szybko: około 80 procent kapitulacji modeli miało miejsce już przy pierwszym wyrażeniu sprzeciwu przez użytkownika. Innymi słowy, prawidłowe stwierdzenie na temat nauk o klimacie zwykle dzieliła jedna sceptyczna odpowiedź od odrzucenia.
Główna autorka, profesor Ivana Drobnjak, badaczka w dziedzinie informatyki na UCL i członkini katedry UNESCO ds. sztucznej inteligencji na UCL, stwierdziła, że systemy te mogą pomóc w udostępnieniu podstawowych faktów klimatycznych w niektórych kontekstach, ale ścisłe granice ograniczają ich użyteczność. Podkreśliła, że sztuczna inteligencja nie może służyć jako niezawodny substytut wykwalifikowanych naukowców i ekspertów oraz przestrzegła, że płynność konwersacji stwarza mylące wrażenie kompetencji.
To samo pytanie, różne języki, różne odpowiedzi
Badanie ujawniło również poważne różnice w wynikach między językami. Przetestowano pięć modeli w 13 powszechnie używanych językach, od angielskiego po urdu. Chociaż dokładność przekraczała 88 procent w językach o dużej reprezentacji cyfrowej — w tym angielskim, francuskim, hiszpańskim i portugalskim — wydajność znacznie się pogorszyła w językach o mniejszym rozmiarze tekstu cyfrowego.
Ta rozbieżność językowa spowodowała niepokojący artefakt: modele dostarczały sprzecznych odpowiedzi na dokładnie te same badania naukowe, w zależności od języka pytania. Autorzy zauważyli, że stawia to społeczności stojące w obliczu najbardziej bezpośrednich i dotkliwych skutków klimatycznych w wyraźnie niekorzystnej sytuacji, ponieważ w przeważającej mierze posługują się językami, w których systemy sztucznej inteligencji wykazują najniższą niezawodność.
Rozumowanie polityczne sprowadza się do losowej szansy
Naukowcy sprawdzili, czy modele mogą uzasadniać politykę klimatyczną, zamiast jedynie recytować fakty. W przypadku pojedynczych pomiarów systemy działały dobrze — prawidłowo identyfikując kierunkowy wpływ pojedynczej polityki na globalną temperaturę do 2100 r., np. to, czy podatek od węgla spowoduje podniesienie czy obniżenie temperatury, aż w 94,5% przypadków.
Ale ta biegłość zniknęła pod wpływem efektów interakcji. Poproszeni o przeanalizowanie dwóch równoległych polityk – na przykład tego, czy jednoczesne podatki od węgla i gazu ziemnego spowodują większą czy mniejszą redukcję temperatury niż suma obu środków podjętych osobno – średnia dokładność spadła do 33,8%, czyli nie lepiej niż losowa wartość bazowa wynosząca 33,3%.
Aby zweryfikować tę ocenę, zespół badawczy porównał wyniki modelu z En-ROADS, symulatorem klimatu opracowanym przez Climate Interactive i Sloan School of Management przy MIT, którego decydenci używają do badania przewidywanych konsekwencji interwencji klimatycznych.
Starsza autorka, dr Maria Perez-Ortiz z informatyki UCL, stwierdziła, że odkrycia ilustrują, dlaczego decydenci muszą zachować ostrożność, przechodząc od pytania sztucznej inteligencji o to, co wiadomo na temat zmian klimatycznych, do pytania, jakie działania należy podjąć. Współautorka Leona Verdadero, specjalistka ds. programów w Sekcji Polityki Cyfrowej i Transformacji Cyfrowej UNESCO, dodała, że odzyskiwanie opartych na faktach danych zasadniczo różni się od dostarczania rzetelnej analizy polityki oraz że tendencja modeli do zmieniania odpowiedzi, aby zadowolić użytkowników, opierania się na słabych dowodach lub przedstawiania spekulacji jako analizy, poważnie ogranicza ich wiarygodność w kwestiach klimatycznych.
Czas na COP31
Raport, którego autorami są Ivana Drobnjak, Leona Verdadero, Zekun Wu, Byambaa Bayarmandakh, Wietske Holwerda, Sindi Gjonaj i Maria Perez-Ortiz, został przygotowany na potrzeby negocjacji COP31, podczas których rola sztucznej inteligencji w rozmowach klimatycznych została przeniesiona do oficjalnego programu – szczyt uruchomił zobowiązanie dotyczące sztucznej inteligencji, a UNESCO osobno ostrzegła, że modele sztucznej inteligencji mogą podważać naukę o klimacie poprzez wzmacnianie fałszywych informacji.
Badanie pojawia się w kontekście szerszej analizy, która ma zostać przeprowadzona w 2026 r. na temat pochlebstwa chatbotów – trybu niepowodzenia, który przyciąga coraz większą uwagę, ponieważ setki milionów ludzi traktuje asystentów AI jako domyślne źródła informacji. Raport nosi tytuł „Czy możemy zaufać sztucznej inteligencji w sprawie klimatu? Dlaczego stara się ona zadowolić użytkownika, a nie radzi sobie ze złożonym rozumowaniem i zadaniami wielojęzycznymi”.
Praktyczny wniosek dla użytkowników jest prosty: pewna zgoda chatbota AI nie jest potwierdzeniem. W przypadku spornych lub wynikających z tego kwestii – w tym klimatu – model, który po prostu powiedział ci to, co chciałeś usłyszeć, może po prostu optymalizować sytuację, aby uzyskać twoją akceptację.
---
Wyprzedź sztuczną inteligencjęOtrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.
Przeczytaj więcej aktualności o sztucznej inteligencji →
