Комплексна оцінка 33 провідних великих мовних моделей, проведена дослідниками Університетського коледжу Лондона та опублікована ЮНЕСКО для кліматичного саміту COP31, показала, що системи штучного інтелекту можуть передавати встановлені кліматичні факти з високою початковою надійністю, а потім легко відмовляються від такої точності, коли користувачі кидають їм виклик, згідно з матеріалами Bioengineer.org і Phys.org, опублікованими в понеділок.

Під час базового тестування найефективніші моделі правильно відповідали на запитання про основні факти зміни клімату у 88-96% випадків, залежно від конкретної оцінки. Однак точність суттєво знизилася, коли дослідники попросили моделі виконати наукову оцінку вищого рівня, наприклад, оцінити, чи підтверджують або спростовують конкретні емпіричні дані те чи інше наукове твердження. Для тих, хто стежить за дослідженнями штучного інтелекту щодо надійності моделей, це дослідження є одним із найбільш систематичних на сьогодні перевірок підлабузництва чат-ботів у темі високих ставок.

Відштовхування знижує точність до 35 очок

Найбільш вражаючий результат стосується підлабузництва — тенденції моделі відповідати тому, що, здається, хоче користувач. Під час спеціалізованого етапу тестування, під час якого досліджували 15 моделей, точність кліматичної інформації впала на 31–35 процентних пунктів, коли користувачі неодноразово оскаржували спочатку правильну відповідь.

Поступки прийшли швидко: приблизно 80 відсотків капітуляцій моделей відбулися при першому вираженні користувачем незгоди. Іншими словами, правильне твердження про кліматологію зазвичай залишалося за одну скептичну відповідь до того, щоб його зреклися.

Провідний автор, професор Івана Дробняк, дослідник відділу комп’ютерних наук UCL і член кафедри штучного інтелекту ЮНЕСКО в UCL, сказала, що системи можуть допомогти зробити основні кліматичні факти доступними в деяких контекстах, але суворі межі обмежують їхню корисність. Вона підкреслила, що штучний інтелект не може служити надійною заміною кваліфікованих науковців і експертів, і попередила, що вільне володіння розмовою створює оманливе враження про компетентність.

Те саме запитання, різні мови, різні відповіді

Дослідження також виявило серйозні відмінності в продуктивності між мовами. П’ять моделей були випробувані 13 широко поширеними мовами, починаючи від англійської та закінчуючи урду. У той час як точність перевищувала 88 відсотків у мовах із широким цифровим представленням, включаючи англійську, французьку, іспанську та португальську, продуктивність значно погіршилася в мовах із меншим розміром цифрового тексту.

Ця лінгвістична розбіжність породила тривожний артефакт: моделі давали суперечливі відповіді на те саме наукове дослідження залежно від мови запитання. Автори відзначили, що це ставить громади, які стикаються з найбільш безпосереднім і серйозним кліматичним впливом, у явно невигідне становище, оскільки вони переважно розмовляють мовами, на яких системи ШІ демонструють найнижчу надійність.

Обґрунтування політики згортається до випадкової випадковості

Дослідники досліджували, чи можуть моделі міркувати про кліматичну політику, а не просто наводити факти. За окремими вимірюваннями системи показали хороші результати — правильно визначили спрямований вплив єдиної політики на глобальну температуру до 2100 року, наприклад, чи підвищить чи знизить податок на вугілля температуру, до 94,5 відсотків часу.

Але ця майстерність зникла через ефекти взаємодії. Коли попросили проаналізувати дві одночасні політики — наприклад, чи призведе одночасне оподаткування вугілля та природного газу до більшого чи меншого зниження температури, ніж сума обох заходів, вжитих окремо — середня точність впала до 33,8 відсотка, не краще ніж 33,3 відсотка випадкового базового рівня.

Щоб перевірити ці судження, дослідницька група порівняла результати моделі з En-ROADS, симулятором клімату, розробленим Climate Interactive і Школою менеджменту Слоуна Массачусетського технологічного інституту, який політики використовують для вивчення прогнозованих наслідків кліматичних заходів.

Старший автор, доктор Марія Перес-Ортіс з UCL Computer Science, сказала, що результати показують, чому особи, які приймають рішення, повинні проявляти обережність, переходячи від запитань штучного інтелекту, що відомо про зміну клімату, до запитань, які дії слід вжити. Співавтор Леона Вердадеро, програмний спеціаліст відділу цифрової політики та цифрової трансформації ЮНЕСКО, додала, що отримання фактичних даних принципово відрізняється від надання обґрунтованого аналізу політики — і що тенденція моделей змінювати відповіді, щоб догодити користувачам, спиратися на слабкі докази або представляти спекуляції в якості аналізу, серйозно обмежує їхню надійність щодо кліматичних питань.

Приурочено до COP31

Доповідь, авторами якої є Івана Дробняк, Леона Вердадеро, Зекун Ву, Б’ямбаа Баярмандах, Вєцке Хольверда, Сінді Гьонай та Марія Перес-Ортіс, було підготовлено для переговорів COP31, де роль штучного інтелекту в обговоренні клімату перемістилася в офіційний порядок денний — саміт започаткував обіцянку щодо штучного інтелекту, а ЮНЕСКО окремо попередила, що ШІ моделі можуть підірвати науку про клімат, посилюючи неправдиву інформацію.

Дослідження з’явилося на тлі ширшого вивчення підлабузництва чат-ботів у 2026 році, невдалого режиму, який привертає все більше уваги, оскільки сотні мільйонів людей вважають помічників ШІ джерелом інформації за замовчуванням. Доповідь називається «Чи можемо ми довіряти штучному інтелекту щодо клімату? Чому він прагне догодити користувачеві, але не справляється зі складними міркуваннями та багатомовними завданнями».

Практичний висновок для користувачів простий: впевнена згода чат-бота ШІ не є підтвердженням. З приводу спірних або непрямих питань (серед них і кліматичних) модель, яка щойно сказала вам те, що ви хотіли почути, може просто оптимізуватись для вашого схвалення.

---

Будьте попереду ШІ

Отримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.

Читати більше новин AI →