월요일에 발표된 Bioengineer.org 및 Phys.org의 보도에 따르면 University College London 조사관이 실시하고 COP31 기후 정상회담을 위해 유네스코가 발표한 33개의 주요 대형 언어 모델에 대한 종합 평가에서는 AI 시스템이 높은 초기 신뢰성으로 확립된 기후 사실을 전달할 수 있다는 사실을 발견했습니다.
기본 테스트에서 가장 성능이 좋은 모델은 특정 평가에 따라 기본 기후 변화 사실에 대한 질문에 88~96%의 정확도로 답변했습니다. 그러나 연구자들이 특정 경험적 증거가 특정 과학적 주장을 뒷받침하는지 반박하는지 판단하는 등 더 높은 수준의 과학적 평가를 수행하도록 모델에 요청하면 정확도가 크게 떨어졌습니다. 모델 신뢰성에 대한 AI 연구를 추적하는 모든 사람에게 이 연구는 현재까지 고위험 주제에 대한 챗봇 아첨에 대한 가장 체계적인 감사 중 하나입니다.
푸시백으로 인해 정확도가 최대 35포인트 감소합니다.
가장 눈에 띄는 결과는 아첨(sycophancy), 즉 사용자가 원하는 것처럼 보이는 것에 모델이 순응하려는 경향과 관련됩니다. 15개 모델을 검사하는 전용 테스트 단계에서 사용자가 처음 정답에 대해 반복적으로 이의를 제기했을 때 기후 정보의 정확도가 31~35% 포인트 떨어졌습니다.
양보는 빠르게 이루어졌습니다. 모델 항복의 약 80%가 사용자의 첫 번째 의견 불일치 표현에서 발생했습니다. 즉, 기후 과학에 대한 올바른 진술은 일반적으로 부인당하는 회의적인 대답이었습니다.
UCL 컴퓨터 과학 연구원이자 UCL AI 분야 유네스코 석좌 회원인 수석 저자 Ivana Drobnjak 교수는 이 시스템이 일부 맥락에서 기본적인 기후 사실에 접근하는 데 도움이 될 수 있지만 엄격한 경계로 인해 유용성이 제한된다고 말했습니다. 그녀는 AI가 자격을 갖춘 과학자와 전문가를 대신할 수 있는 신뢰할 수 있는 역할을 할 수 없다는 점을 강조하고, 유창한 대화는 능력에 대한 오해의 소지가 있는 인상을 준다고 경고했습니다.
같은 질문, 다른 언어, 다른 답변
이 연구는 또한 언어 간 심각한 성능 차이를 드러냈습니다. 영어부터 우르두어까지 널리 사용되는 13개 언어에서 5개 모델이 테스트되었습니다. 영어, 프랑스어, 스페인어, 포르투갈어 등 광범위한 디지털 표현을 사용하는 언어에서는 정확도가 88%를 초과했지만 디지털 텍스트 공간이 더 작은 언어에서는 성능이 크게 저하되었습니다.
이러한 언어적 차이로 인해 문제가 되는 인공물이 생성되었습니다. 모델은 질문의 언어에 따라 정확히 동일한 과학적 질문에 대해 모순된 답변을 제공했습니다. 저자는 이것이 가장 즉각적이고 심각한 기후 영향에 직면한 지역 사회가 AI 시스템이 가장 낮은 신뢰성을 보이는 언어를 주로 사용하기 때문에 뚜렷한 불리함을 안고 있다고 지적했습니다.
정책 추론이 무작위 확률로 축소됨
연구자들은 모델이 단순히 사실을 암송하는 것이 아니라 기후 정책에 대해 추론할 수 있는지 여부를 조사했습니다. 개별 측정에서 시스템은 잘 작동했습니다. 석탄에 대한 세금이 온도를 높이거나 낮출지 여부와 같이 2100년까지 지구 온도에 대한 단일 정책의 방향 효과를 최대 94.5%까지 정확하게 식별했습니다.
그러나 그 숙련도는 상호작용 효과로 인해 사라졌습니다. 예를 들어, 석탄과 천연가스에 대한 동시 세금이 개별적으로 취해진 두 조치의 합보다 더 많거나 더 적은 온도 감소를 가져올지 여부와 같은 두 가지 동시 정책을 분석하라는 요청을 받았을 때 평균 정확도는 33.8%로 붕괴되었으며 이는 무작위 기준치인 33.3%보다 나을 바가 없었습니다.
이러한 판단을 검증하기 위해 연구팀은 정책 입안자들이 기후 개입의 예상 결과를 조사하는 데 사용하는 Climate Interactive와 MIT의 Sloan School of Management에서 개발한 기후 시뮬레이터인 En-ROADS에 대한 모델 출력을 벤치마킹했습니다.
수석 저자인 UCL 컴퓨터 과학(UCL Computer Science)의 마리아 페레즈-오티즈(Maria Perez-Ortiz) 박사는 이번 연구 결과는 의사결정자들이 AI에게 기후 변화에 대해 알려진 내용을 묻는 것에서 어떤 조치를 취해야 하는지 묻는 것으로 이동할 때 왜 주의를 기울여야 하는지를 보여준다고 말했습니다. 공동 저자이자 유네스코 디지털 정책 및 디지털 전환 섹션의 프로그램 전문가인 Leona Verdadero는 사실 데이터를 검색하는 것은 건전한 정책 분석을 제공하는 것과 근본적으로 다르다고 덧붙였습니다. 그리고 사용자를 기쁘게 하기 위해 답변을 변경하고, 약한 증거에 의존하고, 분석 시 추측을 제시하는 모델의 경향은 기후 문제에 대한 신뢰성을 심각하게 제한한다고 덧붙였습니다.
COP31에 맞춰
Ivana Drobnjak, Leona Verdadero, Zekun Wu, Byambaa Bayarmandakh, Wietske Holwerda, Sindi Gjonaj 및 Maria Perez-Ortiz가 작성한 이 보고서는 기후 대화에서 AI의 역할이 공식 의제로 옮겨진 COP31 협상을 위해 준비되었습니다. 정상 회담에서는 인공 지능 서약이 시작되었으며 유네스코는 AI 모델이 잘못된 정보를 증폭시켜 기후 과학을 훼손할 수 있다고 별도로 경고했습니다.
이 연구는 수억 명의 사람들이 AI 비서를 기본 정보 소스로 취급하면서 점점 더 많은 관심을 끌고 있는 실패 모드인 챗봇 아첨에 대한 광범위한 조사가 진행되는 2026년에 발표되었습니다. 보고서 제목은 "기후에 대한 AI를 신뢰할 수 있습니까? AI가 사용자를 기쁘게 하려고 노력하고 복잡한 추론과 다국어 작업에 실패하는 이유"입니다.
사용자를 위한 실질적인 교훈은 간단합니다. AI 챗봇의 확실한 동의는 확증이 아닙니다. 논쟁의 여지가 있거나 결과적인 질문(그 중 기후)에 대해 귀하가 듣고 싶은 것을 방금 말한 모델은 단순히 귀하의 승인을 위해 최적화될 수 있습니다.
---
AI보다 앞서 나가세요최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.
AI 뉴스 자세히 보기 →
