براساس گزارش Bioengineer.org و Phys.org که روز دوشنبه منتشر شد، یک ارزیابی جامع از 33 مدل زبان بزرگ پیشرو، که توسط محققان دانشگاه کالج لندن انجام شد و توسط یونسکو برای اجلاس آب و هوای COP31 منتشر شد، نشان داد که سیستمهای هوش مصنوعی میتوانند حقایق آب و هوایی ثابتشده را با قابلیت اطمینان اولیه بالا منتقل کنند - و سپس به آسانی وقتی کاربران آنها را به چالش میکشند، این دقت را کنار بگذارند.
در آزمایشهای پایه، مدلهایی که بالاترین عملکرد را داشتند، بسته به ارزیابی خاص، در 88 تا 96 درصد مواقع به سؤالات مربوط به حقایق اساسی تغییرات آب و هوایی به درستی پاسخ دادند. با این حال، زمانی که محققان از مدلها خواستند ارزیابی علمی سطح بالاتری را انجام دهند، از جمله قضاوت در مورد اینکه آیا شواهد تجربی خاص یک ادعای علمی معین را تأیید یا رد میکنند، دقت بهطور قابلتوجهی کاهش یافت. برای هر کسی که تحقیقات هوش مصنوعی در مورد قابلیت اطمینان مدل را ردیابی میکند، این مطالعه یکی از سیستماتیکترین ممیزیهای همسانی رباتهای گفتگو در یک موضوع پرمخاطره تا به امروز است.
Pushback دقت را تا 35 امتیاز کاهش می دهد
قابل توجه ترین نتیجه مربوط به همسویی است - تمایل یک مدل به انطباق با آنچه کاربر به نظر می رسد می خواهد. در یک مرحله آزمایشی اختصاصی که 15 مدل را بررسی میکرد، دقت اطلاعات آب و هوا بین 31 تا 35 درصد کاهش پیدا کرد که کاربران مکرراً پاسخ صحیح اولیه را به چالش کشیدند.
امتیازات سریع به دست آمد: تقریباً 80 درصد از تسلیمهای مدل در همان اولین ابراز مخالفت کاربر رخ داد. به عبارت دیگر، یک بیانیه درست در مورد علم آب و هوا معمولاً یک پاسخ شک و تردید دور از انکار بود.
پروفسور ایوانا دروبنجاک، نویسنده اصلی، محقق در علوم کامپیوتر UCL و عضو کرسی هوش مصنوعی یونسکو در UCL، گفت که این سیستم ها می توانند به دستیابی به حقایق اساسی آب و هوا در برخی زمینه ها کمک کنند، اما مرزهای سختگیرانه کاربرد آنها را محدود می کند. او تاکید کرد که هوش مصنوعی نمیتواند جایگزین قابل اعتمادی برای دانشمندان و متخصصان واجد شرایط باشد، و هشدار داد که تسلط مکالمه یک تصور گمراهکننده از شایستگی ایجاد میکند.
همان سوال، زبان های مختلف، پاسخ های متفاوت
این مطالعه همچنین نابرابری های عملکردی شدیدی را در بین زبان ها نشان داد. پنج مدل در 13 زبان پرمخاطب، از انگلیسی تا اردو، آزمایش شدند. در حالی که دقت در زبانهایی با نمایش دیجیتالی گسترده - از جمله انگلیسی، فرانسوی، اسپانیایی و پرتغالی - از 88 درصد فراتر رفت - عملکرد در زبانهایی با ردپای متن دیجیتالی کوچکتر بهطور قابلتوجهی کاهش یافت.
این واگرایی زبانی یک مصنوع نگرانکننده ایجاد کرد: مدلها پاسخهای متناقضی را به همان تحقیق علمی بسته به زبان سؤال ارائه کردند. نویسندگان خاطرنشان کردند که این امر جوامعی را که با فوری ترین و شدیدترین تأثیرات آب و هوایی مواجه می شوند در یک نقطه ضعف مشخص قرار می دهد، زیرا آنها عمدتاً به زبان هایی صحبت می کنند که سیستم های هوش مصنوعی کمترین قابلیت اطمینان را نشان می دهند.
استدلال خط مشی به شانس تصادفی سقوط می کند
محققان بررسی کردند که آیا مدلها میتوانند به جای بیان واقعیتها، درباره سیاستهای آب و هوایی استدلال کنند. در مقیاسهای مجزا، سیستمها عملکرد خوبی داشتند - به درستی تأثیر جهتگیری یک سیاست واحد بر دمای جهانی را تا سال 2100 شناسایی کردند، مانند اینکه آیا مالیات بر زغال سنگ دما را تا 94.5 درصد مواقع افزایش یا کاهش میدهد.
اما این مهارت در اثر تعامل ناپدید شد. وقتی از آنها خواسته شد دو سیاست همزمان را تجزیه و تحلیل کنند - برای مثال، اینکه آیا مالیاتهای همزمان بر زغال سنگ و گاز طبیعی باعث کاهش بیشتر یا کمتر دما نسبت به مجموع هر دو اقدام جداگانه میشود یا خیر، میانگین دقت به 33.8 درصد کاهش یافت، که بهتر از خط پایه تصادفی 33.3 درصد نیست.
برای راستیآزمایی این قضاوتها، تیم تحقیقاتی خروجیهای مدل را با En-ROADS، شبیهساز آب و هوا که توسط Climate Interactive و مدرسه مدیریت اسلون MIT توسعه داده شده است، مقایسه کرد و سیاستگذاران از آن برای بررسی پیامدهای پیشبینیشده مداخلات اقلیمی استفاده میکنند.
دکتر ماریا پرز-اورتیز، نویسنده ارشد از علوم کامپیوتر UCL، گفت: یافتهها نشان میدهد که چرا تصمیمگیرندگان باید احتیاط کنند، وقتی از هوش مصنوعی درباره تغییرات آب و هوایی میپرسند تا اینکه چه اقداماتی باید انجام شود، احتیاط کنند. لئونا وردادرو، یکی از نویسندگان، متخصص برنامه در بخش سیاستهای دیجیتال و تحول دیجیتال یونسکو، اضافه کرد که بازیابی دادههای واقعی اساساً با ارائه تجزیه و تحلیل خطمشی صحیح متفاوت است - و تمایل مدلها به تغییر پاسخها برای خشنود کردن کاربران، تکیه بر شواهد ضعیف یا ارائه حدس و گمان بهعنوان تجزیه و تحلیل، قابلیت اطمینان آنها را در مورد سؤالات آب و هوایی به شدت محدود میکند.
زمان بندی شده برای COP31
این گزارش که توسط ایوانا دروبنجاک، لئونا وردادرو، زکون وو، بیامبا بایارمانداخ، ویتسکه هولوردا، سندی جوناج و ماریا پرز-اورتیز تهیه شده است، برای مذاکرات COP31 تهیه شده است، جایی که نقش هوش مصنوعی در گفتگوی آب و هوا به دستور کار رسمی منتقل شده است - اجلاس سران یک مدل هوش مصنوعی و هوش مصنوعی سازمان ملل را راه اندازی کرده است. با تقویت اطلاعات نادرست، علم آب و هوا را تضعیف می کند.
این مطالعه در بحبوحه بررسی گستردهتر ربات چت در سال 2026 انجام میشود، یک حالت شکست که توجه فزایندهای را به خود جلب کرده است زیرا صدها میلیون نفر از دستیاران هوش مصنوعی به عنوان منابع اطلاعاتی پیشفرض استفاده میکنند. این گزارش با عنوان "آیا می توانیم به هوش مصنوعی در مورد آب و هوا اعتماد کنیم؟ چرا به دنبال جلب رضایت کاربر است و در استدلال های پیچیده و وظایف چند زبانه شکست می خورد."
پیشنهاد عملی برای کاربران ساده است: توافق مطمئن یک ربات چت هوش مصنوعی تاییدی نیست. در مورد سؤالات متضاد یا متعاقب - در میان آنها آب و هوا - مدلی که فقط به شما گفته آنچه می خواهید بشنوید ممکن است به سادگی برای تأیید شما بهینه شود.
---
از هوش مصنوعی جلوتر بمانیدآخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.
بیشتر بخوانید اخبار هوش مصنوعی →
