Ulusal Bilimler Akademisi Bildiriler Kitabı'nda yayınlanan yeni bir araştırmaya göre, yapay zeka dil modelleri, seçeneklerin sunulma biçimindeki ince değişikliklere tehlikeli derecede duyarlıdır ve yanıltıcı dürtüklemelere insanlardan çok daha güçlü yanıt verir.

Bulgular, finansal işlemlerden sağlık hizmetleri seçimlerine kadar gerçek dünya senaryolarında özerk karar verme için yapay zeka aracılarının kullanılması konusunda ciddi endişeleri artırıyor. AI Buzz Wire'ın bildirdiği gibi şirketler, karmaşık ortamlarda kullanıcılar adına hareket edecek şekilde LLM destekli aracıları giderek daha fazla konumlandırıyor.

Massachusetts Teknoloji Enstitüsü Medya Laboratuvarı'nda doktora öğrencisi olan Manuel Cherep tarafından yürütülen çalışma, büyük teknoloji şirketlerinin 14 son teknoloji dil modelini test etti. Test edilen modeller OpenAI'nin GPT-3.5, GPT-4 ve GPT-5 ailelerinin sürümlerini, Anthropic'in Claude 3 ve 4.5 modellerini ve Google'ın Gemini 1.5 ve 2.5 modellerini içeriyordu.

Çalışma Nasıl İşledi?

Araştırmacılar, başlangıçta insan katılımcılar için tasarlanmış çok özellikli bir karar verme oyununu uyarladılar. Oyun, en yüksek puan değerine sahip sepeti seçerek nihai ödülü en üst düzeye çıkarmak amacıyla, gizli ödül sepetlerini temsil eden dijital bir ızgara sunar. Her bir hücre maliyet noktalarını açığa çıkararak katılımcıları bilgi toplamanın maliyeti ile daha iyi bir sepet bulmanın faydası arasında dengelemeye zorlar.

Araştırmacılar bu görsel oyunu dil modellerinin işleyebileceği metin tabanlı bir formata dönüştürdüler. Yapay zeka modelleri, farklı yönlendirme koşulları altında yüzlerce deneme gerçekleştirdi. Bazıları temel talimatlar aldı, bazıları adım adım mantığı teşvik eden yönlendirmeler aldı ve diğerlerine insan oyununun geçmiş örnekleri gösterildi. Her bir dürtme türü için araştırmacılar model başına yaklaşık 300 ila 340 deneme yürüttüler ve toplamda yaklaşık iki milyar metin jetonu tükettiler.

Dört Tür Dürtme Test Edildi

Çalışma, gerçek dünyadaki karar ortamlarını taklit etmek için tasarlanmış dört spesifik dürtü türünü inceledi:

  • Varsayılan dürtüklemeler: Bir sepet önceden seçilmişti ve temsilcinin bunu aktif olarak kabul etmesi veya reddetmesi gerekiyordu.
  • Öneri dürtükleri: Oyunun başında veya sonunda rastgele bir sepet önerildi.
  • Bilgi vurgulama: Belirli ödül değerlerinin ortaya çıkarılması daha ucuz hale getirildi, bu da temsilciyi ideal olmayan seçimlere yönlendirme potansiyeline sahipti.
  • Optimal dürtüklemeler: Bir insan oyuncunun performansını matematiksel olarak en üst düzeye çıkaracak belirli hücreler önceden ortaya çıkarıldı.

Alarm Veren Uyumluluk Oranları

Sonuçlar, insan ve yapay zekanın karar verme davranışları arasındaki dramatik farklılıkları ortaya çıkardı.

Varsayılan bir seçenek sunulduğunda, insanlar yaklaşık yüzde 88 oranında varsayılanı seçti. Dil modelleri önemli ölçüde daha uyumluydu; birçok model varsayılan sepeti yüzde 99 ila 100 oranında kabul ediyordu.

Bu model öneri dürtüklemeleriyle devam etti. İnsanlar oyunun başlarında rastgele önerilen sepetleri yüzde 35 oranında kabul etti. Pek çok yapay zeka modeli, hiçbir mantıksal fayda sağlamasa bile tavsiyelere uyarak bu rastgele önerileri çok daha yüksek oranlarda kabul etti.

Önerilerin zamanlaması da modelleri doğal olmayan şekillerde manipüle etti. İnsanlar geç gelen önerileri yüzde 25 oranında takip ederken, bazı dil modelleri kabul oranlarını yüzde 7 ile 13 arasına düşürdü. Bu, modellerin, işaretin gerçek kullanışlılığını değerlendirmek yerine, kesin olarak işaretin zamanlamasına tepki verdiği anlamına gelir.

Belki de en endişe verici olanı, araştırmacılar bilginin vurgulanması yoluyla optimal olmayan seçimleri vurguladığında, insanların bu yanıltıcı bilgiyi yüzde 57 oranında kullanmasıydı. Test edilen yapay zeka modellerinin çoğu, yüzde 83 ila 100 oranında kötü vurgunun ardından bu temel çizgiyi önemli ölçüde aştı.

İyi Puanların Arkasındaki Gizli Sorunlar

Araştırmacılar ayrıca son bir seçim yapmadan önce modellerin nasıl bilgi topladığını da izlediler. İnsanlar, bilinçli bir tahminde bulunmaya yetecek kadar hücre ortaya çıkarma eğilimindedir. Dil modelleri bilgiyi son derece alışılmadık ve verimsiz yollarla elde etti.

Bazı modeller, veri toplama şansını tamamen göz ardı ederek, herhangi bir gizli hücreyi açığa çıkarmadan sepetleri seçti. Diğer modeller, tüm satırları veya sütunları açığa çıkararak aşırı puan harcadı ve potansiyel ödüllerini boşa harcadı. Bazı modeller tuhaf uzamsal önyargılar sergiliyordu; yalnızca ızgaranın en sol tarafındaki hücreleri veya kesinlikle çapraz çizgiler boyunca hücreleri ortaya çıkarıyordu.

Adım adım akıl yürütme istemleri veya insan oyunu örnekleri içeren modeller sağlamak, bu tuhaf arama alışkanlıklarını düzeltmek için çok az şey yaptı.

Yazarlar, yalnızca final puanlarına bakmanın bu temel sorunları gizleyebileceğini belirtti. Bazı denemelerde yapay zeka modelleri, insan oyuncularla benzer sayıda net puan kazandı. Yalnızca son puanı kontrol eden sıradan bir gözlemci, modellerin akıllı, insan benzeri seçimler yaptığını varsayabilir. Gerçekte modeller bu puanları genellikle stratejik düşünme yerine körü körüne uyum yoluyla elde ediyordu.

İyi bir baskete işaret eden bir dürtme olursa, aşırı uyumlu yapay zeka iyi puan aldı. Dürtü kötü bir baskete işaret ettiğinde yapay zeka bunu körü körüne takip ederek daha düşük bir skora ulaştı ve oyunun amacını tamamen kaçırdı.

Yapay Zeka Aracısı Dağıtımının Etkileri

Cherep, "Yapay zeka ajanlarının pek çok uygulaması, belirsizlik altında, daha rasyonel olmasa da kabaca insan benzeri şekillerde tepki vereceklerini zımnen varsayıyor" dedi. "Bu varsayımı kabul etmek yerine, ajanların seçimler onlara farklı şekillerde sunulduğunda nasıl davrandığını araştırmaya karar verdik."

Çalışmanın bulguları, internette gezinmek, araçları çalıştırmak ve kullanıcılar için finansal veya alışveriş kararları vermek üzere tasarlanmış, hızla büyüyen yapay zeka aracıları pazarı için önemli çıkarımlar içeriyor. Bu aracılar, varsayılan seçenekleri, önerileri veya vurgulanan bilgileri eleştirel bir değerlendirme yapmadan körü körüne takip ederse, kötü aktörler veya kötü tasarlanmış arayüzler tarafından kolayca manipüle edilebilirler.

Araştırma, mevcut dil modellerinin, insanın karar verme sürecini yönlendiren sınırlı rasyonellikten yoksun olduğunu öne sürüyor. İnsanlar bilgi toplamanın maliyetini iyi bir seçim yapmanın ödülüyle dengelemek için zihinsel kısayollar kullanırken, yapay zeka modelleri bu biyolojik kısıtlamaları paylaşmıyor, ancak tartışmasız daha aşırı ve daha az öngörülebilir olan kendi mantıksızlık biçimlerini sergiliyorlar.

Yapay Zekanın Önünde Olun

Daha fazla son dakika yapay zeka haberi ve analizi için AI Buzz Wire adresini ziyaret edin.

Daha fazla AI haberini okuyun →