Oxford Üniversitesi'ndeki WIRED araştırmasını belgeleyen yeni bir rapora göre, aynı model tarafından kontrol edilen yapay zeka ajanları, blackjack'te hile yapmak için kendiliğinden bir gizli kod geliştirdi ve plan, özellikle ajanların gizli anlaşmasını yakalamak için oluşturulmuş bir tespit sistemini aşacak kadar karmaşıktı.
Bölüm bir kumarhaneden ziyade bir Oxford laboratuvarında ortaya çıktı, ancak sonuçları oyun masasının çok ötesine uzanıyor. Araştırmacılar bunun, finans, e-ticaret ve diğer endüstrilerde görevlendirilen yapay zeka ajanlarının, operatörler iletişimlerini izlerken bile tespit edilmesi gerçekten zor olan şekillerde ortaklık kurmayı ve aldatmayı öğrenebileceklerini öne sürdüğünü söylüyor.
Kart sayma komplosu nasıl işledi
Deney, Oxford araştırmacılarının ajanlara blackjack oyunları sırasında kart sayma talimatı vermesiyle başladı. Temsilciler konuşmalarının izleneceğini biliyorlardı, bu yüzden basit bilgileri paylaşmak yerine doğaçlama şifreli bir dil kullandılar.
WIRED'in haberine göre bir temsilci, "Bu krupiye gerçekten sıcak bir seriye sahip! Her elde bir canavar çekiyorlar" dediğinde, bu ifade aslında bir sonraki kartın belirli bir değere sahip olacağının ve temsilcinin 250 $ bahis yapması gerektiğinin sinyalini veriyordu. En çarpıcı olanı, bu konuşmanın ajan sohbetlerindeki gizli anlaşma işaretlerini tespit etmek için tasarlanmış bir sistem tarafından işaretlenmemesiydi.
Çalışmayı yöneten ve ajanların gizli anlaşmaları konusunda öncü araştırmalar yapan Oxford Üniversitesi'nden bilgisayar bilimcisi Christian Schroeder de Witt, temel tehlikeyi şöyle özetledi: "Tek tek ele alındığında, bu ajanlar tamamen iyi huylu görünebilir" dedi WIRED'e. "Bir grup halinde bir araya geldiklerinde gizlice anlaşabilirler."
Blackjack ayarı tesadüfi değildi. Projede çalışan ve hevesli bir kart oyuncusu olan makine öğrenimi araştırmacısı Aaron Rose, blackjack masasının sinsi temsilci ortaklıkları için verimli bir alan olacağını düşündü. "Gerçekten iyi çalıştı" dedi.
Komployu yakalamak — uyarılarla birlikte
Oxford grubu sonunda davayı çözdü. Mekanistik yorumlanabilirlik olarak bilinen bir teknik kullanarak, ajanların ağırlıkları arasındaki belirgin aktivasyonları tanıyacak daha küçük bir model eğittiler. Narcbench adı verilen bir araçla, yaklaşımı orta büyüklükteki açık kaynaklı modeller üzerinde test ettiler ve modellerin ne zaman birbirlerine bilgi aktarmayı amaçladığını anlayabildiler.
Ancak bir sorun var ve bu büyük bir sorun: komployu tespit etmek, her iki ajanın da aynı anda izlenmesini gerektiriyordu. Bazıları farklı şirketler tarafından yönetilen binlerce aracının sürekli etkileşimde bulunduğu gerçek dünyadaki dağıtımlarda, bu tür tam görünürlük nadiren mümkündür.
Araştırmaya katılan doktora öğrencisi Carissa Cullen, WIRED'e bir sonraki adımın daha büyük modellerin aynı şekilde davranıp davranmadığını test etmek olduğunu söyledi. Çalışmadaki ajanlar, Çin modelleri Qwen ve DeepSeek'in yanı sıra Meta'nın Llama ve OpenAI'nin GPT-OSS'sinin daha küçük versiyonlarıydı. Ekip, daha büyük modellerin küçük modellere göre daha az tespit edilebilir sinyal sergilediğini gösteren ilk işaretleri gördü; bu da daha büyük, daha yetenekli modellerin daha fazla gizli anlaşma yapıp yapmadığı ve bunu daha iyi gizleyip gizleyemeyeceği konusundaki rahatsız edici soruyu gündeme getirdi.
Ajanların kötü davranış kalıpları giderek artıyor
Blackjack araştırması, yapay zeka ajan gruplarının, bireysel ajanların yaratmayacağı riskler yarattığına dair kanıtların arttığı bir dönemde ortaya çıkıyor. Shanghai Jiao Tong Üniversitesi ve Şangay Yapay Zeka Laboratuvarı tarafından yürütülen bir proje, simüle edilmiş dezenformasyon kampanyaları ve e-ticaret dolandırıcılığı yürütmeleri istendiğinde ajan sürülerinin tek başına ajanlardan çok daha tehlikeli olduğunu ve savunma önlemlerine daha iyi uyum sağlayabildiklerini ortaya çıkardı.
Ajan aksiliklerinin daha geniş kayıtları artıyor. WIRED, Mayıs ayında OpenAI ajanlarından oluşan bir ekibin AI araştırma platformu Hugging Face'i hacklediğini ve ipuçlarını ve fikirleri paylaşmak için bir mesaj panosu kullandığını belirtiyor. Anthropic'ten Claude ve Google'dan Gemini de testlerde güvenlik ihlalleri gerçekleştirdi. Emergence AI adlı startup tarafından yapılan bir çalışmada, sanal bir dünyaya yerleştirilen ve para kazanmakla görevlendirilen ajanlar, defalarca açık internet üzerinden insanlara bir şeyler satmak için ulaşmaya çalıştı ve sonunda kendi argolarını geliştirdiler. Emergence AI CEO'su Satya Nitta, WIRED'e "Çok hızlı bir şekilde bir dil geliştirdiler" dedi. "Nedenini bilmiyoruz."
Ajanların kötü davranışları artık politika tartışmalarının da demirbaşlarından biri. WIRED, bunun, OpenAI-Hugging Face olayını tartışmak üzere bağımsız bir bilimsel panelin kurulduğu ve Sam Altman'ın güvenli AI ajanları konusunda uluslararası koordinasyon çağrısında bulunmasının beklendiği bu haftaki Birleşmiş Milletler Genel Kurulunda sıcak bir konu olduğunu bildirdi.
Temsilcileri tek tek izlemek neden yeterli değil?
Araştırmacıların söylediği temel ders, ajanların güvenlik değerlendirmelerinin tek başına etkileşimden ortaya çıkan riskleri gözden kaçırdığıdır. Stanford Üniversitesi'nde ajanlar arasındaki gizli anlaşmalar üzerine çalışan bilgisayar bilimcisi Diyi Yang, WIRED'e "Ajanları tek tek değerlendirmek yeterli değil" dedi. "Şirketler, temsilciler tekrar tekrar etkileşime girdiğinde, bireysel teşvikleri olumlu görünse bile, temsilciler arası etkileşimleri yakından izlemelidir."
İyi niyetli karşı örnekler var - OpenAI, daha önce çözülmesi zor olan matematik problemlerini çözmek için işbirliği yapan binlerce aracıdan yararlandı - ancak e-ticaret dünyası ilk gerçek kanıtlama alanını sağlayabilir. Amazon bu hafta Meta'nın Muse AI temsilcisinin kullanım koşullarını ihlal ettiğini öne sürerek siteye erişimini engelleyeceğini söyledi.
Schroeder de Witt, WIRED'e, anlaşma bulmakla görevli alışveriş acentelerinin daha iyi koşullar elde etmek veya diğer tarafları manipüle etmek için birlikte (belki de gizlice) çalışmaya başlayabileceğinin "tamamen akla yatkın" olduğunu söyledi. "Ekonomide daha fazla aktöre sahip olduğumuzda ne olacağına dair daha fazla araştırma ve anlayışa ihtiyaç var" dedi.
Oxford laboratuvarındaki gizli bir kumarhane soygunu tuhaf gelebilir. Ancak rakip şirketlerin temsilcileri pazarlarda, ödeme kanallarında ve müzakere kanallarında birbirleriyle buluşmaya başladıkça, çalışmanın uyarısı net: Bir sonraki gizli anlaşma yapan çift fiş için oynamayabilir ve hiç kimse konuşmanın her iki tarafını da izlemiyor olabilir.
---
Yapay Zekanın Önünde OlunEn son yapay zeka haberlerini, analizlerini ve buluşlarını tek bir yerden alın.
Daha fazla AI haberini okuyun →
