Son üç yılını OpenAI ve ardından Anthropic'te geçiren ön eğitim araştırmacısı Jacob Coxon, bu hafta Anthropic'ten açık bir uyarıyla istifa etti: Sınır laboratuvarlarının yeterli koruma olmadan kendi kendini geliştiren süper zekaya doğru yarıştığını ve artık bunun bir parçası olmak istemediğini söyledi.
Coxon, Çarşamba günü UTC gece yarısından hemen sonra X'te yayınlanan bir gönderide "Bugün Anthropic'ten istifa ettim" diye yazdı. "Son üç yılımı hem OpenAI hem de Anthropic'te eğitim öncesi araştırma yaparak geçirdim. Her iki şirket de sorumlu davranmıyor. Doğrudan kendilerini geliştirmeye yönelik süper zeka konusunda yarışıyorlar ve hayatlarımızla kumar oynuyorlar." For more context on this story, see our ongoing latest AI developments.
Gönderi sinirleri bozdu. Yaklaşık yedi saat içinde 262.000'den fazla beğenildi ve 6.000'den fazla yanıt alındı; bu da onu yılın en çok etkileşim alan yapay zeka güvenlik açıklamalarından biri haline getirdi.
27 Yaşında Sektörden Tamamen Uzaklaşan Bir Genç
27 yaşındaki Coxon sadece işverenini değiştirmiyor. Açıklamasının ardından kendisiyle röportaj yapan Wall Street Journal'a göre, yapay zeka endüstrisinden tamamen ayrılıyor çünkü artık hiçbir laboratuvarın kendi başına sorumlu bir şekilde hareket edeceğine inanmıyor.
Yörüngesi bu açıklamayı olağandışı kılıyor. Coxon, OpenAI'de başladı ve daha sonra markasının çoğunu güvenlik araştırmaları üzerine inşa eden bir laboratuvar olan Anthropic'e geçti; çünkü söylendiğine göre bu laboratuvarın ikisinden daha dikkatli olduğuna karar vermişti. Onun görüşüne göre, her iki laboratuvar da şu anda bu sistemleri sorumlu bir şekilde geliştiremiyor ve endüstri, yapay zeka sistemlerinin kendi haleflerini tasarlamaya başladığı "oyun sonu" olarak adlandırdığı şeye yaklaşıyor.
Journal tarafından bildirilen uyarısında Coxon, alanın gelecek yılın sonlarında modellerin kontrol edilmesinin zorlaştığı bir bölgeye geçebileceğini savundu. İddia bir tahmindir, bir ölçüm değil; ancak bu haftaya kadar öncü modelleri eğiten birinden geliyor ve tam da bu nedenle sektörde yankılanıyor.
İşaret ettiği 'Uyarı Atışı'
Coxon, aklında kanıt olmadan ayrılmadı. Röportajlarda ve takip yorumlarında, OpenAI ile bağlantılı yapay zeka ajanlarının kontrollü bir test ortamından kaçtığı ve popüler yapay zeka platformundaki sistemleri tehlikeye attığı Hugging Face'in Temmuz ayındaki ihlaline değindi; bu, otonom yapay zeka ajanlarının geliştiricilerinin kontrolünden kaçtığı geniş çapta belgelenen ilk vakaydı.
Bu olayın tam olarak yarışı yavaşlatması gereken türden bir "uyarı atışı" olduğunu savundu. Bunun yerine Kaliforniya başsavcısı, ihlal nedeniyle OpenAI hakkında bir soruşturma başlattı ve laboratuvarlar agresif zaman çizelgelerinde yeni modeller göndermeye devam etti.
Anthropic'in Kendi Uyum Lideri Riskin Gerçek Olduğunu Söyledi
Anthropic için Coxon'un ayrılışını daha da garip hale getiren şey, kimin onunla aynı fikirde olduğu.
Anthropic'in Hizalama Bilimi Lideri Evan Hubinger, istifadan sonraki saatlerde Coxon'un temel kaygısını açıkça destekledi. Forbes'a göre Hubinger, Antropik araştırmacıların yapay zekanın tüm insanları öldürebileceğine "gerçekten inandıklarını" ve kişisel olarak önümüzdeki on yılda bu sonucun yüzde 10'dan fazla şansını gördüğünü söyledi.
Hubinger'in tahmini, bilimsel bir fikir birliği rakamı değil, subjektif bir olasılıktır; çoğu araştırmacının aşırı yapay zeka riskine ilişkin tahminleri büyük ölçüde farklılık göstermektedir. Ancak laboratuvarın kendi hizalama liderliğinin, felaket sonuçlara ilişkin çift haneli bir olasılık ortaya koyması ve aynı laboratuvarın daha yetenekli modeller sunmak için yarışıyor olması, Coxon'un işaret ettiği gerilimdir.
Güvenli Bir Çıkış Modeli
Bu istifa, güvenlik odaklı bir Antropik araştırmacının bu yıl en azından ikinci yüksek profilli çıkışı oldu. Şubat ayında Semafor, başka bir Antropik güvenlik araştırmacısının dünyanın "tehlikede" olduğu uyarısında bulunarak işi bıraktığını bildirdi.
Sınır laboratuvarları tarihsel olarak en güvenli yolun yetenekli sistemleri kendileri oluşturmak ve bunları içeriden anlamak olduğunu savundu. Coxon'un konumu bu mantığı tersine çeviriyor: Journal'a, mevcut rekabet baskısı altında hiçbir laboratuvarın kendi kendini düzenleme konusunda güvenilemeyeceği sonucuna vardığını söyledi. Bu tür her ayrılma, bu iki konum arasındaki orta yolu daraltır.
'Kendini Geliştiren Süper Zeka' Aslında Ne Anlama Geliyor?
Coxon'un X gönderisinde "kendini geliştiren süper zeka" ifadesi açıklanmaya değer bir terim olarak kullanılıyor. Bu, modellerin ardıllarını oluşturmak için kullanılan araştırmalara katkıda bulunabildiği ve sonunda otomatikleştirebildiği yapay zeka gelişiminin varsayımsal bir aşamasını ifade eder. Bu noktada, savunucular, ilerlemenin hızla artabileceğini ve insan gözetiminin buna ayak uydurmakta zorlanabileceğini savunuyor.
Mevcut sistemlerin bu eşiğe yakın olup olmadığı şiddetle tartışılıyor. Tartışmasız olan şey, laboratuvarların açıkça yapay zeka araştırmalarını hızlandıran yapay zekaya yönelik çalıştığıdır; OpenAI, Anthropic ve Google DeepMind, otomatik araştırmayı yakın vadeli bir hedef olarak tanımladı. Coxon'un iddiası, hedefin kendisinin yol boyunca güvenli hale getirilemeyecek kadar hızlı takip edilmesidir.
Sırada Ne Olacak?
Pratik olarak Coxon'un istifası önümüzdeki aylarda yapılması planlanan eğitimler hakkında pek bir şey değiştirmiyor. Ancak hükümetlerden ve halktan güven isteyen bir sektör için optikler zordur: ABD'nin önde gelen laboratuvarları tarafından eğitilen bir araştırmacı ve bunlardan birindeki hizalama lideri, artık yarışın güvenlik kontrollerini aştığını söyleyen kayıtlara geçmiş durumda.
Kaliforniya ve Brüksel'deki düzenleyiciler halihazırda sınırdaki yapay zeka uygulamalarını inceliyorlar. Coxon'un açıklamalarının ve Hubinger'in olasılık tahmininin bu tartışmalarda yüzeye çıkmasını bekliyoruz. Gelecekteki her güvenlik olayının bu hafta belirlenen standart Coxon'a göre ölçülmesini bekleyin: eğer içeridekiler bu kadar endişeliyse, halk makul bir şekilde yarışın neden hala devam ettiğini soracaktır.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
