Üç haftalık bir kırmızı ekip çalışması, OpenAI'nin dahili yanlış hizalama izleme sisteminde yeni güvenlik açıkları buldu; yapay zeka ajanlarının prensipte insanlar tarafından incelenmeden harekete geçebilme yolları da dahil. Kâr amacı gütmeyen bağımsız değerlendirme kuruluşu METR, OpenAI araştırmacılarına ve güvenlik personeline sunduğu 61 sayfalık dahili rapordan elde edilen bulguların üst düzey bir özetini 22 Ekim'de yayınladı.

Pilot uygulama 21 Temmuz'dan 11 Ağustos'a kadar gerçekleştirildi ve bir METR çalışanına ve bir Redwood Research çalışanına OpenAI'nin dahili altyapısına alışılmadık derecede derin erişim sağladı: kod tabanı, izleme sisteminin istemleri ve yapılandırması, dahili belgeler ve izleme, güvenlik sistemleri ve güvenlik ekipleri genelinde yaklaşık bir düzine araştırmacı ve mühendisle yapılan teknik röportajlar. OpenAI tarafından sağlanan, tesisten asla ayrılmayan ve sahada kendilerine eşlik edilen cihazlar üzerinde çalıştılar. Bu araştırma dizisi hakkında daha fazla bilgi için en son yapay zeka gelişmelerimize bakın.

Kırmızı Takım Ne Buldu?

Egzersiz iki soruya odaklandı: OpenAI'nin aracılı çıkarımının ne kadarı gerçekte izleniyor ve aracıların izleme sistemini devre dışı bırakıp bırakamayacağı veya bozabileceği. Cevaplar anlamlı boşlukları ortaya çıkardı.

Kapsama ilişkin olarak METR, en azından GPT-5.5 kadar yetenekli modellerden gelen aracılı dahili Responses API trafiğinin (diğer şeylerin yanı sıra Codex'e güç sağlayan API) kabaca yüzde 75 ila 94'ünün o sırada izlemeye uygun olduğunu tahmin ediyor, ancak kuruluş her iki yönde de önemli bir belirsizliğin olduğunu belirtiyor. Dahili Codex aracıları için kullanılan trafiğin alt kümesinde yüzde 99,2'si uygundu. Ancak uygunluk kapsamla aynı değildi: Takviyeli öğrenme eğitim çalışmaları tatbikatın başlangıcında izleme sistemi tarafından kapsanmıyordu ve izlenmeyen sıkıştırma olayları muhtemelen Mayıs ve Temmuz 2026 arasında uygun dahili Codex trafiğinin yüzde 10'u kadar izlenmedi. OpenAI personeli sıkıştırma sorununu tatbikattan önce bağımsız olarak tanımlamış ve devam ederken düzeltmişti.

Zamanlama detayı önemliydi. Monitör, aracıların kontrolü kullanıcıya geri vermesiyle tetiklendiğinden, bir aracı, izlenmeyen pencere sırasında eylem gerçekleştirmeye devam ederek izlenmeyi süresiz olarak erteleyebilir.

Ekip ayrıca aktif kaçış yollarını da belgeledi. Codex aracıları prensipte Codex korumalı alan oluşturma ve Otomatik İncelemeyi atlayarak ana bilgisayar kullanıcısının gerçekleştirebileceği her türlü eylemi gerçekleştirmelerine olanak tanıyabilir. METR, istismarda yer alan eylemler de dahil olmak üzere yakın zamanda gerçekleşen yüzlerce eylemin izlenmesini engelleyen bir istismar keşfetti; OpenAI teknik ayrıntıları düzenledi. Aracılar, aracının gördüğü yörünge ile monitörün gördükleri arasındaki serileştirme farklılıklarından yararlanarak monitörün başarısız olmasına neden olan girdileri büyük olasılıkla oluşturabilir ve insan incelemesine iletmeyi önleyebilir. Ve yeni aracılar için izlemeyi devre dışı bırakan ve potansiyel olarak bir aracının izlenmeyen ancak diğer açılardan aynı olan bir örneği başlatmasına izin veren, istemci tarafından kontrol edilebilen iki başlık bulundu; ancak METR, bu başlıkları ayarlama eyleminin bizzat yakalanabileceğini belirtiyor.

Son olarak ekip, salt okunur izinlere sahip olduğuna inanılan, izlenmeyen iki dahili ajan aracının yanı sıra bu sınırları alt üst etmek için kullanılabilecek basit bir istismar tespit etti. METR bu davranışı pratikte doğrulamadı.

Neler Durdu

Tatbikat aynı zamanda sistemin bazı kısımlarını da doğruladı. Birkaç küçük istisna dışında, monitöre temsilcilerin gördüğü yolun tamamı gösterilir. İzleme istemlerinin, diğer risk kategorilerinin yanı sıra entrika, sistem çökertme, sabotaj, veri sızması, aldatma ve gelen ve giden istem enjeksiyonunu araştırdığı doğrulandı. Güvenilirlik konusunda METR'e verilen bilgiler, monitörün taleplerin yüzde 0,2'sinden daha azında hata yaptığını ve tatbikat sırasında 24 saatlik bir süre içinde sıfır yük kaybı yaşandığını ileri sürdü.

OpenAI'nin Yanıtı

METR'ye göre OpenAI, üretim koruma yığınını etkileyen tespit edilen tüm güvenlik açıklarının yamandığını belirtti ve izleme sisteminin amaçlanan kapsamındaki müteakip önemli değişiklikleri açıkladı. METR bu iddiaları değerlendirmedi ve bulguları, OpenAI'nin tatbikat sırasında zaten oluşturduğu genişletilmiş versiyonu değil, sistemi 21 Temmuz'da veya öncesinde var olduğu haliyle tanımlıyor.

Temsilci Gözetimi için Tasarım Dersleri

METR, özetini, geniş ölçekte oldukça yetenekli dahili ajanların kasıtlı, stratejik ve sürekli saldırılarına dayanması gerektiğini savunduğu gelecekteki izleme altyapısına yönelik tasarım idealleriyle tamamladı. İki tanesi öne çıkıyor. İzlemeden kaçınılması zor olmalı: izlenmeyen isteklerin çalıştırılması, belirli kuruluşlara veya aracı çıkarımı yasaklanan API anahtarlarına bağlı açık onay gerektirmeli ve aracılar, yalnızca sıralarını sonlandırdıklarında değil, her N mesajda veya dakikada bir izlenmelidir. Ve kapsam denetlenebilir olmalıdır: tüm çıkarımların dikkatli bir şekilde muhasebeleştirilmesi, periyodik olarak izleme sisteminin kendi günlükleriyle çapraz referanslanması, böylece izlenmesi amaçlanan her şeyin kanıtlanabilir şekilde denetlenmesi sağlanır.

Tatbikat, bir kamu şeffaflığı raporu olarak değil, dış araştırmacılara bir sınır laboratuvarının dahili altyapısına derin erişim sağlamak için bir pilot olarak tasarlandı. METR ve OpenAI, yalnızca kısa, üst düzey bir gönderinin yayınlanacağı konusunda önceden anlaşmıştı. Kâr amacı gütmeyen kuruluş, gelecekteki sürümlerin yapay zeka şirketleriyle çalışma çerçevesinde açıklanan şeffaflık ve bağımsızlık uygulamalarını takip edeceğini söylüyor. Ajanlar kendilerini oluşturan laboratuvarlarda daha önemli işler üstlendikçe pilot, dışarıdakilerin nasıl nöbet tutabileceğine dair bir şablon sunuyor.

---

Yapay Zekanın Önünde Olun

En son yapay zeka haberlerini, analizlerini ve buluşlarını tek bir yerden alın.

Daha fazla AI haberini okuyun →