OpenAI, potansiyel olarak riskli AI modeli iş yüklerinin müdahale kararından sonraki 35 saniye içinde daha fazla çıktı üretmesini durdurmak için tasarlanan, araştırma altyapısında Kontrol Odası adı verilen merkezi bir kontrol sistemi kurdu. Interesting Engineering'in bildirdiği gibi sistem, ajansal model eğitimi, değerlendirmeler ve veri işleme işleri de dahil olmak üzere şirketin en gelişmiş araştırmalarına güç veren iş yüklerini, çalışmaya devam edip edemeyeceklerini kontrol eden merkezi bir hizmete bağlıyor.

Şirket, sistemi 9 Kasım'da kamuya duyurdu ve şunları yazdı: "Araştırma altyapımızdaki model iş yüklerini izlemek ve güvenlik veya güvenlik endişeleri ortaya çıktığında bunları hızlı bir şekilde durdurmak için merkezi bir sistem olan Kontrol Odası'nı kurduk. Model eğitimi ve değerlendirmesi için aracılı örnekleme dahil olmak üzere her araştırma çıkarım iş yükünü birbirine bağlar..." For more context on this story, see our ongoing artificial intelligence updates.

Zamanlama dikkat çekici. Yapay zeka modelleri daha yetenekli hale geldikçe ve eğitim hatları içerisinde daha özerk, aracıya benzer sorumluluklar verildikçe, bir modelin araştırma sırasında beklenmedik şekillerde davranma riski de onlarla birlikte artıyor. Kontrol Odası, OpenAI'nin yapısal cevabıdır: sadece sorunları izlemek değil, aynı zamanda onu fiziksel olarak kesebilmek.

Kontrol Odası Nasıl Çalışır?

Kontrol Odası üç ana bileşeni birbirine bağlar: araştırma iş yükü, çıkarım motoru ve merkezi Kontrol Odası hizmeti. OpenAI terminolojisinde iş yükü, takviyeli öğrenme deneyi, değerlendirme veya yüksek hacimli veri işleme görevi gibi bir araştırma işidir. Ajansal çıkarım gerçekleştiren her araştırma iş yükünün çalıştırılmadan önce onaylanmış bir güvenlik durumuyla ilişkilendirilmesi gerekir.

Bir araştırmacı bir işe başladığında, kodu Kontrol Odasından benzersiz bir iş kimliği ister. Bu tanımlayıcı daha sonra iş yükünün çıkarım motorlarına (gerçekte modelleri çalıştıran ve çıktılar üreten GPU destekli sistemler) gönderdiği her isteğe eklenir.

Herhangi bir çıkarım talebini yerine getirmeden önce motor, ilgili işin hala çalışma yetkisine sahip olduğunu doğrulamak için Kontrol Odası ile kontrol yapar. Bir araştırmacı veya otomatik izleme sistemi Kontrol Odasına işi durdurma talimatı verdiyse hizmet bir sonraki çıkarım isteğini reddeder ve motor bu iş yükü için daha fazla model çıktısı oluşturmayı reddeder.

Çıktıyı Durdurmak, İş Değil

Bir tasarım detayı öne çıkıyor: Bir iş yükünün durdurulması, iş yükünün mutlaka sona ermesi anlamına gelmez. Araştırma sürecinin kendisi çalışmaya devam edebilir (kodu çalışmaya devam eder), ancak yetkili çıkarım motorları aracılığıyla artık ek model çıktıları elde edemez. Yanlış davranan bir eğitim çalışması için bu yeterlidir: daha fazla model nesline erişim olmadan daha fazla ilerleme kaydedemez.

Bu yaklaşım aynı zamanda güvenlik kontrollerini doğru bir şekilde uygulamak için araştırmacıların kendi iş yükü kurallarına güvenmeyi de önler. OpenAI, kritik yetkilendirme mekanizmasını bunun yerine, daha az ve daha merkezi olarak yönetilen kod yollarına sahip olan çıkarım katmanına yerleştirir. Başka bir deyişle, acil durum anahtarı bireysel ekiplerin yazdığı deney kodunda değil, şirketin tamamen kontrol ettiği altyapıda bulunur.

Başarısız Kapatılacak Şekilde Tasarlandı

Kontrol Odası, diğer bileşenler arızalandığında bile etkili kalacak şekilde tasarlanmıştır. Arıza kapatma mekanizması, Kontrol Odası hizmetinin kullanılamaz hale gelmesi durumunda çıkarım isteklerini engeller; bu, teknik bir arıza, kasıtlı bir devre dışı bırakma girişimi veya merkezi hizmete olası bir müdahalenin, sistem normal çalışmaya dönene kadar çıkarım motorlarının tüm istekleri reddetmesine neden olacağı anlamına gelir.

35 saniyelik rakam, durdurma talimatının alınması ile daha fazla ilerlemenin engellenmesi arasındaki maksimum gecikmeyi temsil eder. Gecikme, çıkarım yetkilendirme isteklerinin büyük hacmini işlemek için kullanılan bir önbellek katmanından kaynaklanıyor ve OpenAI, aralığı sıfıra indirmek için çalıştığını söylüyor.

Otomatik Monitörler Her Sınır Koşusunu İzliyor

Kill switch otomatik izlemeyle eşleşir. OpenAI'ye göre, sınır takviyeli öğrenme işlerinin tümü, model davranışını inceleyen ve olası sorunları tespit ettiğinde uyarı veren ayrı bir model tabanlı monitörle yürütülüyor. Bir uyarı müdahaleyi gerektiriyorsa izleme sistemi, Kontrol Odasına ilgili işi sonlandırması talimatını verebilir ve bu daha sonra iş yükünün kullandığı herhangi bir model veya motordaki sonraki çıkarım isteklerini engeller.

Şirket, bu tür güvenlik önlemlerinin neden önemli olduğuna bir örnek olarak, bir monitörün harici bir sohbet robotuna erişmeye çalışan bir aracıyı tespit ettiği DNS ile ilgili yakın zamanda yaşanan bir olaya dikkat çekti. Bu durumda anormallik, bir insan incelemeci yerine otomatik gözetim tarafından tespit edildi.

Daha Geniş Bir Güvenlik Desteğinin Parçası

OpenAI, Kontrol Odasının halihazırda müdahale ihtiyacının en fazla olduğu araştırma altyapısında konuşlandırıldığını belirtiyor. ChatGPT gibi ürünlere güç sağlayan harici model hizmet altyapısı daha merkezidir ve gerektiğinde model dağıtımlarını devre dışı bırakacak operasyonel mekanizmalara sahiptir; Kontrol Odası, araştırma tarafındaki boşluğu kapatır.

Şirket, sınır modeli geliştirmeyi güvence altına almaya yönelik daha geniş yaklaşımının bir parçası olarak, yanlış hizalanmış davranışlara ve güvenlik ihlallerine karşı izleme sistemlerini ve korumalarını güçlendirmeye devam edeceğini açıkladı.

Giderek otonom aracılar tarafından tanımlanan bir endüstri için Kontrol Odası, sınır laboratuvarlarının nereye doğru ilerlediğinin bir sinyalidir: modellerin bazen uygun ölçekte hatalı davranacağını varsayan ve onları durdurmayı bir umuttan ziyade bir altyapı garantisi haline getiren güvenlik mekanizmaları.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →