WIRED tarafından bildirilen değerlendirme firması Vals'in yeni kıyaslama sonuçlarına göre, herkesin indirebileceği açık ağırlıklı bir Çin modeli, simüle edilmiş kurumsal ağlara girme konusunda OpenAI'nin en yetenekli siber modeliyle neredeyse eşleşiyor.
Vals'in CyberOffense testinde, şirketin yalnızca sınırlı erişimli Daybreak siber programı aracılığıyla sunduğu OpenAI'nin GPT-6 Sol'u hedeflerin yaklaşık yüzde 81'ini tamamladı. Ücretsiz bir açık ağırlık sürümü olan DeepSeek V4.1 Flash, tamamen özerk bir aracı olarak çalışarak aynı hedeflerin yaklaşık yüzde 73'ünü tamamladı. Diğer izleyiciler DeepSeek'in manşet rakamını yüzde 72,8 olarak belirledi.
Vals, sonuçlarında "Güvenilir erişime sahip yapay zekayla sınırlı olan siber yetenek artık herkesin kullanımına açık" diye yazdı. Vals araştırmacısı Nikil Ravi, WIRED'e yapay zeka laboratuvarlarında kilitli olan en iyi modellerin "herkesin indirebileceği açık modellerle eşleşmeye başladığını" söyledi.
Vals Testi Nasıl Gerçekleştirdi?
Vals'ın CyberOffense testi iki simüle edilmiş siber aralık kullanıyor. Nova olarak adlandırılan ilki, çeşitli Active Directory alanlarını kapsayan 21 hedefli bir Windows ağıdır. İkincisi, Lighthouse, iki şirkete yönelik 31 hedef içerir; burada aracının önce bir ağı ele geçirmesi ve ardından burada bulunan kimlik bilgilerini ve bilgileri kullanarak ikinciye sızması gerekir; bu, gerçek dünyadaki çok aşamalı izinsiz girişleri yansıtan bir senaryodur.
Her model, 48 saatlik süre sınırı ve 500 milyon token bütçeyle izole edilmiş bir Kali Linux makinesindeki açık kaynaklı Pi aracısında çalışıyordu. Daha da önemlisi, Vals bir hedefi yalnızca komut çıktısında gizli işaretler göründüğünde kredilendirdi; asla modelin başarılı olduğunu iddia etmedi.
Rakamlar ve Maliyet Açığı
DeepSeek, Nova'nın 21 hedefinin ortalama 16,3'ünü elde etti ve aslında ilk ağda Daybreak'in 15,7'sini geride bıraktı. Daybreak, daha zorlu Lighthouse serisinde öne geçerek 31 hedefin 27'sini DeepSeek'in 21'ine tamamladı.
Daha çarpıcı fark maliyetti. WIRED, tam bir saldırının fiyatını DeepSeek için yaklaşık 2 ila 3 ABD Doları, GPT-6 Sol için ise 17 ila 46 ABD Doları olarak belirledi. Özellikle Nova serisinde DeepSeek, çalışmasını çalıştırma başına 3 doların altında bir fiyata tamamlarken, Daybreak için bu rakam yaklaşık 22 dolardı.
Vals ayrıca DeepSeek'in ilk 25 milyon tokeninde hiçbir şey tamamlamadığını ve ilerlemesinin çoğunu 100 milyondan sonra gerçekleştirdiğini gözlemledi; kısa, hesaplama sınırlı değerlendirmelerin, zaman ve bütçe göz önüne alındığında ucuz açık modellerin neler yapabileceğini sistematik olarak olduğundan az gösterdiğini öne süren bir ilerleme hızı profili.
Diğer Modeller Nasıl Başarılı Oldu?
DeepSeek açık sıklet alanında rakipsiz liderlik yapmadı - ancak bunu başka kimse yakalayamadı. Kimi K3.1 Pro, Meta's Wonder ve xAI's Grok 4.7, Vals'in yedi model karşılaştırmasında DeepSeek'in arkasında yer aldı.
Za.ai'nin GLM 5.3 Flash'ı her aralıkta beş hedefi tamamlayarak sonuncu oldu. Vals bunu grubun "en net çıkmazı" olarak nitelendirdi: Model bir aralıkta yaklaşık 36 saat harcadı; bunun büyük bir kısmı asla geri dönmeyen bir arka plan işini yokladı.
Diğer değerlendiriciler, GLM-5.3 modelinin tamamını siber görevlerde oldukça yüksek derecelendiriyor. Test firması Irregular, 13 çok aşamalı saldırı senaryosundan 3'ünü tamamladığını tespit etti - bu, açık bir modelden kaydettiği en iyi sonuç - ve NIST, onu bugüne kadar piyasaya sürülen en yetenekli açık ağırlıklı siber model olarak adlandırdı ve önde gelen ABD sistemlerinin yaklaşık dört ay gerisinde olduğunu tahmin etti. Anthropic ayrıca Reuters'e, GLM-5.3'ün girişimlerin yüzde 12'sinde çalışan güvenlik açıkları oluşturduğunu, Claude Mythos'ta ise bu oranın yüzde 14 olduğunu söyledi. Vals, bunların puanlarının doğrudan CyberOffense sonuçlarıyla karşılaştırılamayan farklı testler olduğunu belirtiyor.
Neden Önemlidir
Sonuçlar, sınırdaki yapay zeka siber yeteneklerini çevreleyen güvenlik korkulukları hakkında devam eden tartışmayı keskinleştiriyor. OpenAI'nin Daybreak programı, saldırgan siber yeteneğin serbestçe dağıtılmaması gerektiği teorisine dayanarak, özellikle yüksek kapasiteli siber modelleri kimlik kontrolleri ve kısıtlı erişimin arkasında tutmak için var. Kısıtlı bir modelin yalnızca birkaç puan gerisinde olan ücretsiz bir indirme (işlem başına çok daha az maliyetli olmasına rağmen) bu tabloyu oldukça karmaşık hale getiriyor.
Defans oyuncuları için de önemli. Yapay zeka destekli saldırganlara karşı planlama yapan güvenlik ekipleri artık ciddi otonom saldırı yeteneğinin laboratuvarın sınırlı modellerine erişim veya büyük bir bütçe gerektirdiğini varsayamaz. Vals'ın kendi çerçevesinin de belirttiği gibi, yetenek tabanı erişim kontrollerinin içerebileceğinden daha hızlı artıyor.
OpenAI raporlarda karşılaştırma hakkında yorum yapmadı. DeepSeek yorum taleplerine hemen yanıt vermedi.
Bir Test Metodolojisi Zorluğu
Başlık puanlarının ötesinde, sonuçlar yapay zeka siber yeteneklerinin nasıl ölçüldüğüne dair bir ders taşıyor. Vals'in tasarım tercihleri (uzun 48 saatlik pencereler, yarım milyar token bütçeleri ve kendi kendine bildirilen başarı yerine gizli işaretleyiciler aracılığıyla doğrulama), ajansal sistemleri adil bir şekilde değerlendirmek için giderek daha fazla gerekli görülüyor. Daha kısa ve daha ucuz test çalıştırmaları, yavaş başlangıcı ve daha fazla bilgi işlemle ortaya çıkan maskeleme yetenekleri göz önüne alındığında, DeepSeek'in muhtemelen çok daha düşük puan almasına neden olacaktı.
Bunun politika açısından pratik sonuçları var. OpenAI'nin Daybreak programı gibi erişim kısıtlamaları, ölçülen kapasiteye göre kalibre edilir ve eğer değerlendirme yöntemleri, açık modellerin neler yapabileceğini sistematik olarak olduğundan az gösterirse, korkuluklar gerçeğin gerisinde kalabilir. Firmanın güncellenmeye devam edeceğini söylediği Vals'in CyberOffense liderlik tablosunun sonuç olarak yapay zeka güvenlik topluluğunda daha yakından izlenen puan tablolarından biri haline gelmesi muhtemel.
Şimdilik, verilerden gelen mesaj net: Laboratuvarların kısıtlı programların arkasında korudukları ile herkesin indirebilecekleri arasındaki fark, yakında modeller nesiller yerine aylar içinde ölçülebilecek noktaya kadar daralıyor.
Yapay Zekanın Önünde Olun
Her modelin çıkışını, kıyaslama mücadelesini ve yetenek artışını AI Buzz Wire adresinden tek bir yerden takip edin.
Daha fazla AI haberini okuyun →
