Büyük dil modellerinin rekabetçi StarCraft botlarını bir saat içinde yazmasını isteyen bir kıyaslama, şimdiye kadarki en ayrıntılı sonuçlarını verdi ve karar ikiye bölündü: OpenAI'nin GPT-6 Astra'sı yapay zeka alanına hakim, ancak insan tarafından yazılan en güçlü botlar hala en iyi modeli %93 oranla geride bırakıyor.

Geliştirici Kai McPheeters tarafından 15 Ekim'de yayınlanan StarSkirmish Bench v0.2, bir saatlik duvar saati süresi verildiğinde her LLM'nin ne kadar güçlü bir StarCraft: Brood War botu üretebileceğini değerlendiriyor. Her model, C++ dilinde bir Protoss botu yazar ve bu bot, daha sonra rakip modeller tarafından yazılan botlara ve insan tarafından yazılmış yerleşik rakiplere karşı oynanır. Test, modellerin yaratımlarını geliştirmek için alıştırma oyunlarından alınan dersleri içermesi gerektiğinden, uzun ufuklu akıl yürütmeyi ve eylemli kodlamayı araştırmak için tasarlanmıştır. For more context on this story, see our ongoing AI industry coverage.

Karşılaştırma Nasıl Çalışır?

Kurallar kasıtlı olarak basittir. Bir saat, bir dil, bir yarış. Her modelin puanı, insanlar tarafından yazılan rekabetçi botlara ve demo botlara karşı yapılan beş koşudaki ortalama kazanma oranıdır. Sürüm 0.2 bir değişiklik daha ekledi: Her amiral gemisi modeli, kendi laboratuvarının birinci taraf CLI kodlama donanımı içinde çalışır ve sadeleştirilmiş bir API döngüsü yerine tam aracı yığınını test eder.

Kıyaslama yazarının önceden belirttiği bir asimetri var: Gemini 4 Argon "yüksek"te (mevcut en yüksek akıl yürütme çabası) çalışırken, diğer tüm modeller maksimumda çalışıyor.

GPT-6 Astra Önde, GPT-6.1 Sol Değer Kazanıyor

Sonuçlar, GPT-6 Astra'yı skor tablosunun en üstüne yerleştirdi ve yazıda bu, ikinci sıradaki GPT-6.1 Sol'un açık bir adım önünde olarak tanımlanıyor. Karşılaştırma gözlemcileri için marj önemlidir: çoğu ajan kodlama paketinde, amiral gemisi modelleri birbirinden birkaç noktada kümelenir, bu nedenle alanı farklı katmanlara ayıran bir liderlik tablosu, kalabalık bir ilk ondan daha fazla teşhis işi yapar. Gemini 4 Argon, Claude Opus 5.5 ve Claude Fable 5.1, işlevsel olarak iki OpenAI modelinin arkasında yer alıyor ve hepsi 37 ile 39 arasında puan alıyor. Meta'nın Muse Wonder Full'ü yedinci oldu.

Maliyet analizi daha çarpıcı bir bulgu olabilir. Bir saatlik çalışmanın ortalama API maliyetine göre grafikte GPT-6.1 Sol, en çekici çeyrekte tek başına yer alıyor: GPT-6 Astra'nın çalıştırma başına maliyetinin onda birinden biraz fazla bir oranla ikinci sırada yer alıyor. Temsilci performansını bütçeye göre değerlendiren ekipler için iki OpenAI modeli arasındaki fark pratik başlıktır.

İnsan Robotlar Çok İleride

İnsan tarafından yazılan en güçlü robotlara (Stardust, PurpleWave ve BananaBrain) karşı GPT-6 Astra, oyunlarının yalnızca %7'sini kazanıyor. Karşılaştırmanın yazarı, bir saatlik akıl yürütme sınırının bir faktör olduğunu ve gerçek insanlar tarafından yazılan botlar için turnuva koşullarının, değerlendirmede kullanılan üç iki oyunculu haritadan önemli ölçüde daha zor olduğunu belirtiyor.

Yine de bu boşluk, yazılımda yapay zekanın yakında hakim olacağı yönündeki anlatılar için yararlı bir düzelticidir: Açık kazanma koşulları, derin strateji ve uzun planlama ufukları olan bir görevde, onlarca yıllık topluluk mühendisliği hâlâ bir saatlik sınır modeli kodlamanın üretebileceğinin çok üzerindedir.

StarCraft uzun süredir oyun oynayan yapay zeka için deneme alanı olarak hizmet ediyor çünkü tam da kaba kuvvete direniyor. Gerçek zamanlı strateji, eş zamanlı ekonomi yönetimi, keşif ve kısmi bilgi altında mücadele gerektirir ve Brood War topluluğu yıllardır rekabetçi bot turnuvalarını sürdürüyor. Bu birikmiş ekosistem, referansın insani temel çizgisini anlamlı kılan şeydir - Stardust, PurpleWave ve BananaBrain sıradan rakipler değil, rafine, turnuvalarla güçlendirilmiş programlardır.

Yeni Amiral Gemileri Mücadeleye Katılıyor

Sürüm 0.2 aynı zamanda yeni çıkan modeller için erken puan tablosu görevi de gördü. Google'ın Gemini 4 Argon'u, v0.1'in Gemini 3.8 Flash'ının yerini aldı ve ilk çıkışta üçüncü olurken, Meta'dan Muse Wonder Full, Muse Spark 1.3'ün yerine geçerek yedinci oldu. GPT-6 Astra ve Claude Opus 5.5, önceki sürümün kapsamından taşınmıştır.

Karşılaştırmalı değerlendirme, her çalıştırma için bir aracı izini kaydederek her modelin saatini nasıl harcadığını günlüğe kaydeder; bu, skor tablosunu farklı laboratuvar modellerinin planlama, kodlama ve oyun testi arasındaki süreyi nasıl bütçelendirdiğini gösteren davranışsal bir çalışmaya dönüştüren bir veri kümesidir. Bir modelin mimari kararları önden yüklemesi veya hatalı taslaklar yoluyla hızlı bir şekilde yinelenmesi, toplam puanların gizlendiği türden bir süreç detayıdır ve laboratuvarlar arası en ilginç farklılıkların ortaya çıkma eğiliminde olduğu yerdir.

Neden Önemlidir

Ajans kodlama kriterleri hızla doyuma ulaşıyor ve amiral gemisi modelleri birçok yazılım mühendisliği paketinin en üst sıralarında yer alıyor. StarSkirmish bir alternatif sunuyor: tavanın insan uzmanlar tarafından belirlendiği, ilerlemenin bilet çözümünün yüzde puanları yerine kazanma oranlarıyla ölçüldüğü ve saatlik bütçenin, temsilci çalışma üzerindeki gerçek dünyadaki kısıtlamaları yansıttığı bir ortam.

Sonuçlar geliştiricilerin ilgisini çekti. Show HN gönderisi, yorumcuların temsilci izlerini ve maliyet verimliliği planını derinlemesine incelemesiyle 200'den fazla olumlu oy aldı. Hacker News'teki kıyaslama tartışmaları, metodoloji tartışmaları ve yetenekler arasında bölünme eğiliminde; bu, hem akıl yürütme çabası asimetrisi hem de en çok incelenen tasarım seçenekleri arasındaki beş çalıştırmalı örneklem büyüklüğü ile birlikte ortaya çıktı. Muhakeme çabası seviyeleri arttıkça ve donanımlar geliştikçe, kıyaslama yazarı yinelemelere devam etmeyi planlıyor - ve şimdilik insan StarCraft bot topluluğu rahat liderliğini koruyor.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →