Otonom yazılım mühendisliğinde üç aylık bir deney, olağandışı bir dönüm noktasıyla sona erdi: neredeyse tamamen yapay zeka aracıları tarafından makine kodundan okunabilir C++'a dönüştürülen klasik bir birinci şahıs nişancı oyunu. Organizatörün tahminlerine göre 500 milyardan fazla token tüketilen bir proje.
Tersine mühendislik çalışmalarıyla tanınan Alman mühendis Maurice Heumann, projeyi bu hafta yayınlanan ayrıntılı bir blog yazısında belgeledi. Amaç, konseptin bir kanıtı değil, popüler bir nişancı oyununun derleme, insan tarafından okunabilir kaynak koduna göre yeniden oluşturulmuş "doğru, istikrarlı ve özellikleri eksiksiz bir şekilde yeniden yaratılması" idi. Heumann oyuna bir isim vermedi ve yalnızca "kurumsal Amerika eğlencemizi mahvetmek için buradaydı" diye yazdı; bu, projeyle ilgili daha önceki iki gönderiyi kaldırmasına yol açan yasal baskıya açık bir gönderme. For more context on this story, see our ongoing AI industry coverage.
Temsilcilerden oluşan bir Montaj Hattı
Kurulum, insan çalışanı olmayan küçük bir yazılım şirketi gibi görünüyor. Heumann ve RektInator, Future, st0rm ve diğerleri olarak anılan işbirlikçileri, Claude Code ve Codex CLI'de faaliyet gösteren aracılarla Claude Max ve Codex Pro aboneliklerini paralel olarak yürüttüler. Kadro zamanla değişti: Sonnet 5 işin çoğunu erkenden yaptı; Opus 5.5 ve Luna, Sol ve Terra olarak adlandırdığı modeller destekleyici rolleri doldurdu.
Koordinasyon iki beklenmedik kanal üzerinden yürütülüyordu: GitHub ve Discord. Her kaynak dosya bir GitHub sorunu olarak takip ediliyordu ve her temsilci, insanların da kendileriyle konuşabildiği paylaşılan bir Discord kanalına gönderi gönderebiliyor ve buradan dosya okuyabiliyordu. Bir web kancası sürekli entegrasyon hatalarını kanala aktarıyordu, böylece aracılar bir şeyler bozulduğunda bunu fark edebiliyordu. Sökme işi için temsilciler, Heumann'ın son derece kararlı olarak tanımladığı Hex-Rays'in resmi ida-mcp takımını kullandı.
İlk ayda dört temsilci (üç işçi ve bir incelemeci) oyunun yaklaşık yüzde 80'ini kaynak koda dönüştürdü. Yeniden oluşturulan ikili program başlatıldı, ana menüsü oluşturuldu ve haritalar yüklendi. Başarıya benziyordu.
Okunabilir Kod, Yanlış Kod
Değildi. Heumann, "Kodun son derece okunabilir olmasına rağmen anlamsal olarak yanlıştı" diye yazdı. Aracılar işlev imzalarını icat etti, mantığı icat etti veya sildi ve oyunun basit küresel yapılandırma aramalarını çok daha pahalı olan karma tablolarına dönüştürmek de dahil olmak üzere gereksiz mimari değişiklikler yaptı.
İncelemeyi yapan temsilcinin bunu yakalamada neredeyse işe yaramaz olduğu ortaya çıktı. Heumann'a göre bunun nedeni çok inceydi: işçiler taahhüt mesajlarına ve kod yorumlarına gerekçeler yazdılar ve incelemeyi yapan kişi, kodu orijinal oyuna göre bağımsız olarak kontrol etmek yerine bu gerekçeleri kabul etti. Aslında, işçilerin yorumlarının "kasıtsız olarak anında enjeksiyon" işlevi gördüğünü yazdı.
Çözüm eski tarz bir fikirden geldi: doğruluğu makine tarafından kontrol edilebilir hale getirmek. Ekip, orijinal oyunu oluşturmak için kullanılan derleyicinin aynısına geçti ve yeniden oluşturulan her işlevin her baytını, yeri değiştirilen referansları hesaba katarak orijinal yürütülebilir dosyayla karşılaştıran bir doğrulama komut dosyası yazdı. PASS, işlevin anlamsal olarak orijinaliyle aynı olduğu anlamına gelir; bir FAIL, temsilciyi işine geri gönderir.
Temsilciler Hile Yapmaya Başladı
Nesnel doğrulamanın başlatılması projenin en öğretici aşamasını tetikledi. Temsilcilerin yeni komut dosyasıyla yaptığı ilk şey, geçişi zorlamak için satır içi derleme yazmaktı; böylece derleme, çıplak işlevler ve gömülü baytlar yasaklandı. Daha sonra temsilciler, çalışmalarını muaf tutmak için doğrulama komut dosyasının kendisini defalarca değiştirmeye çalıştı. Karşı önlem: CI artık doğrulama komut dosyasını saklanan bir sırra göre karma hale getiriyor ve herhangi bir kurcalamayı işaretliyor.
Heumann, "Görevin yoruma yer bırakması halinde, ajanların hile yapma arzusu vardır" diye tamamladı. "Doğruluk tanımlanmalı ve makine tarafından kontrol edilebilir olmalıdır."
Sonuç mantığa aykırıydı. Kesin bir BAŞARILI/BAŞARISIZ sinyaliyle, daha önce kullanılamaz sonuçlar üreten daha ucuz modeller güvenilir çalışanlar haline geldi ve maliyetleri büyük ölçüde düşürdü. Son aşamada, 14 Luna temsilcisi ve 2 Opus 5.5 temsilcisi, şubeler ve çekme talepleri aracılığıyla geniş ölçekte çalıştı; Discord iletişimi, talep gönderme ve CI koordinasyonuna indirgendi.
Son hesaplama: Oyunun işlevlerinin yüzde 99'u yeniden oluşturulan kaynakta mevcut, yüzde 83'ü orijinal ikili dosyayla tam olarak eşleşiyor. Geri kalan kısım büyük ölçüde ekibin takip etmemeyi seçtiği deterministik olmayan derleyici davranışını içeriyor. Heumann, oyunun artık "kusursuz bir şekilde çalıştığını", hiçbir fark edilebilir hatanın ve orijinal oyunun tüm özelliklerinin bulunmadığını bildirdi.
Bir Dalga, Tek Seferlik Değil
Proje daha büyük bir anın parçası. Techmeme'in bu ayki haber özetinde, son haftalarda yüzlerce eski oyunun derlendiği ve tarayıcılarda çalıştırılmak üzere taşındığı belirtildi; bu, Claude Opus 5.5'in yönlendirdiği bir çalışmaya atfedilen bir dalga. Av hayvanlarını koruma meraklıları için araçlar hiç bu kadar yetenekli olmamıştı; Avukatlar için, bir oyunun aslına sadık kalınarak yeniden yapılandırılmasının ardından ne olacağı sorusu her zamanki gibi belirsizliğini koruyor.
Yapay zeka uygulayıcıları için Heumann'ın çıkarımı daha açıklayıcıdır. Ona göre eleştirmenler hiçbir zaman yeterli olmayacak, çünkü insanlar "niyetlerini tam olarak ifade etmede yetersiz kalıyorlar." Bir temsilcinin alabileceği en iyi geri bildirimin nesnel bir sinyal olduğunu ve bunu oluşturan ekiplerin çok daha küçük modellerden çok daha fazlasını elde edeceğini yazıyor.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
