Meta'daki FAIR, Oxford Üniversitesi ve University College London'dan bir araştırma ekibi, otonom bir araştırma temsilcisinin gerçekte hangi makine öğrenimi deneylerini yürütmesi gerektiğine karar vermeye yönelik bir yöntem olan Yapay Zeka Araştırma Tercih Modellerini (RPM'ler) tanıttı. Bir deneyin nasıl puan alacağını tahmin etmek yerine, RPM, yürütülmemiş adayları sıralıyor ve en umut verici olanı seçiyor; MarkTechPost'un çalışma hakkındaki raporuna göre, ekibin söylediğine göre bu değişim, yapay zeka odaklı araştırmadaki gerçek darboğaza değiniyor: doğrulama hesaplaması.

Fikir, araştırma temsilcilerinin zaten kendi deneylerini önerebilecekleri, uygulayabilecekleri ve puanlayabilecekleri bir zamanda ortaya çıkıyor. Fikir üretmek ucuzdur; infaz değildir. Tek bir adayın eğitilmesi GPU'nun saatlerce, hatta günlerce zamanını tüketebilir, dolayısıyla bir aracı kaçınılmaz olarak çalıştırmayı göze alamayacağı kadar fazla deney önerir. Ekibin çerçevesini çizdikçe, hangi adayların idam edileceği, araştırma ilerlemesindeki gerçek kaldıraçtır. Bilgi işlem faturalarının yükselişini izleyen laboratuvarlar için bu çerçeveleme, bu çalışmanın araştırma otomasyonundaki en son yapay zeka gelişmelerinde dikkat çekmesinin nedenidir.

Deneme seçimi neden darboğazdır?

Ekip, dil modellerinin mutlak metrikleri veya yürütme sonuçlarını tahmin etmede güvenilir olmadığını buldu. Bir model, aday bir deneye bakıp elde edeceği puanı doğru bir şekilde tahmin edemez. Araştırmacıların bulduğu şey, iki adaydan hangisinin daha iyi olduğuna karar vermek, yani mutlak bir tahmin yerine göreceli bir karşılaştırma yapmak. RPM'ler tamamen bu ayrım etrafında inşa edilmiştir: asla bir puan tahmin etmezler, yalnızca sıralama yaparlar.

Sistem, açgözlü ebeveyn seçimi ve Taslak, İyileştirme ve Hata Ayıklama operatörleri aracılığıyla makine öğrenimi deneyleri üreten ve sonunda en yüksek doğrulama puanına sahip düğümü döndüren açık kaynaklı bir evrimsel ağaç arama iskelesi olan AIRA-dojo'da çalışır. Karşılaştırma ölçütü AIRS-Bench de açık kaynaktır. Hem iskele hem de tercih modeli, omurgaları olarak Qwen3.6-27B'yi kullanıyor ve ekip bunun açık ağırlık olduğunu belirtiyor.

Nakavt turnuvası nasıl çalışır?

Aracı, bir alt deney oluşturmak ve onu yürütmek yerine, 15 yürütülmemiş aday üretmek için paralel olarak 15 kez bir operatör uygular. RPM daha sonra bunları bir eleme turnuvasında ikili olarak karşılaştırır ve yalnızca kazanan idam edilir. Her karşılaştırma, araştırılan ağacın geniş kapsamlı bir yürüyüşüyle ​​toplanan bağlam düğümlerine dayanır; her aday, atalarının doğrulama puanlarının yanında gösterilir; böylece yargıç, boşluktan ziyade aracının gerçek arama geçmişinden mantık yürütür.

Makalede farklı işlem bütçelerine sahip iki değişken açıklanmaktadır:

  • Yalnızca çıkarım RPM — aday planlarını, kodu ve arama geçmişini tek geçişte karşılaştıran bir hakem olarak yüksek lisans. İstemi, DSPy çerçevesinden MIPROv2 ile optimize edildi ve ekibin baş araştırmacı değerlendirme tablosu olarak adlandırdığı şeye yakınlaştı: düzeltilebilir hataları tolere eder, genişletilebilirliği ödüllendirir ve gereksiz araştırma talimatlarını cezalandırır. Çevrimdışı karşılaştırma doğruluğu yüzde 57,7 ile 59,0 arasında ölçüldü.
  • Agent RPM — aynı yargıç artı Python, Bash ve çözüm gönderme eylemiyle sınırlı araçlarla tek bir H200 GPU dahil olmak üzere temsilcinin ortamını klonlayan bir sanal alan. Küçük ölçekli pilot deneyler yürütüyor, ardından bir geri bildirim modeli ya en bilgilendirici bir sonraki deneyi öneriyor ya da döngüyü sonlandırıyor. Pilotlar 60 saniyelik bir eşik ile 30 ile sınırlandırılmıştır ve kalan süre bütçesi kasıtlı olarak abartılmıştır (gerçek 300 saniyeye karşılık 2.700 saniye rapor edilmiştir) bu nedenle aracı optimizasyonu erken bırakmaz.

Baş araştırmacı gibi ayarlanmış bir yargıç

Baş araştırmacı çerçevesi oldukça ilginç kısımdır. Optimize edilmiş değerlendirme listesi, maksimum düzeyde etkileyici görünen adayları ödüllendirmek yerine, deneyimli bir araştırmacının fikirleri nasıl önceliklendirdiğini yansıtır: Düzeltilebilen hatalı kod, çıkmaz bir sonu takip eden cilalanmış kodu yener ve mevcut ağacı kopyalayan yönergeler, yeni olanlardan daha az değerlidir. Ekibin ablasyonları, elle ayarlama yerine hızlı optimizasyon yoluyla öğrenilen bu değerlendirme tablosunun, iyileştirmeyi taşıyan şey olduğunu öne sürüyor.

AIRS-Bench'te karşılaştırma sonuçları

Değerlendirme, her bir göreve tek bir H200 ve 10 rastgele tohum üzerinde 24 saat verilen 20 genel metin ve tablo görevini kapsıyordu. En önemlisi, aynı Qwen3.6-27B omurgası hem deney operatörlerine hem de tercih modeline güç veriyordu, dolayısıyla kazançlar daha güçlü bir değerlendirme modelinden ziyade seçim katmanından geliyordu. Ortalama normalleştirilmiş puanlar:

  • RPM yok (rastgele seçim): 0,684
  • Yalnızca çıkarım RPM'si: 0,711
  • Ajan RPM'si: 0,729
  • Doğrulama kehaneti (tavan): 0,748
  • Test kehaneti (tavan): 0,759

Rastgele seçime göre iyileşme olasılığı, yalnızca çıkarım değişkeni için 0,5923 ve etken değişken için 0,5913 idi; yüzde 95 güven aralığı alt sınırları 0,5066 ve 0,5018'di; istatistiksel anlamlılık için 0,5 eşiğinin üzerinde, ancak ekip, marjların dönüştürücü olmaktan çok mütevazı olduğu konusunda samimi.

Verimlilik daha pratik sonuçtur. Yalnızca çıkarımsal RPM, rastgele temelin nihai puanı olan 0,684'e 1,61x hızlanmayla 14,88 saatte ulaşırken, ajansal değişkenin 1,55x hızlanmayla 15,50 saate ihtiyacı vardı. Kendi kendine barındırılan yargıç çıkarımının ek yükünü hesaba katsak bile, düzeltilmiş rakamlar olumlu kalmayı sürdürdü.

Açık ağırlıklar ve dürüst uyarılar

Ekip, RPM'lerin bugün yalnızca kısmen konuşlandırılabileceğini açıkça belirtiyor. Bileşenler açık; ince ayar gerektirmeyen donmuş, önceden eğitilmiş omurgalar, açık kaynaklı bir iskele ve kıyaslama ve açık ağırlıklı omurga modelleri; ancak ajan değişkeninin korumalı alan gereksinimi ve pilot deney yükü, çoğu laboratuvarın yalnızca çıkarım sürümüyle başlayacağı anlamına geliyor. Araştırmacılar ayrıca, pilot süresinin aracının kendi saatiyle rekabet etmesi nedeniyle hata ayıklama adımlarının aracılı değişkende rastgele seçime geri döndüğünü belirtiyorlar.

Daha büyük önem yönsel olabilir. Otonom araştırma ajanları demolardan endüstriyel laboratuvarlarda günlük kullanıma geçtikçe, kıt olan kaynak artık fikirler değil, GPU saatleri ve sabit bir bilgi işlem bütçesi bileşiminden zaman içinde daha fazla ilerleme sağlayan yöntemlerdir. Koşmadan önce sıralama yapmak basit bir fikir ve AIRS-Bench rakamları bunun önemli olacak kadar işe yarayan bir fikir olduğunu gösteriyor.

Yapay Zekanın Önünde Olun

Yarının modellerini şekillendirecek araştırmaları AI Buzz Wire adresinden takip edin.

Daha fazla AI haberini okuyun →