Vals, Yapay Zeka Kıyaslamasında Altın Standart Olmak İçin Andreessen Horowitz Öncülüğünde 40 Milyon Dolar Topladı

Hangi modellerin manşetlere çıkacağına yapay zeka kıyaslamaları karar veriyor ve bu modelleri geliştiren şirketler, bunları nasıl yeneceklerini öğrendi. 2024'te kurulan Vals adında bir startup, sektörün testleriyle oynanamayacak bir hakeme ihtiyaç duyduğuna inanıyor ve yatırımcılar da bu iddiayı büyük ölçüde destekledi: Vals, 8VC ve Bloomberg Beta liderliğindeki bir tohum turunun ardından geçen ay Andreessen Horowitz liderliğindeki A Serisi'nde 40 milyon dolar topladı.

Şirketin yükselişi, yapay zeka yeteneklerinin nasıl ölçüldüğüne ve ölçütün bir pazarlama aracı haline geldiğinde ne olacağına dair artan tedirginliğin ortasında gerçekleşti. Yapay zeka işi hakkında daha fazla bilgi için Yapay zeka sektörü haberlerini takip edin.

Karşılaştırmalar Pazarlamaya Dönüştüğünde

Kıyaslama, yapay zeka modellerinin yeteneklerini doğrulamak ve rakamlar bir şirketin yönünü değiştirdiğinde rakiplere karşı üstünlük reklamı yapmak için endüstri normu haline geldi. İyi kriterler iyi halkla ilişkiler anlamına gelir.

Vals'ın kurucu ortağı ve CEO'su Rayan Krishnan'a göre sorun, birçok eski kıyaslamanın daha önceki nesil modeller için oluşturulmuş olması ve şirketlerin bunlara göre nasıl optimizasyon yapabileceklerini bulmuş olmaları. Test materyalleri halka açık olduğunda, bir model sınavı geçmek için etkili bir şekilde eğitilebilir; bu, endüstrinin çeşitli şekillerde kirlenme, aşırı uyum veya doğrudan kopya çekme olarak tanımladığı bir uygulamadır.

Krishnan, TechCrunch ile yaptığı röportajda "Bir grup yeni, çok yetenekli modelin hızlı bir şekilde pazara çıktığını ve akademik kriterlerin bu sınır ilerlemesine ayak uyduramadığını gördük" dedi.

Özel Testler, Gerçek Dünya Görevleri

Vals iki cephede farklı bir yaklaşım benimsiyor. Birincisi, belirli test materyallerini kamuya açıklamıyor, bu da bir şirketin modellerini sınava göre eğitmesini çok daha zorlaştırıyor. İkincisi, bir modelin baro sınavı tarzı sorulara cevap verip veremeyeceği gibi soyut bilgiyi ölçmek yerine Vals, modellerin hukuk, finans ve kodlama gibi belirli sektörlerde karmaşık görevleri nasıl yerine getirdiğini değerlendiriyor.

Krishnan, "Yaptığımız şey aslında modellerin gerçek etkilerinin neler olduğuna bakmak" dedi. "Her alanda insanla aynı kalitede ürün üreten işler yapabilirler mi?"

Şirket ayrıca sadece başarıları değil, başarısızlık türlerini de ölçüyor. Krishnan, Vals'in "bu modeller dünyada çılgına dönerse olumsuz sonuçların ne olacağını" analiz etmeyi hedeflediğini söyledi; bu, aşağı yönlü riskleri sonradan akla gelen bir düşünceden ziyade ölçülebilir bir çıktı olarak ele alan bir değerlendirme felsefesidir.

Hukuk ve Finanstan Cenevre Sözleşmelerine ve Özyinelemeli Kişisel Gelişime

Vals'in değerlendirmelerinin kapsamı, profesyonel hizmet köklerinin ötesine genişlemeye devam ediyor. Hukuk, finans ve kodlama kriterlerinin yanı sıra Krishnan, şirketin artık zihinsel sağlık, siber güvenlik ve biyogüvenlik alanlarında da testler yürüttüğünü ve hatta ticari değerlendirme paketlerinden ziyade yapay zeka güvenliği çevrelerinde daha sık tartışılan bir konu olan özyinelemeli kişisel gelişim konusunda bir kıyaslama yürüttüğünü söyledi.

Belki de en dikkat çekici olanı, Vals'in modellerin Cenevre Konvansiyonunu nasıl anladığını ve uyguladığını test ettiği silahlı çatışma hukuku üzerine yaptığı çalışmadır. Genişlik, talebin nereden geldiğinin sinyalini veriyor: yalnızca liderlik tablolarında yer almak için yarışan laboratuvarlar değil, aynı zamanda modellerin devreye alınmadan önce yüksek riskli alanlarda nasıl davrandığına dair kanıtlara ihtiyaç duyan kuruluşlar ve kurumlar.

İş Modeli: Sınava Girmek İçin Ödeme Yapın

Şirketler, modellerini değerlendirmesi için Vals'a para ödüyor; bu da mantığa aykırı görünebilecek bir düzenleme. Bir şirket kendisini utandırabilecek sonuçlar için neden para ödesin ki? Krishnan, modeli SAT sınavına girmesi için Üniversite Kurulu'na para ödeyen bir öğrenciyle karşılaştırıyor: bağımsız bir ölçüm, hatta hiç de hoş olmayan bir ölçüm, bir şirketin sorunları gidermesine ve zaman içinde gelişmesine yardımcı oluyor.

Piyasa buna yanıt veriyor gibi görünüyor. Vals, gelirinin şu anda geçen yıla göre sekiz kat arttığını ve ekibinin bu yılın başından bu yana üç katına çıkarak sekiz kişiden 25 kişiye çıktığını söylüyor. Şirket, artık birden fazla startup'a ev sahipliği yapan eski bir bira fabrikası binası olan San Francisco'nun Folsom Caddesi'ndeki iki katlı bir ofisten faaliyet gösteriyor.

Şirkete göre, değerlendirmeler aynı zamanda AI modelleri için alışveriş yapan işletmeler için karar verme faktörleri haline geliyor ve bu da kıyaslamalara pazarlamadan çok durum tespitine daha yakın bir rol veriyor.

Ön Sırada Oturan 25 Yaşındaki Kurucu

25 yaşındaki Krishnan, Palantir'de staj yaptı ve Stanford'da lisans öğrencisi olarak Microsoft ve üniversitenin tanınmış yapay zeka laboratuvarında çalıştı. Vals'ın, değerlendirmenin ölçmesi gereken sektörün gerisinde kaldığını gözlemleyerek doğduğunu söylüyor; bu fark, yalnızca yeni modeller akademik kriterlerin tasarlanabileceğinden, doğrulanabileceğinden ve yayınlanabileceğinden daha hızlı geldikçe genişledi.

Başlangıç, artık akademik çabaları, açık kaynaklı lider panosu projelerini ve güvenlik enstitülerini içeren bir alan olan yapay zeka değerlendirmesini kurumsallaştırmaya çalışan küçük ama büyüyen bir şirket grubuna katılıyor. Vals'ı diğerlerinden ayıran şey, özel test modeli ve halka açık sıralamalar yerine ücretli, sektöre özel değerlendirmelere odaklanmasıdır.

Neden Önemlidir

Yapay zeka endüstrisinin kıyaslamalarla ilgili güvenilirlik sorunu iyi belgelenmiştir: sızdırılmış test setleri, şüpheli sıralama sıçramaları ve gerçek dünya performansını geride bırakan pazarlama iddiaları. Alıcılar, özellikle de şirketler ve hükümetler, Vals'inki gibi özel, göreve dayalı değerlendirmelere güvenmeye başlarsa, model geliştiricilere yönelik teşvikler, öğretmeden teste ve gerçek yeteneklere doğru kayabilir.

Bu, yerleşmekten çok uzak. Özel bir kıyaslama hâlâ alıcılardan hakeme güvenmelerini istiyor ve Vals'in müşterileri de derecelendirilen şirketlerle aynı. Ancak 40 milyon dolarlık A Serisi, sekiz kat gelir artışı ve finanstan biyogüvenliğe kadar uzanan taleple birlikte, bağımsız duygu değerlendirmesinin altyapıya dönüştüğüne dair iddia var; sonuçlar olumlu olsa da olmasa da yapay zeka ekonomisinin ödeyeceği bir hizmet.

Yapay Zekanın Önünde Olun

Ölçü aletlerini kim ölçüyor? Yapay zeka değerlendirmesi işini ve bunu yeniden şekillendiren startupları, son dakika yapay zeka haberleri kaynağınız olan AI Buzz Wire adresinden takip edin.

En son yapay zeka haberlerini okuyun →