Vals Mengumpulkan $40 Juta Dipimpin oleh Andreessen Horowitz untuk Menjadi Standar Emas untuk Tolok Ukur AI

Tolok ukur AI menentukan model mana yang akan menjadi berita utama — dan perusahaan yang membuat model tersebut telah belajar bagaimana cara mengalahkannya. Sebuah startup bernama Vals, yang dibentuk pada tahun 2024, bertaruh bahwa industri ini membutuhkan seorang wasit yang pengujiannya tidak dapat ditandingi, dan para investor sangat mendukung taruhan tersebut: Vals mengumpulkan $40 juta Seri A yang dipimpin oleh Andreessen Horowitz bulan lalu, setelah putaran awal yang dipimpin oleh 8VC dan Bloomberg Beta.

Kebangkitan perusahaan ini terjadi di tengah meningkatnya kegelisahan mengenai bagaimana kemampuan AI diukur, dan apa yang terjadi ketika tolok ukur tersebut menjadi alat pemasaran. Untuk informasi lebih lanjut tentang bisnis AI, ikuti liputan industri AI.

Saat Tolok Ukur Menjadi Pemasaran

Pembandingan (benchmarking) telah menjadi norma industri untuk memvalidasi kemampuan model AI — dan, ketika angkanya sesuai dengan keinginan perusahaan, untuk mengiklankan keunggulan dibandingkan pesaing. Tolok ukur yang baik berarti hubungan masyarakat yang baik.

Masalahnya, menurut salah satu pendiri dan CEO Vals, Rayan Krishnan, adalah banyak tolok ukur lama yang dibuat untuk model generasi sebelumnya, dan perusahaan telah menemukan cara untuk mengoptimalkannya. Ketika materi ujian dipublikasikan, seorang model dapat dilatih secara efektif untuk lulus ujian — sebuah praktik yang oleh industri digambarkan sebagai kontaminasi, overfitting, atau kecurangan.

“Kami melihat banyak model baru yang sangat mumpuni memasuki pasar dengan cepat, dan tolok ukur akademisnya [tidak] mampu mengimbangi kemajuan tersebut,” kata Krishnan dalam sebuah wawancara dengan TechCrunch.

Tes Pribadi, Tugas Dunia Nyata

Vals mengambil pendekatan berbeda di dua sisi. Pertama, mereka tidak mengungkapkan secara publik materi pengujian spesifiknya, sehingga mempersulit perusahaan untuk melatih modelnya agar dapat menghadapi ujian tersebut. Kedua, alih-alih mengukur pengetahuan abstrak — apakah suatu model dapat menjawab pertanyaan-pertanyaan bergaya ujian — Vals mengevaluasi bagaimana model melakukan tugas-tugas kompleks di industri tertentu seperti hukum, keuangan, dan pengkodean.

“Apa yang kami lakukan sebenarnya adalah melihat dampak nyata dari model tersebut,” kata Krishnan. “Dapatkah mereka melakukan pekerjaan yang menghasilkan produk dengan kualitas yang sama dengan manusia dalam setiap domain?”

Perusahaan juga mengukur mode kegagalan, bukan hanya keberhasilan. Krishnan mengatakan Vals bertujuan untuk menganalisis “jika model-model ini menjadi liar di dunia, apa dampak negatifnya” – sebuah filosofi evaluasi yang memperlakukan risiko penurunan sebagai hasil yang dapat diukur dan bukan hanya sekedar renungan.

Dari Hukum dan Keuangan hingga Konvensi Jenewa dan Perbaikan Diri Secara Rekursif

Cakupan evaluasi Vals terus berkembang melampaui akar layanan profesionalnya. Selain tolok ukur hukum, keuangan, dan pengkodean, Krishnan mengatakan perusahaannya kini menjalankan pengujian di bidang kesehatan mental, keamanan siber, dan biosekuriti, dan bahkan tolok ukur peningkatan diri secara rekursif – sebuah topik yang lebih sering dibahas di kalangan keselamatan AI dibandingkan di ruang evaluasi komersial.

Mungkin yang paling mencolok adalah penelitiannya mengenai hukum konflik bersenjata, di mana Vals menguji bagaimana para model memahami dan menerapkan Konvensi Jenewa. Luasnya sinyal dari mana permintaan berasal: tidak hanya laboratorium yang berlomba untuk mencapai papan peringkat teratas, tetapi juga perusahaan dan institusi yang membutuhkan bukti tentang bagaimana model berperilaku di domain berisiko tinggi sebelum menerapkannya.

Model Bisnis: Bayar untuk Mengikuti Tes

Perusahaan membayar Vals untuk mengevaluasi model mereka – sebuah pengaturan yang mungkin tampak berlawanan dengan intuisi. Mengapa perusahaan harus membayar untuk hasil yang mungkin mempermalukannya? Krishnan membandingkan model tersebut dengan seorang siswa yang membayar Dewan Perguruan Tinggi untuk mengambil SAT: pengukuran independen, bahkan pengukuran yang tidak menarik, membantu perusahaan memecahkan masalah dan meningkatkannya seiring waktu.

Pasar tampaknya merespons. Vals mengatakan pendapatannya saat ini delapan kali lipat dibandingkan tahun lalu, dan timnya meningkat tiga kali lipat sejak awal tahun, meningkat dari delapan orang menjadi 25 orang. Perusahaan ini beroperasi dari kantor dua lantai di Folsom Street San Francisco — bekas gedung pembuatan bir yang kini menampung banyak perusahaan rintisan.

Menurut perusahaan, evaluasi juga menjadi faktor pengambilan keputusan bagi perusahaan yang membeli model AI, sehingga menjadikan tolok ukur lebih dekat dengan uji tuntas dibandingkan pemasaran.

Pendiri Berusia 25 Tahun Dengan Kursi Barisan Depan

Krishnan, 25, magang di Palantir dan, sebagai mahasiswa sarjana di Stanford, bekerja untuk Microsoft dan laboratorium kecerdasan buatan universitas yang terkenal. Dia mengatakan Vals lahir dari melihat evaluasi tertinggal dari industri yang seharusnya diukur – kesenjangan yang semakin melebar ketika model-model baru hadir lebih cepat daripada tolok ukur akademis yang dapat dirancang, divalidasi, dan dipublikasikan.

Startup ini kini bergabung dengan kelompok perusahaan kecil namun sedang berkembang yang mencoba melembagakan evaluasi AI, sebuah ruang yang mencakup upaya akademis, proyek papan peringkat sumber terbuka, dan lembaga keselamatan. Yang membedakan Vals adalah model tes privatnya dan fokusnya pada evaluasi berbayar khusus industri dibandingkan pemeringkatan publik.

Mengapa Itu Penting

Masalah kredibilitas industri AI terhadap tolok ukur telah terdokumentasi dengan baik: kebocoran set pengujian, lompatan peringkat yang mencurigakan, dan klaim pemasaran yang melebihi kinerja di dunia nyata. Jika pembeli – terutama perusahaan dan pemerintah – mulai mengandalkan evaluasi berbasis tugas swasta seperti yang dilakukan Vals, insentif bagi pengembang model dapat beralih dari pengajaran ke ujian menuju kemampuan sejati.

Itu masih jauh dari penyelesaian. Tolok ukur swasta masih meminta pembeli untuk memercayai pemberi referensi, dan klien Vals adalah perusahaan yang sama yang dinilai. Namun dengan Seri A senilai $40 juta, pertumbuhan pendapatan delapan kali lipat dan permintaan yang mencakup pendanaan hingga biosekuriti, taruhannya adalah bahwa evaluasi perasaan independen akan menjadi infrastruktur – sebuah layanan yang akan dibayar oleh ekonomi AI, terlepas dari apakah hasilnya memuaskan atau tidak.

Tetap Terdepan dalam AI

Siapa yang mengukur alat pengukur? Ikuti bisnis evaluasi AI dan startup yang membentuknya kembali di AI Buzz Wire, sumber Anda untuk berita terkini AI.

Baca berita AI terkini →