Tolok ukur AI mutusake model endi sing dadi berita utama - lan perusahaan sing nggawe model kasebut wis sinau babagan carane ngalahake. A wiwitan disebut Vals, kawangun ing 2024, totoan sing industri mbutuhake wasit kang tes ora bisa game, lan investor mung ndhukung taruhan sing ing cara gedhe: Vals mundhakaken $ 40 yuta Series A dipimpin déning Andreessen Horowitz sasi pungkasan, sawise babak winih dipimpin déning 8VC lan Bloomberg Beta.
Munggah perusahaan kasebut ana ing tengah-tengah rasa ora nyaman babagan cara ngukur kapabilitas AI, lan apa sing kedadeyan nalika ukuran dadi alat marketing. Kanggo luwih akeh babagan bisnis AI, tututi liputan industri AI.
Nalika Benchmarks Dadi Marketing
Benchmarking wis dadi norma industri kanggo validasi kapabilitas model AI - lan, nalika angka kasebut ngganti cara perusahaan, kanggo keunggulan pariwara tinimbang saingan. Pathokan sing apik tegese hubungan masyarakat sing apik.
Masalah kasebut, miturut pendiri lan CEO Vals Rayan Krishnan, yaiku akeh benchmark warisan sing dibangun kanggo model generasi sadurunge, lan perusahaan wis ngerti carane ngoptimalake. Nalika materi tes umum, model bisa dilatih kanthi efektif supaya lulus ujian - praktik industri sing digambarake kanthi macem-macem minangka kontaminasi, overfitting, utawa ngapusi langsung.
"Kita ndeleng pirang-pirang model anyar sing apik banget teka ing pasar kanthi cepet, lan benchmark akademik ora cocog karo kemajuan perbatasan kasebut," ujare Krishnan ing wawancara karo TechCrunch.
Tes Pribadi, Tugas Donya Nyata
Vals njupuk pendekatan sing beda ing rong ngarep. Kaping pisanan, ora mbukak umum materi tes tartamtu, sing ndadekake perusahaan luwih angel nglatih modele kanggo ujian. Kapindho, tinimbang ngukur kawruh abstrak - apa model bisa mangsuli pitakonan gaya bar-ujian - Vals ngevaluasi carane model nindakake tugas rumit ing industri tartamtu kaya hukum, keuangan lan coding.
"Apa sing kita lakoni yaiku ndeleng apa pengaruh nyata saka model kasebut," ujare Krishnan. "Apa dheweke bisa nindakake karya sing ngasilake produk kanthi kualitas sing padha karo manungsa ing saben domain?"
Perusahaan uga ngukur mode kegagalan, ora mung sukses. Krishnan ngandika Vals yakuwi kanggo njelasno "yen model iki mlayu alam bébas ing donya, apa implikasi negatif bakal" - filosofi evaluasi sing nganggep resiko downside minangka output bisa diukur tinimbang afterthought.
Saka Hukum lan Keuangan nganti Konvensi Genevas lan Rekursif Self-Addening
Ruang lingkup evaluasi Vals terus berkembang ngluwihi oyod layanan profesional. Saliyane pathokan hukum, keuangan lan kode, Krishnan ujar manawa perusahaan saiki nganakake tes kesehatan mental, keamanan siber lan biosecurity, lan malah dadi pathokan babagan perbaikan diri rekursif - topik sing luwih umum dibahas ing bunderan AI-safety tinimbang ing suite evaluasi komersial.
Mbok menawa sing paling nggumunake yaiku karyane babagan hukum konflik bersenjata, ing ngendi Vals nguji kepiye model ngerti lan ngetrapake Konvensi Jenewa. Sinyal ambane saka ngendi panjaluk: ora mung lab sing racing menyang papan peringkat paling dhuwur, nanging perusahaan lan institusi sing mbutuhake bukti babagan cara model tumindak ing domain taruhan dhuwur sadurunge nggunakake.
Model Bisnis: Mbayar kanggo Tes
Perusahaan mbayar Vals kanggo ngevaluasi modele - pengaturan sing bisa katon kontras. Yagene perusahaan bakal mbayar asil sing bisa nggawe isin? Krishnan mbandhingake model kasebut karo siswa sing mbayar College Board kanggo njupuk SAT: pangukuran mandiri, sanajan ora nyenengake, mbantu perusahaan ngatasi masalah lan nambah wektu.
Pasar katon nanggapi. Vals ujar manawa revenue saiki kaping wolu tinimbang taun kepungkur, lan tim wis tikel kaping telu wiwit wiwitan taun, tuwuh saka wolung wong dadi 25. Perusahaan iki beroperasi saka kantor rong lantai ing Folsom Street San Francisco - sawijining bangunan pabrik bir sing saiki dadi pirang-pirang startup.
Evaluasi uga dadi faktor pengambilan keputusan kanggo perusahaan sing blanja model AI, miturut perusahaan, menehi pathokan peran sing luwih cedhak karo rajin tinimbang marketing.
Pendhiri 25 Taun Kanthi Kursi Ngarep
Krishnan, 25, magang ing Palantir lan, minangka sarjana ing Stanford, kerja ing Microsoft lan laboratorium kecerdasan buatan sing kondhang ing universitas kasebut. Dheweke ujar yen Vals lair saka nonton evaluasi mundur saka industri sing kudu diukur - jurang sing mung saya tambah akeh amarga model anyar teka luwih cepet tinimbang benchmark akademik sing bisa dirancang, divalidasi lan diterbitake.
Startup saiki gabung karo klompok perusahaan cilik nanging akeh sing nyoba nglebokake evaluasi AI, ruang sing kalebu upaya akademik, proyek papan pimpinan sumber terbuka lan lembaga keamanan. Sing mbedakake Vals yaiku model tes pribadi lan fokus ing evaluasi khusus industri sing dibayar tinimbang rangking umum.
Apa Sing Penting
Masalah kredibilitas industri AI karo pathokan wis didokumentasikake kanthi apik: set tes bocor, lompat papan pimpinan sing curiga lan klaim pemasaran sing ngluwihi kinerja donya nyata. Yen para panuku - utamane perusahaan lan pamrentah - wiwit ngandelake evaluasi pribadi adhedhasar tugas kaya Vals ', insentif kanggo pangembang model bisa ngalih saka mulang menyang tes menyang kemampuan asli.
Sing adoh saka mapan. Tolok ukur pribadi isih njaluk para panuku supaya percaya marang wasit, lan klien Vals minangka perusahaan sing padha dirating. Nanging kanthi $ 40 yuta Series A, wutah revenue tikel wolu lan panjaluk babagan keuangan kanggo biosecurity, taruhan kasebut yaiku evaluasi perasaan mandiri dadi infrastruktur - layanan sing bakal dibayar dening ekonomi AI yen asil kasebut luwih apik utawa ora.
Tetep Ahead saka AI
Sapa sing ngukur pengukur? Tindakake bisnis evaluasi AI lan startup sing nggawe maneh ing AI Buzz Wire, sumber sampeyan kanggo breaking AI news.
Waca warta AI paling anyar →
