Vals zbiera 40 milionów dolarów pod przewodnictwem Andreessena Horowitza, aby stać się złotym standardem w benchmarkingu sztucznej inteligencji

Testy porównawcze sztucznej inteligencji decydują, które modele trafiają na pierwsze strony gazet, a firmy tworzące te modele nauczyły się, jak je pokonywać. Startup o nazwie Vals, założony w 2024 r., obstawia, że ​​branża potrzebuje sędziego, którego testów nie można oszukać, a inwestorzy właśnie w wielkim stylu poparli ten zakład: Vals zebrał w zeszłym miesiącu 40 milionów dolarów w ramach serii A pod przewodnictwem Andreessena Horowitza, po rundzie początkowej prowadzonej przez 8VC i Bloomberg Beta.

Rozwój firmy wynika z rosnącego niepokoju dotyczącego sposobu pomiaru możliwości sztucznej inteligencji i tego, co się stanie, gdy miernik stanie się narzędziem marketingowym. Więcej informacji na temat działalności związanej ze sztuczną inteligencją znajdziesz w relacjonowaniu branży AI.

Kiedy testy porównawcze stają się marketingiem

Benchmarking stał się normą branżową służącą do sprawdzania możliwości modeli sztucznej inteligencji, a gdy liczby przechylają się ku lepszemu, do promowania wyższości nad rywalami. Dobre benchmarki oznaczają dobre public relations.

Według współzałożyciela i dyrektora generalnego Vals, Rayana Krishnana, problem polega na tym, że wiele starszych testów porównawczych zostało stworzonych dla wcześniejszych generacji modeli, a firmy wymyśliły, jak je optymalizować. Gdy materiały testowe są publiczne, modelkę można skutecznie wytrenować tak, aby zdała egzamin — praktykę tę branża różnie określa jako zanieczyszczenie, nadmierne dopasowanie lub zwykłe oszustwo.

„Widzieliśmy, jak szybko na rynek wchodziło wiele nowych, bardzo wydajnych modeli, a standardy akademickie nie nadążały za tym pionierskim postępem” – powiedział Krishnan w wywiadzie dla TechCrunch.

Prywatne testy, zadania w świecie rzeczywistym

Vals przyjmuje odmienne podejście na dwóch frontach. Po pierwsze, nie ujawnia publicznie swoich konkretnych materiałów testowych, co znacznie utrudnia firmie szkolenie swoich modeli pod kątem egzaminu. Po drugie, zamiast mierzyć abstrakcyjną wiedzę – czy model może odpowiedzieć na pytania na egzaminie adwokackim – Vals ocenia, w jaki sposób modele wykonują złożone zadania w określonych branżach, takich jak prawo, finanse i kodowanie.

„Właściwie przyglądamy się rzeczywistemu wpływowi modeli” – powiedział Krishnan. „Czy mogą wykonywać pracę, która w każdej dziedzinie wytwarza produkt tej samej jakości co człowiek?”

Firma mierzy także rodzaje awarii, a nie tylko sukcesy. Krishnan powiedział, że Vals ma na celu analizę, „jeśli te modele zawiodą na całym świecie, jakie byłyby negatywne implikacje” – jest to filozofia oceny, która traktuje ryzyko pogorszenia sytuacji jako mierzalny wynik, a nie refleksję.

Od prawa i finansów po konwencje genewskie i rekurencyjne samodoskonalenie

Zakres ocen Vals stale wykracza poza korzenie związane z usługami profesjonalnymi. Krishnan powiedział, że oprócz testów porównawczych z zakresu prawa, finansów i kodowania firma prowadzi obecnie testy w zakresie zdrowia psychicznego, cyberbezpieczeństwa i bezpieczeństwa biologicznego, a nawet testy porównawcze w zakresie rekurencyjnego samodoskonalenia – temat częściej omawiany w kręgach zajmujących się bezpieczeństwem sztucznej inteligencji niż w komercyjnych pakietach ewaluacyjnych.

Być może najbardziej uderzająca jest praca nad prawem konfliktów zbrojnych, w której Vals testuje, w jaki sposób modele rozumieją i stosują Konwencję Genewską. Szerokość sygnalizuje, skąd pochodzi popyt: nie tylko laboratoria walczące o czołowe miejsca w rankingach, ale przedsiębiorstwa i instytucje, które przed ich wdrożeniem potrzebują dowodów na to, jak modele zachowują się w dziedzinach, w których stawka jest wysoka.

Model biznesowy: zapłać za wykonanie testu

Firmy płacą firmie Vals za ocenę ich modeli – rozwiązanie to może wydawać się sprzeczne z intuicją. Dlaczego firma miałaby płacić za wyniki, które mogą ją zawstydzić? Krishnan porównuje ten model do studenta płacącego Radzie Kolegium za przystąpienie do egzaminu SAT: niezależny pomiar, nawet ten niepochlebny, pomaga firmie rozwiązywać problemy i z czasem ulepszać.

Wydaje się, że rynek reaguje. Vals twierdzi, że jej przychody są obecnie ośmiokrotnie wyższe niż w zeszłym roku, a od początku roku jego zespół potroił się, z ośmiu do 25 osób. Firma prowadzi działalność w dwupiętrowym biurze przy Folsom Street w San Francisco – dawnym budynku browaru, w którym obecnie mieści się wiele start-upów.

Według firmy oceny stają się również czynnikami decyzyjnymi dla przedsiębiorstw kupujących modele sztucznej inteligencji, nadając testom porównawczym rolę bliższą należytej staranności niż marketingowi.

25-letni założyciel z miejsca w pierwszym rzędzie

Krishnan (25 lat) stażysta w Palantir, a jako student na Uniwersytecie Stanforda pracował dla firmy Microsoft i znanego uniwersyteckiego laboratorium sztucznej inteligencji. Mówi, że Vals narodził się z obserwacji, jak ewaluacja pozostaje w tyle za branżą, którą miała mierzyć – luka, która tylko się pogłębiła, gdy nowe modele pojawiały się szybciej, niż można było zaprojektować, zweryfikować i opublikować akademickie wzorce odniesienia.

Startup dołącza teraz do małej, ale rosnącej grupy firm próbujących zinstytucjonalizować ocenę sztucznej inteligencji, przestrzeń obejmującą wysiłki akademickie, projekty rankingów open source i instytuty bezpieczeństwa. Tym, co wyróżnia Vals, jest model testów prywatnych i skupienie się na płatnych ocenach specyficznych dla branży, a nie na rankingach publicznych.

Dlaczego to ma znaczenie

Problem wiarygodności branży sztucznej inteligencji w przypadku testów porównawczych jest dobrze udokumentowany: zestawy testowe, które wyciekły, podejrzane skoki w rankingach i twierdzenia marketingowe, które przewyższają wyniki w świecie rzeczywistym. Jeśli nabywcy – zwłaszcza przedsiębiorstwa i rządy – zaczną polegać na prywatnych, opartych na zadaniach ocenach, takich jak Vals, zachęty dla twórców modeli mogą zmienić się z nauczania na test w kierunku rzeczywistych możliwości.

To daleka droga od ustalenia. Prywatny test porównawczy w dalszym ciągu wymaga od kupujących zaufania osobie oceniającej, a klientami Vals są te same firmy, które podlegają ocenie. Jednak biorąc pod uwagę 40-milionową serię A, ośmiokrotny wzrost przychodów i popyt obejmujący finansowanie po bezpieczeństwo biologiczne, można założyć, że niezależna ocena stanie się infrastrukturą — usługą, za którą gospodarka sztucznej inteligencji zapłaci niezależnie od tego, czy wyniki jej pochlebią, czy nie.

Wyprzedź sztuczną inteligencję

Kto mierzy mierniczych? Śledź działalność związaną z oceną sztucznej inteligencji i startupami, które ją przekształcają, w AI Buzz Wire, Twoim źródle najświeższych wiadomości o AI.

Przeczytaj najnowsze wiadomości o sztucznej inteligencji →