Vals haalt $40 miljoen op onder leiding van Andreessen Horowitz om de gouden standaard voor AI-benchmarking te worden

AI-benchmarks bepalen welke modellen de krantenkoppen halen – en de bedrijven die deze modellen bouwen hebben geleerd hoe ze deze kunnen verslaan. Een startup genaamd Vals, opgericht in 2024, gokt erop dat de industrie een scheidsrechter nodig heeft wiens tests niet kunnen worden gespeeld, en investeerders hebben die weddenschap zojuist op grote schaal gesteund: Vals haalde vorige maand een Series A van $ 40 miljoen op onder leiding van Andreessen Horowitz, na een zaadronde onder leiding van 8VC en Bloomberg Beta.

De opkomst van het bedrijf komt te midden van een groeiend ongemak over de manier waarop AI-capaciteiten worden gemeten en wat er gebeurt als de maatstaf een marketinginstrument wordt. Voor meer informatie over de activiteiten van AI volgt u dekking van de AI-industrie.

Wanneer benchmarks marketing worden

Benchmarking is de industrienorm geworden voor het valideren van de mogelijkheden van AI-modellen – en, als de cijfers de kant van een bedrijf opgaan, voor het adverteren van superioriteit ten opzichte van rivalen. Goede benchmarks betekenen goede public relations.

Het probleem is volgens Rayan Krishnan, mede-oprichter en CEO van Vals, dat veel bestaande benchmarks zijn gebouwd voor een eerdere generatie modellen, en dat bedrijven hebben ontdekt hoe ze deze kunnen optimaliseren. Wanneer testmateriaal openbaar is, kan een model effectief worden getraind om voor het examen te slagen – een praktijk die de industrie op verschillende manieren heeft omschreven als besmetting, overfitting of ronduit bedrog.

"We zagen dat er snel een aantal nieuwe, zeer capabele modellen op de markt kwamen, en de academische benchmarks hielden geen gelijke tred met die grensvooruitgang", zei Krishnan in een interview met TechCrunch.

Privétests, taken uit de echte wereld

Vals pakt het op twee fronten anders aan. Ten eerste maakt het zijn specifieke testmaterialen niet openbaar, wat het voor een bedrijf veel moeilijker maakt om zijn modellen te trainen voor het examen. Ten tweede evalueert Vals, in plaats van abstracte kennis te meten – of een model vragen in de stijl van een examen kan beantwoorden – hoe modellen complexe taken uitvoeren in specifieke sectoren zoals recht, financiën en coderen.

"Wat we doen is eigenlijk kijken naar wat de werkelijke impact van de modellen is", zei Krishnan. "Kunnen zij binnen elk domein werk leveren dat een product oplevert van dezelfde kwaliteit als een mens?"

Het bedrijf meet ook faalwijzen, niet alleen successen. Krishnan zei dat Vals wil analyseren "als deze modellen wild zouden worden in de wereld, wat de negatieve implicaties zouden zijn" - een evaluatiefilosofie die het neerwaartse risico behandelt als een meetbare output en niet als een bijzaak.

Van recht en financiën tot de Conventies van Genève en recursieve zelfverbetering

De reikwijdte van de evaluaties van Vals breidt zich steeds verder uit dan de wortels van de professionele dienstverlening. Naast benchmarks op het gebied van wetgeving, financiën en coderen, zegt Krishnan dat het bedrijf nu tests uitvoert op het gebied van geestelijke gezondheid, cyberbeveiliging en bioveiligheid, en zelfs een benchmark voor recursieve zelfverbetering – een onderwerp dat vaker wordt besproken in AI-veiligheidskringen dan in commerciële evaluatiesuites.

Misschien wel het meest opvallend is zijn werk op het gebied van het recht van gewapende conflicten, waarbij Vals test hoe modellen de Conventie van Genève begrijpen en toepassen. De breedte geeft aan waar de vraag vandaan komt: niet alleen laboratoria die naar de top van de ranglijsten racen, maar bedrijven en instellingen die bewijs nodig hebben van hoe modellen zich gedragen in domeinen met hoge inzet voordat ze worden ingezet.

Het bedrijfsmodel: betaal om de test af te leggen

Bedrijven betalen Vals om hun modellen te evalueren – een regeling die contra-intuïtief kan lijken. Waarom zou een bedrijf betalen voor resultaten die het in verlegenheid zouden kunnen brengen? Krishnan vergelijkt het model met een student die het college van bestuur betaalt om de SAT af te leggen: een onafhankelijke meting, ook al is deze niet erg vleiend, helpt een bedrijf problemen op te lossen en zich in de loop van de tijd te verbeteren.

De markt lijkt te reageren. Vals zegt dat de omzet momenteel acht keer zo hoog is als vorig jaar, en dat het team sinds het begin van het jaar is verdrievoudigd, van acht naar 25 mensen. Het bedrijf opereert vanuit een kantoor van twee verdiepingen aan Folsom Street in San Francisco – een voormalig brouwerijgebouw waarin nu meerdere startups zijn gevestigd.

Evaluaties worden volgens het bedrijf ook beslissingsfactoren voor bedrijven die op zoek zijn naar AI-modellen, waardoor benchmarks een rol krijgen die dichter bij due diligence ligt dan bij marketing.

Een 25-jarige oprichter met een stoel op de eerste rij

Krishnan, 25, liep stage bij Palantir en werkte als student aan Stanford voor Microsoft en het bekende kunstmatige intelligentielaboratorium van de universiteit. Hij zegt dat Vals is ontstaan ​​doordat evaluaties achterop zijn geraakt bij de sector die ze hadden moeten meten – een kloof die alleen maar groter is geworden naarmate nieuwe modellen sneller verschijnen dan academische benchmarks kunnen worden ontworpen, gevalideerd en gepubliceerd.

De startup sluit zich nu aan bij een kleine maar groeiende groep bedrijven die AI-evaluatie proberen te internaliseren, een ruimte die academische inspanningen, open-source leaderboard-projecten en veiligheidsinstituten omvat. Wat Vals onderscheidt is het particuliere testmodel en de focus op betaalde, branchespecifieke evaluaties in plaats van openbare ranglijsten.

Waarom het ertoe doet

Het geloofwaardigheidsprobleem van de AI-industrie met benchmarks is goed gedocumenteerd: gelekte testsets, verdachte sprongen in het klassement en marketingclaims die de prestaties in de echte wereld overtreffen. Als kopers – vooral bedrijven en overheden – gaan vertrouwen op particuliere, taakgebaseerde evaluaties zoals die van Vals, zouden de prikkels voor modelontwikkelaars kunnen verschuiven van lesgeven naar testen naar echte capaciteiten.

Dat is nog lang niet geregeld. Een particuliere benchmark vraagt ​​kopers nog steeds om de scheidsrechter te vertrouwen, en de klanten van Vals zijn dezelfde bedrijven die worden beoordeeld. Maar met een Series A-serie van $40 miljoen, een achtvoudige omzetgroei en een vraag die zich uitstrekt van financiering tot bioveiligheid, is de gok dat een onafhankelijk aanvoelende evaluatie een infrastructuur wordt – een dienst waarvoor de AI-economie zal betalen, ongeacht of de resultaten haar flatteren of niet.

Blijf AI een stap voor

Wie meet de meters? Volg de activiteiten van AI-evaluatie en de startups die deze opnieuw vormgeven op AI Buzz Wire, uw bron voor breaking AI news.

Lees het laatste AI-nieuws →