Vals sammelt unter der Leitung von Andreessen Horowitz 40 Millionen US-Dollar, um zum Goldstandard für KI-Benchmarking zu werden

KI-Benchmarks entscheiden darüber, welche Modelle Schlagzeilen machen – und die Unternehmen, die diese Modelle entwickeln, haben gelernt, sie zu schlagen. Ein im Jahr 2024 gegründetes Startup namens Vals setzt darauf, dass die Branche einen Schiedsrichter braucht, dessen Tests nicht manipuliert werden können, und die Investoren haben diese Wette gerade in großem Umfang unterstützt: Vals hat letzten Monat eine Serie-A-Finanzierung im Wert von 40 Millionen US-Dollar unter der Leitung von Andreessen Horowitz eingesammelt, nach einer Seed-Runde unter der Führung von 8VC und Bloomberg Beta.

Der Aufstieg des Unternehmens erfolgt vor dem Hintergrund wachsender Unruhe darüber, wie KI-Fähigkeiten gemessen werden und was passiert, wenn der Maßstab zum Marketinginstrument wird. Weitere Informationen zum Geschäft mit KI finden Sie unter Berichterstattung über die KI-Branche.

Wenn Benchmarks zum Marketing werden

Benchmarking ist zum Branchenstandard für die Validierung der Fähigkeiten von KI-Modellen geworden – und, wenn die Zahlen für ein Unternehmen ausschlaggebend sind, für die Werbung für die Überlegenheit gegenüber der Konkurrenz. Gute Benchmarks bedeuten eine gute Öffentlichkeitsarbeit.

Laut Rayan Krishnan, Mitbegründer und CEO von Vals, besteht das Problem darin, dass viele Legacy-Benchmarks für eine frühere Modellgeneration erstellt wurden und Unternehmen herausgefunden haben, wie sie diese optimieren können. Wenn Testmaterialien öffentlich sind, kann ein Modell effektiv darauf trainiert werden, die Prüfung zu bestehen – eine Praxis, die in der Branche verschiedentlich als Kontamination, Überanpassung oder völliges Betrügen beschrieben wird.

„Wir sahen eine Reihe neuer, sehr leistungsfähiger Modelle, die schnell auf den Markt kamen, und die akademischen Benchmarks konnten mit diesem bahnbrechenden Fortschritt nicht Schritt halten“, sagte Krishnan in einem Interview mit TechCrunch.

Private Tests, reale Aufgaben

Vals verfolgt an zwei Fronten einen anderen Ansatz. Erstens gibt es seine spezifischen Testmaterialien nicht öffentlich bekannt, was es für ein Unternehmen deutlich schwieriger macht, seine Modelle für die Prüfung zu trainieren. Zweitens misst Vals nicht abstraktes Wissen – ob ein Modell Fragen im Stil einer Anwaltsprüfung beantworten kann –, sondern bewertet, wie Modelle komplexe Aufgaben in bestimmten Branchen wie Recht, Finanzen und Codierung ausführen.

„Wir schauen uns tatsächlich an, welche tatsächlichen Auswirkungen die Modelle haben“, sagte Krishnan. „Können sie Arbeit leisten, die in jedem Bereich ein Produkt von der gleichen Qualität wie ein Mensch hervorbringt?“

Das Unternehmen misst auch Fehlermöglichkeiten, nicht nur Erfolge. Krishnan sagte, Vals wolle analysieren, „was die negativen Auswirkungen wären, wenn diese Modelle weltweit wild würden“ – eine Bewertungsphilosophie, die das Abwärtsrisiko als messbares Ergebnis und nicht als nachträglichen Einfall behandelt.

Von Recht und Finanzen zu Genfer Konventionen und rekursiver Selbstverbesserung

Der Umfang der Evaluierungen von Vals erweitert sich ständig über seine Wurzeln im Bereich der professionellen Dienstleistungen hinaus. Neben Rechts-, Finanz- und Kodierungs-Benchmarks führt das Unternehmen laut Krishnan jetzt Tests in den Bereichen psychische Gesundheit, Cybersicherheit und Biosicherheit durch und sogar einen Benchmark zur rekursiven Selbstverbesserung – ein Thema, das in KI-Sicherheitskreisen häufiger diskutiert wird als in kommerziellen Bewertungssuiten.

Am auffälligsten ist vielleicht seine Arbeit zum Recht bewaffneter Konflikte, bei der Vals testet, wie Modelle die Genfer Konvention verstehen und anwenden. Die Breite signalisiert, woher die Nachfrage kommt: nicht nur Labore, die um Spitzenplätze kämpfen, sondern auch Unternehmen und Institutionen, die Beweise dafür benötigen, wie sich Modelle in wichtigen Bereichen verhalten, bevor sie sie einsetzen.

Das Geschäftsmodell: Bezahlen, um den Test zu machen

Unternehmen bezahlen Vals für die Bewertung ihrer Modelle – eine Vereinbarung, die kontraintuitiv erscheinen kann. Warum sollte ein Unternehmen für Ergebnisse bezahlen, die es in Verlegenheit bringen könnten? Krishnan vergleicht das Modell mit einem Studenten, der den Hochschulrat für die Teilnahme am SAT bezahlt: Eine unabhängige Messung, selbst wenn sie wenig schmeichelhaft ist, hilft einem Unternehmen, Fehler zu beheben und sich im Laufe der Zeit zu verbessern.

Der Markt scheint zu reagieren. Vals sagt, sein Umsatz sei derzeit achtmal so hoch wie im letzten Jahr, und sein Team habe sich seit Jahresbeginn verdreifacht und sei von acht auf 25 Mitarbeiter angewachsen. Das Unternehmen operiert von einem zweistöckigen Büro in der Folsom Street in San Francisco aus – einem ehemaligen Brauereigebäude, in dem heute mehrere Startups untergebracht sind.

Nach Angaben des Unternehmens werden Bewertungen auch zu Entscheidungsfaktoren für Unternehmen, die nach KI-Modellen suchen, wodurch Benchmarks eher eine Rolle bei der Due Diligence als beim Marketing spielen.

Ein 25-jähriger Gründer mit einem Platz in der ersten Reihe

Krishnan, 25, absolvierte ein Praktikum in Palantir und arbeitete als Student in Stanford für Microsoft und das bekannte Labor für künstliche Intelligenz der Universität. Er sagt, dass Vals dadurch entstanden ist, dass die Evaluierung hinter der Branche zurückblieb, die sie eigentlich messen sollte – eine Lücke, die nur noch größer geworden ist, da neue Modelle schneller auf den Markt kommen, als akademische Benchmarks entworfen, validiert und veröffentlicht werden können.

Das Startup schließt sich nun einer kleinen, aber wachsenden Kohorte von Unternehmen an, die versuchen, die KI-Bewertung zu institutionalisieren, einen Bereich, der akademische Bemühungen, Open-Source-Bestenlistenprojekte und Sicherheitsinstitute umfasst. Was Vals auszeichnet, ist sein privates Testmodell und sein Fokus auf bezahlte, branchenspezifische Bewertungen anstelle öffentlicher Rankings.

Warum es wichtig ist

Das Glaubwürdigkeitsproblem der KI-Branche bei Benchmarks ist gut dokumentiert: durchgesickerte Testsätze, verdächtige Sprünge in der Bestenliste und Marketingaussagen, die die Leistung in der Praxis übertreffen. Wenn Käufer – insbesondere Unternehmen und Regierungen – beginnen, sich auf private, aufgabenbasierte Bewertungen wie die von Vals zu verlassen, könnten sich die Anreize für Modellentwickler von der Lehre zum Test hin zu echten Fähigkeiten verlagern.

Das ist noch lange nicht geklärt. Bei einem privaten Benchmarking werden Käufer immer noch dazu aufgefordert, dem Gutachter zu vertrauen, und bei Vals‘ Kunden handelt es sich um dieselben Unternehmen, die bewertet werden. Aber angesichts einer Serie-A-Finanzierung in Höhe von 40 Millionen US-Dollar, einem achtfachen Umsatzwachstum und einer Nachfrage, die von der Finanzierung bis hin zur Biosicherheit reicht, besteht die Wette darin, dass die unabhängige Bewertung zur Infrastruktur wird – ein Service, für den die KI-Wirtschaft bezahlen wird, unabhängig davon, ob die Ergebnisse ihr schmeicheln oder nicht.

Bleiben Sie der KI immer einen Schritt voraus

Wer misst die Messgeräte? Verfolgen Sie das Geschäft der KI-Bewertung und die Startups, die es umgestalten, bei AI Buzz Wire, Ihrer Quelle für aktuelle KI-Nachrichten.

Lesen Sie die neuesten KI-Nachrichten →