I benchmark dell’intelligenza artificiale decidono quali modelli fanno notizia e le aziende che costruiscono tali modelli hanno imparato a batterli. Una startup chiamata Vals, fondata nel 2024, scommette che l’industria ha bisogno di un arbitro i cui test non possano essere manipolati, e gli investitori hanno appena sostenuto questa scommessa in grande stile: Vals ha raccolto una serie A da 40 milioni di dollari guidata da Andreessen Horowitz il mese scorso, a seguito di un seed round guidato da 8VC e Bloomberg Beta.

L’ascesa dell’azienda avviene in un contesto di crescente disagio su come vengono misurate le capacità dell’intelligenza artificiale e su cosa succede quando il parametro diventa uno strumento di marketing. Per ulteriori informazioni sul business dell'intelligenza artificiale, segui la copertura del settore dell'intelligenza artificiale.

Quando i benchmark diventano marketing

Il benchmarking è diventato la norma del settore per convalidare le capacità dei modelli di intelligenza artificiale e, quando i numeri oscillano a favore di un'azienda, per pubblicizzare la superiorità rispetto ai rivali. Buoni parametri di riferimento significano buone pubbliche relazioni.

Il problema, secondo il co-fondatore e CEO di Vals Rayan Krishnan, è che molti benchmark legacy sono stati costruiti per una generazione precedente di modelli e le aziende hanno capito come ottimizzare rispetto ad essi. Quando i materiali di test sono pubblici, un modello può essere effettivamente addestrato a superare l’esame, una pratica che l’industria ha variamente descritto come contaminazione, overfitting o totale imbroglio.

"Stavamo vedendo un sacco di nuovi modelli molto capaci arrivare rapidamente sul mercato, e i parametri di riferimento accademici [erano] non al passo con quel progresso di frontiera", ha detto Krishnan in un'intervista a TechCrunch.

Test privati, attività nel mondo reale

Vals adotta un approccio diverso su due fronti. Innanzitutto, non divulga pubblicamente i materiali di test specifici, il che rende molto più difficile per un’azienda addestrare i propri modelli rispetto all’esame. In secondo luogo, invece di misurare la conoscenza astratta (se un modello può rispondere a domande stile esame), Vals valuta come i modelli svolgono compiti complessi in settori specifici come il diritto, la finanza e la programmazione.

"Quello che stiamo facendo è effettivamente osservare quali sono gli impatti reali dei modelli", ha detto Krishnan. "Possono svolgere un lavoro che produca un prodotto della stessa qualità di un essere umano in ogni campo?"

L’azienda misura anche le modalità di fallimento, non solo i successi. Krishnan ha affermato che Vals mira ad analizzare "se questi modelli si diffondessero nel mondo, quali sarebbero le implicazioni negative" - ​​una filosofia di valutazione che tratta il rischio di ribasso come un risultato misurabile piuttosto che come un ripensamento.

Dal diritto e finanza alle Convenzioni di Ginevra e all'auto-miglioramento ricorsivo

L'ambito delle valutazioni di Vals continua ad espandersi oltre le sue radici legate ai servizi professionali. Oltre ai benchmark di legge, finanza e codifica, Krishnan ha affermato che l’azienda ora esegue test sulla salute mentale, la sicurezza informatica e la bioprotezione, e persino un benchmark sull’auto-miglioramento ricorsivo, un argomento più comunemente discusso nei circoli di sicurezza dell’intelligenza artificiale che nelle suite di valutazione commerciale.

Forse la cosa più sorprendente è il suo lavoro sul diritto dei conflitti armati, in cui Vals sta testando come i modelli comprendono e applicano la Convenzione di Ginevra. L’ampiezza indica da dove proviene la domanda: non solo i laboratori che corrono verso le classifiche più alte, ma anche le imprese e le istituzioni che hanno bisogno di prove di come i modelli si comportano in ambiti ad alto rischio prima di implementarli.

Il modello di business: paga per sostenere il test

Le aziende pagano Vals per valutare i loro modelli, un accordo che può sembrare controintuitivo. Perché un’azienda dovrebbe pagare per risultati che potrebbero metterla in imbarazzo? Krishnan paragona il modello a uno studente che paga il College Board per sostenere il SAT: una misurazione indipendente, anche se poco lusinghiera, aiuta un'azienda a risolvere i problemi e a migliorare nel tempo.

Il mercato sembra rispondere. Vals afferma che le sue entrate sono attualmente otto volte quelle dell'anno scorso e il suo team è triplicato dall'inizio dell'anno, passando da otto a 25 persone. L'azienda opera da un ufficio a due piani in Folsom Street a San Francisco, un ex edificio di un birrificio che ora ospita numerose startup.

Secondo l’azienda, le valutazioni stanno diventando anche fattori decisionali per le aziende che acquistano modelli di intelligenza artificiale, conferendo ai benchmark un ruolo più vicino alla due diligence che al marketing.

Un fondatore di 25 anni con un posto in prima fila

Krishnan, 25 anni, ha fatto uno stage alla Palantir e, da studente universitario a Stanford, ha lavorato per Microsoft e per il noto laboratorio di intelligenza artificiale dell'università. Dice che Vals è nato osservando la valutazione restare indietro rispetto al settore che avrebbe dovuto misurare: un divario che non ha fatto altro che ampliarsi man mano che nuovi modelli arrivano più velocemente di quanto i benchmark accademici possano essere progettati, convalidati e pubblicati.

La startup ora si unisce a un piccolo ma crescente gruppo di aziende che cercano di istituzionalizzare la valutazione dell’intelligenza artificiale, uno spazio che include sforzi accademici, progetti di leaderboard open source e istituti di sicurezza. Ciò che distingue Vals è il suo modello di test privato e la sua attenzione alle valutazioni retribuite e specifiche del settore piuttosto che alle classifiche pubbliche.

Perché è importante

Il problema di credibilità del settore dell’intelligenza artificiale con i benchmark è ben documentato: set di test trapelati, salti sospetti nelle classifiche e affermazioni di marketing che superano le prestazioni del mondo reale. Se gli acquirenti – soprattutto imprese e governi – iniziassero a fare affidamento su valutazioni private basate su attività come quella di Vals, gli incentivi per gli sviluppatori di modelli potrebbero spostarsi dall’insegnamento al test verso una reale capacità.

Questo è ben lungi dall'essere risolto. Un benchmark privato chiede ancora agli acquirenti di fidarsi dell'arbitro, e i clienti di Vals sono le stesse aziende valutate. Ma con una serie A da 40 milioni di dollari, una crescita dei ricavi otto volte superiore e una domanda che spazia dai finanziamenti alla biosicurezza, la scommessa è che la valutazione basata sul sentimento indipendente sta diventando un’infrastruttura: un servizio per il quale l’economia dell’intelligenza artificiale pagherà, indipendentemente dal fatto che i risultati la lusinghino o meno.

Stai al passo con l'intelligenza artificiale

Chi misura i misuratori? Segui l'attività di valutazione dell'intelligenza artificiale e le startup che la stanno rimodellando su AI Buzz Wire, la tua fonte di ultime notizie sull'intelligenza artificiale.

Leggi le ultime notizie sull'AI →