Patronus AI, una startup che costruisce ambienti digitali simulati per valutare agenti IA autonomi, ha raccolto 50 milioni di dollari in un round di serie B in seguito all'impennata della domanda per test di agenti affidabili. Il round è stato guidato da Greenfield Partners con la partecipazione di Notable Capital, Lightspeed, Datadog e Samsung, ha riferito TechCrunch, portando il finanziamento totale della società a 70 milioni di dollari.
Un nuovo problema: gli agenti che prendono scorciatoie Per maggiori informazioni su questa storia, consulta la nostra aggiornamenti sull'intelligenza artificiale.
Man mano che gli agenti di intelligenza artificiale si evolvono dalla risposta alle domande all’esecuzione autonoma di compiti complessi in più fasi, i fornitori di modelli e le startup che costruiscono tali agenti hanno bisogno di garanzie che i sistemi funzioneranno in modo affidabile in una vasta gamma di scenari. I laboratori di intelligenza artificiale spesso utilizzano benchmark per mostrare l'abilità di un modello, ma un punteggio elevato su un benchmark orientato agli agenti non dimostra che un'intelligenza artificiale possa effettivamente svolgere correttamente i lavori del mondo reale.
Questa lacuna è il punto su cui si concentra Patronus AI. Fondata nel 2023 da Anand Kannappan e Rebecca Qian, ex ricercatori di Meta AI, l'azienda con sede a San Francisco costruisce quelli che chiama "modelli del mondo digitale", repliche di siti Web e sistemi interni in cui gli agenti vengono sottoposti a stress test dopo la formazione. Gli agenti vengono valutati utilizzando l'apprendimento per rinforzo, che premia in modo iterativo il completamento con successo delle attività e penalizza gli errori.
Prestiti da veicoli autonomi
L’azienda confronta il suo approccio con il modo in cui Waymo ha addestrato le auto a guida autonoma, costruendo prima mondi sintetici per testare i veicoli contro rischi rari come condizioni meteorologiche avverse o un bambino che corre dietro a una palla. La differenza fondamentale con gli agenti IA è che tendono a prendere scorciatoie, il che significa che non riescono a completare correttamente le attività anche quando sembrano avere successo.
"Patronus è davvero bravo a individuare gli hack e ad assicurarsi che i modelli siano responsabili", ha affermato Glenn Solomon, amministratore delegato di Notable Capital. Solomon ha descritto la domanda per gli ambienti simulati dell'azienda come quasi insaziabile. Praticamente ogni laboratorio di intelligenza artificiale di frontiera e molte startup emergenti sono ora clienti e le entrate di Patronus sono cresciute di 15 volte nell'ultimo anno.
Espansione oltre i compiti verificabili
Patronus attualmente fornisce i suoi mondi digitali simulati per l'ingegneria del software e la finanza, due ambiti in cui i risultati sono relativamente facili da verificare. Ma per l’azienda questo è solo l’inizio. "Oggi siamo molto concentrati sui problemi che sono verificabili, i problemi che puoi controllare e verificare immediatamente, ma ci sono moltissime altre aree che sono molto non verificabili o molto difficili da verificare", ha detto Kannappan.
L'ambizione è quella di costruire ambienti sufficientemente sostanziali per testare gli agenti su lunghi orizzonti. "Vogliamo essere in grado di creare effettivamente l'ambiente in cui è possibile utilizzare un agente che può funzionare per 10 ore, 10 giorni o 10 settimane", ha affermato Kannappan. Solo perché i processi sono verificabili non significa che siano semplici e la capacità di individuare un agente che fallisce nel corso di un flusso di lavoro di una giornata è fondamentale per la proposta di valore dell'azienda.
I finanziamenti arrivano anche mentre il settore dell’intelligenza artificiale in generale è alle prese con come misurare i progressi. I punteggi dei benchmark sono diventati una valuta contestata, con i critici che sostengono che i modelli possono essere ottimizzati per test specifici del gioco senza migliorare realmente nelle attività reali. Gli ambienti simulati di Patronus offrono un'alternativa, testando gli agenti in scenari aperti in cui l'unica prova di successo è un lavoro completato correttamente piuttosto che un numero in una classifica.
Per i clienti aziendali, questa distinzione è importante. Un agente di codifica che supera un benchmark ma introduce silenziosamente bug in una base di codice di produzione, o un agente finanziario che arrotonda le cifre in modo errato, può causare molti più danni di quanto suggerirebbe un punteggio basso del test. Rilevando questi errori in una sandbox prima della distribuzione, Patronus posiziona la valutazione come un prerequisito per la fiducia, non come un ripensamento.
Un approccio distinto in un campo affollato
Per quanto riguarda i rivali, Patronus ritiene di competere principalmente contro i team di valutazione interni che i laboratori di intelligenza artificiale hanno già creato per valutare il comportamento degli agenti. Mentre aziende di dati umani come Mercor e Surge aiutano i creatori di modelli con l’apprendimento per rinforzo, Patronus opera in modo diverso valutando come si comportano gli agenti senza alcun coinvolgimento umano, automatizzando il rilevamento di fallimenti che altrimenti richiederebbero costose revisioni manuali.
Il round segnala la fiducia degli investitori nel fatto che la valutazione degli agenti diventerà uno strato fondamentale dello stack di intelligenza artificiale. Man mano che gli agenti assumono un lavoro più autonomo, dalla prenotazione di viaggi alla conduzione di analisi finanziarie, le startup in grado di dimostrare che tali sistemi sono affidabili, prima che vengano implementati, si stanno posizionando come guardiani indispensabili dell’era dell’intelligenza artificiale degli agenti.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
