Fish Audio raccoglie 50 milioni di dollari per costruire modelli vocali espressivi di intelligenza artificiale per creatori e imprese

Fish Audio, una startup con sede a Palo Alto che costruisce modelli vocali espressivi di intelligenza artificiale, ha raccolto 50 milioni di dollari in un round iniziale per espandere la sua piattaforma per casi d'uso sia creativi che aziendali. Il round di finanziamento è stato guidato da Coreline Ventures e Capital Today, con la partecipazione di 359 Capital, Parable, Play Time, Alphalist Partners, Bayhouse Ventures, Carya Venture Partners e HF0, secondo quanto riportato da TechCrunch.

Il round è uno dei finanziamenti iniziali più grandi nel settore della generazione vocale tramite intelligenza artificiale, riflettendo la fiducia degli investitori in un’azienda che ha già acquisito una notevole trazione. Fish Audio conta ora più di 8 milioni di persone che utilizzano la versione open source o ospitata dei suoi modelli e genera 21 milioni di dollari di entrate ricorrenti annuali. La rapida crescita della startup fa parte di una più ampia ondata di espansione del settore dell'intelligenza artificiale che continua ad attrarre ingenti capitali di rischio.

Dal progetto a GPU singola a 8 milioni di utenti

Fish Audio è iniziato come un piccolo progetto parallelo di Shijia Liao, un ex ricercatore di Nvidia frustrato dalle voci sintetiche piatte e inespressive allora disponibili sul mercato. Liao ha addestrato un modello di generazione vocale su una singola GPU e lo ha reso open source. Quel primo progetto, noto come Fish Speech, da allora è cresciuto fino a diventare un repository con più di 31.000 stelle su GitHub, utilizzato da sviluppatori indipendenti, designer di videogiochi e creatori di contenuti.

Nell'ultimo anno, l'azienda ha lanciato cinque modelli: quattro modelli di generazione vocale e un modello di sintesi vocale. Ha reso open source tre dei suoi modelli di generazione vocale, mentre la sua ultima versione, S2.1 Pro, è disponibile solo tramite un'API a pagamento. Questa strategia ibrida open-core ha consentito a Fish Audio di creare una vasta comunità di sviluppatori monetizzando al contempo le sue funzionalità più avanzate.

Un modello vocale per ogni caso d'uso

Ciò che distingue Fish Audio, secondo l'azienda, è l'ampiezza dei controlli che offre. La piattaforma include una libreria di oltre 15.000 controlli del linguaggio naturale che consentono agli utenti di mettere a punto il suono delle voci generate, regolando tono, emozione, ritmo e stile.

Il CEO e co-fondatore Rissa Cao ha dichiarato a TechCrunch che i clienti aziendali dell'azienda soddisfano esigenze molto diverse. Aziende come HeyGen, che utilizza le voci Fish Audio per potenziare gli avatar IA, danno priorità al realismo. Gli studi di gioco vogliono voci espressive per i loro personaggi. Le società di agenti vocali come LiveKit necessitano di voci dal suono naturale e a bassa latenza che rimangano sufficientemente espressive per le telefonate dal vivo.

"Ogni azienda ha casi d'uso e preferenze diversi", ha affermato Cao. Altri clienti includono Sanas, una società focalizzata sulla traduzione degli accenti, e Plaud, che produce dispositivi di registrazione basati sull’intelligenza artificiale. Fish Audio offre piani mensili a pagamento per creatori e team che sbloccano un determinato numero di minuti di generazione oltre a funzionalità di clonazione vocale, nonché una versione aziendale delle sue API.

Creazione di una libreria vocale tramite i contributi degli utenti

Uno dei modi in cui Fish Audio ha ampliato la propria libreria di voci è invitando gli utenti a inviare le proprie registrazioni vocali per i modelli di addestramento, compensandoli quando vengono utilizzate le loro voci. Questo approccio di crowdsourcing ha aiutato l'azienda a costruire un catalogo diversificato, ma ha anche creato sfide.

Alcuni mesi fa, alcuni creatori hanno affermato che le loro voci erano state caricate sulla piattaforma di Fish Audio senza il loro consenso. L'avvio disponeva di un processo di rimozione dei contenuti DMCA, ma il processo era lento. Cao ha dichiarato a TechCrunch che da allora la società ha automatizzato il processo di rimozione per affrontare tali preoccupazioni più rapidamente.

La controversia evidenzia una crescente tensione nel settore vocale dell’intelligenza artificiale. Con il miglioramento della tecnologia vocale sintetica, il confine tra uso autorizzato e non autorizzato diventa sempre più difficile da controllare. La clonazione vocale, in particolare, ha sollevato preoccupazioni riguardo all’imitazione e alla frode, e le autorità di regolamentazione in diversi paesi stanno iniziando a esaminare i quadri giuridici che regolano l’audio generato dall’intelligenza artificiale.

Un mercato competitivo e affollato

Fish Audio non è l'unico nel campo della voce AI. Tra i concorrenti figurano ElevenLabs, che ha raccolto centinaia di milioni di dollari ed è ampiamente considerato il leader del mercato, oltre alle offerte delle principali società tecnologiche. Ma l'enfasi di Fish Audio sui modelli open source e la sua vasta comunità di sviluppatori le conferiscono una posizione distintiva.

Il round iniziale da 50 milioni di dollari offre all’azienda la pista per competere sulla qualità dei modelli, espandere i propri sforzi di vendita aziendale e affrontare le questioni legali ed etiche che derivano dalla tecnologia di clonazione vocale. Con già 21 milioni di dollari di entrate ricorrenti annuali, Fish Audio sta generando entrate significative per un'azienda in fase iniziale, suggerendo che la domanda di voci AI espressive e controllabili si estende ben oltre la novità.

Resta da vedere se la startup riuscirà a mantenere il suo slancio open source costruendo al contempo un’attività aziendale redditizia. Ma la dimensione del round e la qualità degli investitori partecipanti segnalano che il mercato della voce generata dall’intelligenza artificiale è ancora agli inizi e che gli investitori vedono un sostanziale rialzo in un’azienda che si rivolge sia ai creatori indipendenti che alle grandi imprese.

Resta al passo con le novità sull'avvio dell'intelligenza artificiale

Segui gli ultimi sviluppi dell'IA mentre la generazione vocale e altri mercati dell'IA generativa si evolvono.

Leggi altre notizie sull'AI →