Block, la società di pagamenti guidata da Jack Dorsey, è entrata nella corsa all'intelligenza artificiale vocale con un'affermazione insolitamente audace. Giovedì, il laboratorio di ricerca interno dell'azienda ha presentato Dessa, un modello di sintesi vocale che secondo Block è stato addestrato da zero su nient'altro che conversazioni umane: nessun testo, nessuna trascrizione e nessun modello di base preaddestrato sottostante.
"Per quanto ne sappiamo, Dessa è la prima intelligenza artificiale al mondo con cui puoi avere una conversazione realistica dal vivo e che è stata addestrata solo dal linguaggio umano", afferma Block sulla pagina ufficiale del modello, che descrive il rilascio come "un'anteprima della ricerca di un modello vocale full-duplex". L’azienda sta pubblicando registrazioni demo dal vivo, aprendo una lista d’attesa pubblica e garantendo l’accesso anticipato a un piccolo gruppo di ricercatori sulla sicurezza dell’IA. Per maggiori informazioni su questa storia, consulta la nostra tendenze IA.
Cos'è realmente Dessa
Dessa è quello che i ricercatori chiamano un modello di sintesi vocale full duplex: ingresso audio, uscita audio, senza strato di testo in mezzo. Quest’ultima parte è il differenziatore. Praticamente tutti gli assistenti vocali tradizionali, comprese le modalità vocali collegate ai chatbot più grandi, convertono il tuo discorso in testo, ragionano su di esso e rispondono. Block sostiene che il gasdotto butta via la maggior parte di ciò che rende umana la conversazione umana.
"Interagire con l'attuale intelligenza artificiale vocale può semplicemente fare schifo", afferma l'annuncio dell'azienda. "Trasforma la tua voce in testo e butta via un'incredibile quantità di informazioni che il testo da solo non può trasportare. Le IA più potenti al mondo non riescono a sentire come ti senti. Pensiamo che sia ridicolo, porti a un'esperienza peggiore ed è potenzialmente pericoloso."
Poiché Dessa non passa mai attraverso il testo, Block afferma che coglie in modo nativo emozioni, sarcasmo, risate, un sospiro frustrato o una voce rotta dalla tristezza: i segnali paralinguistici che i sistemi basati su testo in genere scartano.
Full-Duplex significa che parla come una persona, non come un robot che cambia turno
La seconda caratteristica distintiva è il funzionamento full-duplex. Dessa ascolta e parla allo stesso tempo, come fanno le persone, invece di aspettare che venga rilevata la fine dell'espressione prima di rispondere. Secondo Block, il modello ha imparato da conversazioni reali quando intervenire, quando backchannel per mostrare che sta seguendo e quando rimanere in silenzio.
Le demo sulla pagina dell'azienda illustrano comportamenti che nessuno ha esplicitamente programmato. In una clip, Dessa ride a metà frase nel momento in cui qualcosa diventa divertente - "come fanno le persone", osserva Block, in contrasto con gli assistenti vocali convenzionali che "aspettano che tu finisca, poi ridono al momento giusto". In un altro, un utente chiede alla modella di parlare e la voce diventa più forte. "Nessuno glielo ha insegnato", afferma l'azienda. In un terzo, la persona lascia uno spazio vuoto sul titolo di un film e Dessa completa la frase per lei.
Block è anche attento a segnalare la provenienza di una demo particolarmente accattivante, in cui Dessa tiene una conversazione dal vivo con un altro sistema di intelligenza artificiale. "In questa demo, Dessa sta parlando con GPT-Live-1, un modello AI di terze parti. Entrambe le voci sono generate dall'intelligenza artificiale", afferma la pagina, sottolineando che lo sviluppatore di GPT-Live-1 non è affiliato con Block e non ha esaminato o approvato Dessa.
Perché bloccare completamente il testo saltato
Addestrare un modello senza testo è una scommessa deliberata. La posizione di Block è che il parlato non è un involucro con perdite attorno al linguaggio: è il mezzo principale e un modello che cresce sul suono grezzo può sviluppare capacità e modalità di fallimento che i sistemi addestrati al testo non hanno.
L’azienda stessa inquadra i vantaggi scientifici come domande aperte piuttosto che come risultati consolidati: con quanta efficienza i modelli basati solo sul parlato apprendono il linguaggio e i fatti rispetto ai sistemi con addestramento testuale? Con quanta efficienza possono imparare nuove lingue? Che tipo di apprendimento contestuale possono eseguire? "Dessa fa avanzare la frontiera dei modelli di deep learning e crea una categoria diversa con comportamenti completamente nuovi e interessanti da scoprire per i ricercatori", si legge nell'annuncio.
C’è anche un’affermazione pragmatica sepolta in campo. Block afferma che l'inferenza di Dessa funziona più velocemente del tempo reale, quindi le risposte arrivano senza le pause imbarazzanti che affliggono gli assistenti vocali a turni e, secondo la copertura di Unite.AI del lancio, che il modello funziona localmente su hardware consumer con capacità quanto un MacBook Pro con un chip M4 Max o superiore. Se accurato, un modello vocale full-duplex eseguito localmente sarebbe degno di nota in un momento in cui la maggior parte dell’intelligenza artificiale vocale competitiva rimane legata al cloud.
Un "Momento GPT-3 per la parola"
Ragavan Thurairatnam, che guida il laboratorio di ricerca sull'intelligenza artificiale di Block, ha descritto Dessa come il primo modello di intelligenza artificiale in grado di sostenere una conversazione realistica dopo un addestramento interamente sul parlato, e ha definito il rilascio "un momento GPT3 per il discorso", secondo il rapporto di Unite.AI sull'annuncio. Il confronto è calzante: il debutto di GPT-3 nel 2020 non ha prodotto immediatamente prodotti utili, ma ha riformulato ciò che i modelli linguistici potevano fare e ha dato il via all’attuale ciclo di investimenti.
The Verge, che ha seguito il lancio, ha descritto il risultato come un modello che "ti parla come un nuovo amico imbarazzante" - un riassunto evocativo di clip demo in cui Dessa sussulta "oh mio Dio" sottovoce per la sorpresa, o risponde a notizie personali con quella che sembra una lacrima gratitudine. Se questi manierismi riflettano una comprensione genuina o una riproduzione sofisticata di modelli è esattamente il tipo di domanda che Block vuole che la comunità di ricerca approfondisca.
La sicurezza viene prima di tutto, per una volta
In particolare, Block non spedisce Dessa direttamente ai consumatori. Il comunicato è un’anteprima della ricerca: le registrazioni sono pubbliche, una lista d’attesa è aperta, ma l’accesso anticipato è limitato a un piccolo gruppo di ricercatori sulla sicurezza dell’IA. Data la continua preoccupazione per le truffe legate alla clonazione vocale e ai compagni di intelligenza artificiale emotivamente manipolatori, un modello vocale in grado di esprimere – e presumibilmente suscitare – emozioni è esattamente il tipo di team di sicurezza del sistema che vogliono valutare prima dell’implementazione di massa.
Block afferma che altre registrazioni verranno condivise su X nei prossimi giorni. La società non ha annunciato prezzi, accesso API o piani di integrazione per i suoi prodotti Square, Cash App o Bitkey.
Le domande aperte
La lancia di Dessa atterra in un campo affollato. Tutti i principali laboratori di intelligenza artificiale ora forniscono una modalità vocale e le startup stanno spingendo modelli vocali in tempo reale da due anni. Ciò che distingue Dessa è la sua ricetta formativa – discorso puro, zero testo – e l’affermazione che il comportamento conversazionale emergente come la risata a metà frase è sorto senza istruzioni esplicite.
Gli scettici vorranno una valutazione indipendente. Un modello senza testo può effettivamente apprendere i fatti in modo affidabile o ha allucinazioni più liberamente senza le basi della lingua scritta? Può adattarsi a nuove lingue senza trascrizioni? La pagina di Block invita esattamente a queste domande, che sono o fiducia o un sincero riconoscimento del fatto che nessuno, incluso Block, conosce ancora le risposte.
Per ora, Dessa è un artefatto di ricerca con una lista d'attesa. Ma se la formazione solo vocale si rivelasse competitiva con le pipeline basate sul testo, Block potrebbe aver fatto emergere una delle scommesse contrarian più interessanti nell’intelligenza artificiale moderna: che la strada più veloce verso una conversazione naturale tra macchine è costruire macchine che apprendono come abbiamo fatto noi, ascoltando.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
