Block, a empresa de pagamentos liderada por Jack Dorsey, entrou na corrida da IA ​​de voz com uma afirmação incomumente ousada. Na quinta-feira, o laboratório de pesquisa interno da empresa revelou o Dessa, um modelo de fala para fala que, segundo Block, foi treinado do zero em nada além de conversa humana – sem texto, sem transcrições e sem modelos básicos pré-treinados por baixo.

“Até onde sabemos, Dessa é a primeira IA do mundo com a qual você pode ter uma conversa realista ao vivo e que foi treinada apenas a partir da fala humana”, diz Block na página oficial do modelo, que descreve o lançamento como “uma prévia de pesquisa de um modelo de fala full-duplex”. A empresa está publicando gravações de demonstração ao vivo, abrindo uma lista de espera pública e concedendo acesso antecipado a um pequeno grupo de pesquisadores de segurança de IA. Para mais contexto sobre esta história, confira nossa últimos desenvolvimentos em IA.

O que Dessa realmente é

Dessa é o que os pesquisadores chamam de modelo de fala para fala full-duplex: entrada de áudio, saída de áudio, sem camada de texto entre elas. Essa última parte é o diferencial. Praticamente todos os assistentes de voz convencionais – incluindo os modos de voz anexados aos maiores chatbots – convertem sua fala em texto, raciocinam sobre ela e respondem. Block argumenta que o pipeline joga fora a maior parte do que torna humana a conversa humana.

“Interagir com a IA de voz atual pode ser simplesmente uma droga”, afirma o anúncio da empresa. "Ele transforma sua voz em texto e joga fora uma quantidade incrível de informações que o texto sozinho não consegue transportar. As IAs mais poderosas do mundo não conseguem ouvir como você se sente. Achamos que isso é ridículo, leva a uma experiência pior e é potencialmente perigoso."

Como Dessa nunca passa pelo texto, Block diz que ele capta nativamente a emoção, o sarcasmo, o riso, um suspiro de frustração ou uma voz embargada de tristeza – os sinais paralinguísticos que os sistemas baseados em texto normalmente descartam.

Full-Duplex significa que ele fala como uma pessoa, não como um bot que se reveza

A segunda característica definidora é a operação full-duplex. Dessa ouve e fala ao mesmo tempo, como as pessoas fazem, em vez de esperar por um final de expressão detectado antes de responder. De acordo com Block, o modelo aprendeu com conversas reais quando interromper, quando retroceder para mostrar que está acompanhando e quando ficar quieto.

As demonstrações na página da empresa ilustram comportamentos que ninguém programou explicitamente. Em um clipe, Dessa ri no meio de uma frase no momento em que algo se torna engraçado – “do jeito que as pessoas fazem”, observa Block, contrastando isso com assistentes de voz convencionais que “esperam você terminar e depois riem na hora”. Em outro, um usuário pede para a modelo falar e a voz fica mais alta. “Ninguém ensinou isso”, diz a empresa. Em uma terceira, a pessoa deixa em branco o título de um filme e Dessa termina a frase para ela.

Block também tem o cuidado de sinalizar a origem de uma demonstração particularmente atraente, na qual Dessa mantém uma conversa ao vivo com outro sistema de IA. “Nesta demonstração, Dessa está conversando com GPT-Live-1, um modelo de IA de terceiros. Ambas as vozes são geradas por IA”, afirma a página, observando que o desenvolvedor do GPT-Live-1 não é afiliado ao Block e não revisou ou endossou Dessa.

Por que bloquear totalmente o texto ignorado

Treinar um modelo sem nenhum texto é uma aposta deliberada. A posição de Block é que a fala não é um invólucro com perdas em torno da linguagem - é o meio principal, e um modelo que cresce com base no som bruto pode desenvolver capacidades e modos de falha que os sistemas treinados em texto não possuem.

A própria empresa enquadra as vantagens científicas como questões abertas, em vez de resultados estabelecidos: com que eficiência os modelos apenas de fala aprendem a linguagem e os factos em comparação com os sistemas treinados em texto? Com que eficiência eles podem aprender novos idiomas? Que tipos de aprendizagem contextual eles podem realizar? “Dessa avança a fronteira dos modelos de aprendizagem profunda e cria uma categoria diferente com comportamentos inteiramente novos e interessantes para os pesquisadores descobrirem”, diz o anúncio.

Há também uma afirmação pragmática enterrada no campo. Block diz que a inferência de Dessa é executada mais rápido do que o tempo real, então as respostas vêm sem as pausas estranhas que atormentam os assistentes de voz baseados em turnos e – de acordo com a cobertura do lançamento pela Unite.AI – que o modelo é executado localmente em hardware de consumidor tão capaz quanto um MacBook Pro com chip M4 Max ou melhor. Se for preciso, um modelo de voz full-duplex executado localmente seria notável em um momento em que a maior parte da IA ​​de voz competitiva permanece vinculada à nuvem.

Um "momento GPT-3 para discurso"

Ragavan Thurairatnam, que lidera o laboratório de pesquisa de IA do Block, descreveu Dessa como o primeiro modelo de IA que pode manter uma conversa realista após treinar inteiramente na fala, e chamou o lançamento de “um momento GPT3 para fala”, de acordo com o relatório da Unite.AI sobre o anúncio. A comparação é pontual: a estreia do GPT-3 em 2020 não produziu imediatamente produtos úteis, mas reformulou o que os modelos de linguagem poderiam fazer e deu início ao atual ciclo de investimento.

The Verge, que cobriu o lançamento, descreveu o resultado como um modelo que “fala com você como um novo amigo estranho” – um resumo evocativo de clipes de demonstração em que Dessa suspira “oh meu Deus” baixinho de surpresa, ou responde a notícias pessoais com o que parece ser uma gratidão chorosa. Se esses maneirismos reflectem uma compreensão genuína ou uma reprodução sofisticada de padrões é precisamente o tipo de questão que Block diz querer que a comunidade de investigação investigue.

O ângulo de segurança vem em primeiro lugar - pela primeira vez

Notavelmente, a Block não está enviando Dessa diretamente aos consumidores. O lançamento é uma prévia da pesquisa: as gravações são públicas, uma lista de espera está aberta, mas o acesso prático antecipado está sendo limitado a um pequeno grupo de pesquisadores de segurança de IA. Dada a preocupação contínua com fraudes de clonagem de voz e companheiros de IA emocionalmente manipuladores, um modelo de fala que possa expressar – e presumivelmente provocar – emoção é exatamente o tipo de sistema que as equipes de segurança desejam avaliar antes da implantação em massa.

Block diz que mais gravações serão compartilhadas no X nos próximos dias. A empresa não anunciou preços, acesso à API ou planos de integração para seus produtos Square, Cash App ou Bitkey.

As perguntas abertas

A lancha de Dessa pousa em um campo lotado. Todos os principais laboratórios de IA agora oferecem um modo de voz, e as startups vêm promovendo modelos de fala em tempo real há dois anos. O que distingue Dessa é a sua receita de treinamento – fala pura, zero texto – e a afirmação de que o comportamento conversacional emergente, como o riso no meio da frase, surgiu sem instrução explícita.

Os céticos vão querer uma avaliação independente. Um modelo sem texto pode realmente aprender fatos de maneira confiável ou terá alucinações mais livremente sem a base da linguagem escrita? Ele pode ser dimensionado para novos idiomas sem transcrições? A própria página de Block convida exatamente a essas perguntas, o que é ou confiança ou um reconhecimento sincero de que ninguém – incluindo Block – sabe as respostas ainda.

Por enquanto, Dessa é um artefato de pesquisa com lista de espera. Mas se o treinamento somente de fala se mostrar competitivo com pipelines baseados em texto, Block pode ter trazido à tona uma das apostas contrárias mais interessantes na IA moderna: que o caminho mais rápido para a conversação natural da máquina é construir máquinas que aprendam da mesma forma que nós – ouvindo.

---

Fique à Frente da IA

As últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.

Ler mais notícias de IA →