Block, la société de paiement dirigée par Jack Dorsey, s'est lancée dans la course à l'IA vocale avec une affirmation inhabituellement audacieuse. Jeudi, le laboratoire de recherche interne de l'entreprise a dévoilé Dessa, un modèle parole-parole qui, selon Block, a été formé à partir de rien d'autre que la conversation humaine - pas de texte, pas de transcriptions et pas de modèles de base pré-entraînés en dessous.

"Pour autant que nous le sachions, Dessa est la première IA au monde avec laquelle vous pouvez avoir une conversation réaliste en direct et qui a été formée uniquement à partir de la parole humaine", a déclaré Block sur la page officielle du modèle, qui décrit la version comme "un aperçu de recherche d'un modèle vocal en duplex intégral". La société publie des enregistrements de démonstration en direct, ouvre une liste d'attente publique et accorde un accès anticipé à un petit groupe de chercheurs en sécurité de l'IA. Pour plus de contexte sur cette histoire, consultez notre couverture de l'industrie de l'IA.

Qu'est-ce que Dessa en réalité

Dessa est ce que les chercheurs appellent un modèle parole-parole en duplex intégral : entrée audio, sortie audio, sans couche de texte entre les deux. Cette dernière partie est le différenciateur. Pratiquement tous les assistants vocaux grand public – y compris les modes vocaux associés aux plus grands chatbots – convertissent votre discours en texte, le raisonnent et répondent. Block soutient que le pipeline jette la plupart de ce qui rend la conversation humaine humaine.

"Interagir avec l'IA vocale actuelle peut tout simplement être nul", indique l'annonce de la société. "Cela transforme votre voix en texte et rejette une quantité incroyable d'informations que le texte seul ne peut pas contenir. Les IA les plus puissantes du monde ne peuvent pas entendre ce que vous ressentez. Nous pensons que c'est ridicule, cela conduit à une pire expérience et est potentiellement dangereux."

Parce que Dessa ne traverse jamais le texte, Block dit qu'il capte nativement l'émotion, le sarcasme, le rire, un soupir frustré ou une voix craquante de tristesse – les signaux paralinguistiques que les systèmes basés sur le texte rejettent généralement.

Le duplex intégral signifie qu'il parle comme une personne, pas comme un robot à tour de rôle

La deuxième caractéristique déterminante est le fonctionnement en duplex intégral. Dessa écoute et parle en même temps, comme le font les gens, plutôt que d'attendre une fin de parole détectée avant de répondre. Selon Block, le modèle a appris à partir de conversations réelles quand intervenir, quand revenir en arrière pour montrer qu'il suit et quand rester silencieux.

Les démos sur la page de l'entreprise illustrent des comportements que personne n'a explicitement programmés. Dans un clip, Dessa rit au milieu d'une phrase dès que quelque chose devient drôle – « comme le font les gens », note Block, contrastant avec les assistants vocaux conventionnels qui « attendent que vous ayez fini, puis rient au bon moment ». Dans une autre, un utilisateur demande au modèle de parler et cela devient plus fort. "Personne ne lui a enseigné cela", affirme l'entreprise. Dans une troisième, la personne efface le titre d'un film et Dessa termine la phrase à sa place.

Block prend également soin de signaler la provenance d'une démo particulièrement accrocheuse, dans laquelle Dessa tient une conversation en direct avec un autre système d'IA. "Dans cette démo, Dessa parle avec GPT-Live-1, un modèle d'IA tiers. Les deux voix sont générées par l'IA", indique la page, notant que le développeur de GPT-Live-1 n'est pas affilié à Block et n'a pas examiné ni approuvé Dessa.

Pourquoi bloquer entièrement le texte ignoré

Entraîner un modèle sans aucun texte est un pari délibéré. La position de Block est que la parole n'est pas une enveloppe avec perte autour du langage - c'est le média principal, et un modèle qui se développe sur le son brut peut développer des capacités et des modes de défaillance que les systèmes formés au texte n'ont pas.

L'entreprise elle-même présente les avantages scientifiques comme des questions ouvertes plutôt que comme des résultats réglés : avec quelle efficacité les modèles vocaux uniquement apprennent-ils le langage et les faits par rapport aux systèmes formés par texte ? Avec quelle efficacité peuvent-ils apprendre de nouvelles langues ? Quels types d’apprentissage en contexte peuvent-ils réaliser ? "Dessa repousse les frontières des modèles d'apprentissage profond et crée une catégorie différente avec des comportements entièrement nouveaux et intéressants que les chercheurs doivent découvrir", indique l'annonce.

Il y a aussi une revendication pragmatique enfouie dans le discours. Block affirme que l'inférence de Dessa s'exécute plus rapidement que le temps réel, de sorte que les réponses arrivent sans les pauses gênantes qui affligent les assistants vocaux au tour par tour et - selon la couverture par Unite.AI du lancement - que le modèle fonctionne localement sur du matériel grand public aussi performant qu'un MacBook Pro avec une puce M4 Max ou mieux. S’il est exact, un modèle vocal full-duplex exécuté localement serait remarquable à un moment où l’IA vocale la plus compétitive reste liée au cloud.

Un "Moment GPT-3 pour la parole"

Ragavan Thurairatnam, qui dirige le laboratoire de recherche sur l'IA de Block, a décrit Dessa comme le premier modèle d'IA capable de tenir une conversation réaliste après une formation entièrement sur la parole, et a qualifié cette version de "moment GPT3 pour la parole", selon le rapport d'Unite.AI sur l'annonce. La comparaison est pertinente : les débuts de GPT-3 en 2020 n'ont pas immédiatement produit des produits utiles, mais ils ont recadré ce que les modèles de langage pouvaient faire et ont lancé le cycle d'investissement actuel.

The Verge, qui a couvert le lancement, a décrit le résultat comme un modèle qui « vous parle comme un nouvel ami maladroit » – un résumé évocateur de clips de démonstration dans lesquels Dessa halète « oh mon Dieu » dans sa barbe à la surprise, ou répond aux nouvelles personnelles avec ce qui ressemble à une gratitude en larmes. Que ces manières reflètent une véritable compréhension ou une reproduction sophistiquée de modèles est précisément le genre de question que Block dit vouloir que la communauté des chercheurs approfondisse.

L'angle de la sécurité passe avant tout – pour une fois

Notamment, Block n’expédie pas Dessa directement aux consommateurs. Cette version est un aperçu de la recherche : les enregistrements sont publics, une liste d'attente est ouverte, mais l'accès anticipé et pratique est limité à un petit groupe de chercheurs en sécurité de l'IA. Compte tenu des inquiétudes persistantes concernant les escroqueries par clonage vocal et les compagnons d’IA émotionnellement manipulateurs, un modèle de parole capable d’exprimer – et vraisemblablement de susciter – des émotions est exactement le type d’équipes de sécurité des systèmes qui souhaitent évaluer avant un déploiement de masse.

Block dit que d'autres enregistrements seront partagés sur X dans les prochains jours. La société n'a pas annoncé de prix, d'accès à l'API ou de plans d'intégration pour ses produits Square, Cash App ou Bitkey.

Les questions ouvertes

La vedette de Dessa atterrit dans un champ bondé. Tous les grands laboratoires d’IA proposent désormais un mode vocal, et les startups proposent des modèles vocaux en temps réel depuis deux ans. Ce qui distingue Dessa, c’est sa recette de formation – discours pur, zéro texte – et l’affirmation selon laquelle les comportements conversationnels émergents comme le rire au milieu d’une phrase sont apparus sans instruction explicite.

Les sceptiques voudront une évaluation indépendante. Un modèle sans texte peut-il réellement apprendre des faits de manière fiable, ou hallucine-t-il plus librement sans s'appuyer sur le langage écrit ? Peut-il s'adapter à de nouvelles langues sans transcriptions ? La propre page de Block invite exactement à ces questions, ce qui est soit une confiance, soit une reconnaissance franche que personne – y compris Block – ne connaît encore les réponses.

Pour l'instant, Dessa est un artefact de recherche avec une liste d'attente. Mais si la formation vocale uniquement s’avère compétitive par rapport aux pipelines basés sur le texte, Block a peut-être fait ressortir l’un des paris à contre-courant les plus intéressants de l’IA moderne : que le chemin le plus rapide vers une conversation naturelle entre machines est de construire des machines qui apprennent comme nous l’avons fait – en écoutant.

---

Restez à la Pointe de l'IA

Les dernières actualités, analyses et percées en IA — au même endroit.

Lire plus d'actualités IA →