Block, la empresa de pagos dirigida por Jack Dorsey, ha entrado en la carrera de la IA de voz con una afirmación inusualmente audaz. El jueves, el laboratorio de investigación interno de la compañía presentó Dessa, un modelo de voz a voz que, según Block, fue entrenado desde cero con nada más que conversación humana: sin texto, sin transcripciones y sin modelos básicos previamente entrenados debajo.
"Hasta donde sabemos, Dessa es la primera IA del mundo con la que puedes tener una conversación realista en vivo y que fue entrenada solo a partir del habla humana", dice Block en la página oficial del modelo, que describe el lanzamiento como "una vista previa de la investigación de un modelo de voz full-duplex". La compañía está publicando grabaciones de demostración en vivo, abriendo una lista de espera pública y otorgando acceso temprano a un pequeño grupo de investigadores de seguridad de la IA. Para más contexto sobre esta historia, consulta nuestra noticias de IA.
¿Qué es realmente Dessa?
Dessa es lo que los investigadores llaman un modelo de voz a voz full-duplex: entrada y salida de audio, sin ninguna capa de texto en el medio. Esa última parte es el diferenciador. Prácticamente todos los asistentes de voz convencionales, incluidos los modos de voz adjuntos a los chatbots más grandes, convierten su discurso en texto, lo razonan y responden. Block sostiene que el pipeline desecha la mayor parte de lo que hace humana la conversación humana.
"Interactuar con la IA de voz actual puede simplemente ser una mierda", afirma el anuncio de la compañía. "Convierte tu voz en texto y desecha una increíble cantidad de información que el texto por sí solo no puede transmitir. Las IA más poderosas del mundo no pueden escuchar cómo te sientes. Creemos que eso es ridículo, conduce a una peor experiencia y es potencialmente peligroso".
Debido a que Dessa nunca pasa por el texto, Block dice que capta de forma nativa la emoción, el sarcasmo, la risa, un suspiro frustrado o una voz entrecortada por la tristeza: las señales paralingüísticas que los sistemas basados en texto generalmente descartan.
Full-Duplex significa que habla como una persona, no como un robot que toma turnos
El segundo rasgo definitorio es el funcionamiento full-duplex. Dessa escucha y habla al mismo tiempo, como lo hace la gente, en lugar de esperar a que se detecte el final de la expresión antes de responder. Según Block, el modelo aprendió de conversaciones reales cuándo intervenir, cuándo retroceder para demostrar que está siguiendo la corriente y cuándo permanecer en silencio.
Las demostraciones en la página de la compañía ilustran comportamientos que nadie programó explícitamente. En un clip, Dessa se ríe a mitad de una frase en el momento en que algo se vuelve divertido: "como lo hace la gente", señala Block, contrastando esto con los asistentes de voz convencionales que "esperan a que termines y luego se ríen en el momento justo". En otro, un usuario le pide al modelo que hable y el volumen aumenta. "Nadie le enseñó eso", afirma la empresa. En un tercero, la persona se queda en blanco con el título de una película y Dessa termina la oración por ella.
Block también tiene cuidado de señalar la procedencia de una demostración particularmente llamativa, en la que Dessa mantiene una conversación en vivo con otro sistema de inteligencia artificial. "En esta demostración, Dessa está hablando con GPT-Live-1, un modelo de IA de terceros. Ambas voces son generadas por IA", afirma la página, señalando que el desarrollador de GPT-Live-1 no está afiliado a Block y no ha revisado ni respaldado a Dessa.
¿Por qué bloquear completamente el texto omitido?
Entrenar un modelo sin ningún texto es una apuesta deliberada. La posición de Block es que el habla no es un envoltorio con pérdidas del lenguaje: es el medio principal, y un modelo que crece con sonido puro puede desarrollar capacidades y modos de falla que los sistemas entrenados en texto no tienen.
La propia empresa enmarca las ventajas científicas como preguntas abiertas en lugar de resultados resueltos: ¿con qué eficiencia aprenden el lenguaje y los hechos los modelos exclusivamente de voz en comparación con los sistemas entrenados en texto? ¿Con qué eficacia pueden aprender nuevos idiomas? ¿Qué tipos de aprendizaje en contexto pueden realizar? "Dessa avanza la frontera de los modelos de aprendizaje profundo y crea una categoría diferente con comportamientos completamente nuevos e interesantes para que los investigadores los descubran", se lee en el anuncio.
También hay una afirmación pragmática enterrada en el terreno de juego. Block dice que la inferencia de Dessa se ejecuta más rápido que el tiempo real, por lo que las respuestas llegan sin las pausas incómodas que afectan a los asistentes de voz por turnos y, según la cobertura de Unite.AI del lanzamiento, que el modelo se ejecuta localmente en hardware de consumo tan capaz como una MacBook Pro con un chip M4 Max o mejor. Si es exacto, un modelo de voz full-duplex que se ejecute localmente sería notable en un momento en el que la IA de voz más competitiva sigue confinada a la nube.
Un "momento GPT-3 para el habla"
Ragavan Thurairatnam, que dirige el laboratorio de investigación de IA de Block, describió a Dessa como el primer modelo de IA que puede mantener una conversación realista después de entrenar completamente en el habla, y calificó el lanzamiento como "un momento GPT3 para el habla", según el informe de Unite.AI sobre el anuncio. La comparación es clara: el debut de GPT-3 en 2020 no produjo productos útiles de inmediato, pero reformuló lo que podían hacer los modelos de lenguaje e inició el ciclo de inversión actual.
The Verge, que cubrió el lanzamiento, describió el resultado como un modelo que "te habla como un nuevo amigo incómodo": un resumen evocador de clips de demostración en los que Dessa jadea "Dios mío" en voz baja ante la sorpresa, o responde a noticias personales con lo que suena como una llorosa gratitud. Si esos gestos reflejan una comprensión genuina o una reproducción sofisticada de patrones es precisamente el tipo de pregunta que Block dice que quiere que la comunidad investigadora investigue.
El ángulo de la seguridad es lo primero, por una vez
En particular, Block no envía Dessa directamente a los consumidores. El lanzamiento es un avance de la investigación: las grabaciones son públicas, hay una lista de espera abierta, pero el acceso práctico temprano se limita a un pequeño grupo de investigadores de seguridad de la IA. Dada la preocupación constante por las estafas de clonación de voz y los compañeros de IA emocionalmente manipuladores, un modelo de habla que pueda expresar (y presumiblemente provocar) emociones es exactamente el tipo de sistema que los equipos de seguridad quieren evaluar antes del despliegue masivo.
Block dice que se compartirán más grabaciones en X en los próximos días. La compañía no ha anunciado precios, acceso a API o planes de integración para sus productos Square, Cash App o Bitkey.
Las preguntas abiertas
La lancha de Dessa aterriza en un campo lleno de gente. Todos los laboratorios importantes de IA ahora ofrecen un modo de voz, y las nuevas empresas han estado impulsando modelos de voz en tiempo real durante dos años. Lo que distingue a Dessa es su receta de entrenamiento (habla pura, cero texto) y la afirmación de que el comportamiento conversacional emergente, como la risa a mitad de una frase, surgió sin instrucción explícita.
Los escépticos querrán una evaluación independiente. ¿Puede un modelo sin texto realmente aprender hechos de manera confiable o alucina más libremente sin la base del lenguaje escrito? ¿Puede adaptarse a nuevos idiomas sin transcripciones? La propia página de Block invita exactamente a estas preguntas, que son confianza o un reconocimiento sincero de que nadie, incluido Block, sabe las respuestas todavía.
Por ahora, Dessa es un artefacto de investigación con lista de espera. Pero si el entrenamiento solo de voz resulta competitivo con los canales basados en texto, Block puede haber planteado una de las apuestas contrarias más interesantes en la IA moderna: que la ruta más rápida hacia la conversación natural entre máquinas es construir máquinas que aprendan como lo hicimos nosotros: escuchando.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
