Fish Audio, una startup con sede en Palo Alto que construye modelos de voz expresivos de IA, ha recaudado 50 millones de dólares en una ronda inicial para expandir su plataforma para casos de uso tanto creativos como empresariales. La ronda de financiación fue liderada por Coreline Ventures y Capital Today, con la participación de 359 Capital, Parable, Play Time, Alphalist Partners, Bayhouse Ventures, Carya Venture Partners y HF0, según informes de TechCrunch.
La ronda es una de las financiaciones iniciales más importantes en el espacio de generación de voz con IA, lo que refleja la confianza de los inversores en una empresa que ya ha ganado una tracción significativa. Fish Audio ahora cuenta con más de 8 millones de personas que utilizan las versiones de código abierto o alojadas de sus modelos, y genera 21 millones de dólares en ingresos recurrentes anuales. El rápido crecimiento de la startup es parte de una ola más amplia de expansión de la industria de la IA que continúa atrayendo capital de riesgo sustancial.
Del proyecto de una sola GPU a 8 millones de usuarios
Fish Audio comenzó como un pequeño proyecto paralelo de Shijia Liao, un ex investigador de Nvidia que estaba frustrado por las voces sintéticas planas y poco expresivas disponibles en el mercado. Liao entrenó un modelo de generación de voz en una sola GPU y lo abrió. Desde entonces, ese primer proyecto, conocido como Fish Speech, se ha convertido en un repositorio con más de 31.000 estrellas en GitHub, utilizado por desarrolladores independientes, diseñadores de videojuegos y creadores de contenido.
El año pasado, la compañía lanzó cinco modelos: cuatro modelos de generación de voz y un modelo de voz a texto. Tiene tres de sus modelos de generación de voz de código abierto, mientras que su última versión, S2.1 Pro, está disponible sólo a través de una API paga. Esta estrategia híbrida de núcleo abierto ha permitido a Fish Audio construir una gran comunidad de desarrolladores mientras monetiza sus capacidades más avanzadas.
Un modelo de voz para cada caso de uso
Lo que distingue a Fish Audio, según la empresa, es la variedad de controles que ofrece. La plataforma incluye una biblioteca de más de 15.000 controles de lenguaje natural que permiten a los usuarios ajustar cómo suenan las voces generadas: ajustando el tono, la emoción, el ritmo y el estilo.
La directora ejecutiva y cofundadora, Rissa Cao, dijo a TechCrunch que los clientes empresariales de la empresa abarcan necesidades muy diferentes. Empresas como HeyGen, que utiliza voces de Fish Audio para potenciar avatares de IA, priorizan el realismo. Los estudios de videojuegos quieren voces expresivas para sus personajes. Las empresas de agentes de voz como LiveKit necesitan voces con sonido natural y baja latencia que sigan siendo lo suficientemente expresivas para llamadas telefónicas en vivo.
"Cada empresa tiene diferentes casos de uso y diferentes preferencias", afirmó Cao. Otros clientes incluyen Sanas, una empresa centrada en la traducción de acento, y Plaud, que fabrica dispositivos de grabación con tecnología de inteligencia artificial. Fish Audio ofrece planes mensuales pagos para creadores y equipos que desbloquean una cantidad determinada de minutos de generación más funciones de clonación de voz, así como una versión empresarial de sus API.
Creación de una biblioteca de voz a través de las contribuciones de los usuarios
Una de las formas en que Fish Audio ha ampliado su biblioteca de voces es invitando a los usuarios a enviar sus propias grabaciones de voz para modelos de entrenamiento, compensándolos cuando se utilizan sus voces. Este enfoque de colaboración colectiva ha ayudado a la empresa a crear un catálogo diverso, pero también ha creado desafíos.
Hace unos meses, algunos creadores alegaron que sus voces habían sido subidas a la plataforma de Fish Audio sin su consentimiento. La startup tenía implementado un proceso de eliminación de contenido DMCA, pero el proceso fue lento. Cao le dijo a TechCrunch que desde entonces la compañía ha automatizado el proceso de eliminación para abordar tales preocupaciones más rápidamente.
La controversia pone de relieve una tensión creciente en la industria de la voz con IA. A medida que mejora la tecnología de voz sintética, la línea entre el uso autorizado y el no autorizado se vuelve más difícil de controlar. La clonación de voz, en particular, ha generado preocupación sobre la suplantación de identidad y el fraude, y los reguladores de varios países están comenzando a examinar los marcos legales que rigen el audio generado por IA.
Un mercado competitivo y saturado
Fish Audio no está ni mucho menos solo en el espacio de voz de IA. Entre los competidores se incluyen ElevenLabs, que ha recaudado cientos de millones de dólares y es ampliamente considerado como el líder del mercado, así como ofertas de importantes empresas de tecnología. Pero el énfasis de Fish Audio en los modelos de código abierto y su gran comunidad de desarrolladores le otorgan una posición distintiva.
La ronda inicial de 50 millones de dólares brinda a la empresa una pista para competir en la calidad de los modelos, ampliar sus esfuerzos de ventas empresariales y abordar las cuestiones legales y éticas que conlleva la tecnología de clonación de voz. Con 21 millones de dólares en ingresos recurrentes anuales, Fish Audio está generando ingresos significativos para una empresa en etapa inicial, lo que sugiere que la demanda de voces de IA expresivas y controlables se extiende mucho más allá de la novedad.
Queda por ver si la startup podrá mantener su impulso de código abierto mientras construye un negocio empresarial rentable. Pero el tamaño de la ronda y la calidad de los inversores que participan indican que el mercado de voz generada por IA todavía está en sus inicios y que los inversores ven ventajas sustanciales en una empresa que atiende tanto a creadores independientes como a grandes empresas.
Manténgase a la vanguardia de las noticias sobre startups de IA
Siga los últimos desarrollos de IA a medida que evolucionan la generación de voz y otros mercados de IA generativa.
Leer más noticias sobre IA →
