Un nuevo tipo de modelo de IA hizo su debut esta semana y hace algo inusual para un modelo construido sobre una arquitectura transformadora: nunca produce una palabra de texto. Jev, lanzado por la startup TypeSafe AI de dos años de antigüedad, genera probabilidades calibradas (lo que la compañía llama decisiones calibradas y escritas) posicionándose como una alternativa rápida y barata a los grandes modelos de lenguaje para el trabajo de clasificación, enrutamiento y automatización, según TechCrunch.
La empresa fue fundada por Diogo Almeida, un investigador de OpenAI que ayudó a construir ChatGPT y contribuyó a la invención del aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF), la técnica de capacitación a la que se le atribuye ampliamente haber dado forma a la generación actual de asistentes de IA. La demanda del nuevo modelo fue tan intensa que TypeSafe perdió brevemente la capacidad de atender a algunos usuarios de API después del lanzamiento. Para más contexto sobre esta historia, consulta nuestra cobertura de la industria de IA.
Por qué un pionero de ChatGPT abandonó el idioma
El camino de Almeida hacia un modelo sin texto comenzó con una decepción en OpenAI. "Tenemos un rayo en una botella y, sin embargo, no es útil", dijo Almeida a TechCrunch, describiendo su frustración porque a pesar de las capacidades de ChatGPT, la tecnología no alcanzó una verdadera automatización. "He estado luchando contra ese problema desde entonces. Me tomó un tiempo llegar a la conclusión: el problema es que estamos optimizando para el lenguaje humano... Hemos sido muy buenos en el lenguaje humano durante cuatro años, pero no es útil para la automatización porque las computadoras hablan un idioma diferente".
Hace dos años, Almeida dejó OpenAI para fundar TypeSafe AI y continuar con esa tesis. El resultado es Jev, un modelo basado en transformadores que, según la empresa, no es un modelo de lenguaje grande. Cuando un LLM genera texto abierto, Jev devuelve probabilidades a través de un conjunto de resultados que el usuario define de antemano: un diseño que, según la compañía, hace que la alucinación sea estructuralmente imposible, ya que el modelo solo puede responder con las opciones que se le dieron.
Las ganancias de eficiencia son una parte fundamental del campo. Los tokens de salida de Jev son gratuitos y los tokens de entrada se miden por mil millones en lugar de millones, según TechCrunch. La compañía describe a Jev como un "modelo System One", centrado en la intuición más que en el razonamiento, y dice que fue entrenado exclusivamente con datos sintéticos utilizando una técnica que Almeida llama aprendizaje reforzado a partir de decisiones calibradas.
TypeSafe ha mantenido en secreto la arquitectura de Jev, aunque los observadores externos sospechan que el sistema está construido sobre un LLM de peso abierto. "La mitad de [nuestra empresa] es un laboratorio que básicamente posee todo este subcampo de datos sintéticos estadísticamente bien entendidos, y esa es ahora la alegría de mi vida", dijo Almeida a TechCrunch.
Resultados iniciales de los desarrolladores: más rápido y más barato
Los primeros usuarios informaron avances notables en las pruebas. Pranit Sharma, ingeniero de software de Vercel, dijo a TechCrunch que su empresa había estado utilizando ChatGPT Luna 5.6 de OpenAI para ejecutar un clasificador que revisa los comandos por seguridad. Después de cambiar esa carga de trabajo a Jev, Vercel obtuvo resultados entre cinco y 18 veces más rápido y con mayor precisión.
Nikhil Mudholkar, CTO de Bryo AI, realizó una comparación diferente: clasificar los correos electrónicos comerciales con Jev frente a Gemini de Google. En su prueba, Gemini fue un poco más preciso, pero entre 10 y 20 veces más caro. Para Mudholkar, la propiedad más valiosa de Jev era su manejo de la incertidumbre. "Es el único que ofrece una probabilidad real, lo que lo hace ideal para automatizar flujos de trabajo", dijo a TechCrunch.
Agentes vigilando a los agentes, sin factura
Más allá de reemplazar a los LLM en tareas de clasificación, TypeSafe sostiene que Jev puede controlarlos. El uso de agentes de IA para monitorear a otros agentes se vuelve costoso rápidamente, pero Almeida sostiene que la velocidad y el perfil de costos de Jev hacen que sea práctico rastrear los rastros de los agentes LLM y evitar fugas en tiempo real.
Armin Ronacher, CTO de Earendil y constructor del modelo de código abierto Pi, dijo a TechCrunch que el enfoque transfiere la responsabilidad de la incertidumbre al desarrollador. "Delega un poco el problema de las alucinaciones en el usuario", dijo Ronacher. "El usuario tiene que decir, está bien, si esto solo sale con un 50% de probabilidad, tal vez sea un lanzamiento de moneda y lo ignoro. Pero si es un 95%, claro, entonces puedo hacer algo con eso".
Ronacher también señaló el enrutamiento de modelos como un caso de uso prometedor: predecir si una carga de trabajo determinada requiere un modelo específico y más costoso. Hacer esa clasificación con un LLM sería costoso, pero la baja latencia y el precio de Jev podrían hacer viable el enrutamiento en tiempo real.
Un nombre tomado de la economía
El modelo lleva el nombre de William Stanley Jevons, el economista del siglo XIX detrás de la paradoja de Jevons: la observación de que a medida que un bien se abarata, su consumo tiende a aumentar. La apuesta de Almeida es que la caída de los costos de la inteligencia de grado de decisión conducirá a su implementación en todas partes, no solo en los chatbots emblemáticos.
"Creemos que habrá software inteligente por todas partes de una manera emergente y distribuida... mucho más parecida a la Internet temprana que a las mega aplicaciones que la gente está tratando de crear ahora", dijo Almeida a TechCrunch.
Si los competidores les seguirán sigue siendo una cuestión abierta. "Deberíamos haber visto esto antes en muchos sentidos, pero presumiblemente debido a que los LLM son tan baratos y subsidiados, a menudo no es necesario ser creativo todavía", dijo Ronacher a TechCrunch. TypeSafe planea versiones adicionales de Jev en nuevas modalidades.
En cuanto a si TypeSafe cuenta como un laboratorio de frontera, Almeida ofreció una respuesta contundente: "El principal producto de los laboratorios de frontera es el miedo o la exageración. Me gustaría que nuestro producto principal fuera la inteligencia... [pero no somos] un laboratorio en el sentido de, ya sabes, apostar por una riqueza infinita, o una religión, o construir a Dios en un centro de datos, o lo que sea que sea de actualidad".
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
