Un nuevo punto de referencia llamado Real-SWE desafía la forma en que la industria de la IA mide la capacidad de codificación, y los primeros resultados son humillantes para los laboratorios de vanguardia. Fable 5.1 de Anthropic, que se ejecuta dentro del arnés de Claude Code, lidera la tabla con una tasa de resolución del 38,8 % en tareas extraídas de bases de código empresariales privadas del mundo real. Ningún modelo probado supera el 40 por ciento.

El punto de referencia, publicado este mes por Specific Labs, evalúa modelos de IA de vanguardia en bases de código de producción privada que el equipo obtuvo bajo licencia de empresas reales. Sus creadores sostienen que las tareas sintéticas o generadas por expertos, por bien diseñadas que estén, no son el trabajo literal que realmente hacen los ingenieros de empresas reales. Para más contexto sobre esta historia, consulta nuestra cobertura de la industria de IA.

Por qué las bases de código privadas cambian la imagen

Real-SWE se diferencia de los puntos de referencia establecidos como SWE-bench en dos ejes, según sus autores: el artefacto de codificación subyacente y la especificidad de la instrucción. Cada tarea proviene de un sistema propietario cuyo código y soluciones no están disponibles en la Internet pública, lo que significa que los agentes no pueden confiar en respuestas memorizadas extraídas de repositorios públicos.

Las tareas también tienen consecuencias comerciales. Las tareas de ejemplo del punto de referencia incluyen realizar la facturación correcta, calcular impuestos y migrar clientes: cambios que afectan el funcionamiento de una empresa, a menudo en múltiples servicios. Cada empresa tiene sus propias convenciones y formas de escribir código, y los agentes deben comprender esas normas y realizar cambios que funcionen con lo que ya existe.

"¿Puede un agente codificador hacer el trabajo de un ingeniero de software en el mundo real?" pregunta la introducción del punto de referencia. La tabla de clasificación sugiere que la respuesta, por ahora, es: sólo alrededor de un tercio de las veces, en el mejor de los casos.

La clasificación completa

Specific Labs evaluó ocho combinaciones de modelo y arnés de frontera, midiendo la tasa de resolución como pass@1 promediada en ocho ejecuciones independientes por tarea, con intervalos de confianza del 95 por ciento:

1. Fábula 5.1 (Código Claude) — 38,8%
2. GPT-6 Astra (CLI del Códex): 33,8 %
3. Gemini 3.8 Flash (Gemini CLI): 31,2 %
4. GLM 5.3 (Código Claude) — 28,8 %
5. (empate) Grok 4.6 (Grok Build) — 23,8%
5. (empate) Muse Spark 1.3 (Código Muse) — 23,8%
7. Kimi K3 (Código Kimi) — 18,8%
8. GPT-5,6 Sol (CLI del Códex): 16,2 %

Los resultados se discutieron extensamente en Hacker News durante el fin de semana, donde el punto de referencia obtuvo varios cientos de votos a favor y un animado debate sobre si la evaluación de la base de código privado es el criterio correcto para el progreso de los agentes.

Una extensión estrecha pero significativa en la cima

La brecha entre los cuatro sistemas principales es notable por lo que dice sobre el panorama competitivo actual. La ventaja de cinco puntos de Fable 5.1 sobre el GPT-6 Astra de OpenAI es significativa en un punto de referencia donde cada tarea es un problema de producción real. Es sorprendente que Gemini 3.8 Flash ocupe el tercer lugar, ya que el modelo se posiciona como un caballo de batalla rápido y de bajo costo en lugar de un sistema de razonamiento emblemático. El GLM 5.3 de Z.ai, evaluado a través de Claude Code, quedando a cinco puntos del líder subraya cuán competitivos se han vuelto los modelos de peso abierto en el trabajo práctico de ingeniería.

Igualmente revelador es el diferencial en la parte inferior. GPT-5.6 Sol, una versión anterior de OpenAI, resuelve menos de la mitad de tareas que Fable 5.1, un recordatorio de lo rápido que se ha movido la frontera y de lo pronunciada que puede ser la caída apenas una generación de modelo atrás.

Los arneses importan tanto como los modelos

Una de las opciones metodológicas del punto de referencia está llamando la atención: en lugar de evaluar modelos de forma aislada, Real-SWE utiliza arneses nativos (Claude Code, Codex CLI, Gemini CLI, Grok Build) para reflejar cómo trabajan realmente los ingenieros empresariales en la práctica. La tabla de clasificación clasifica explícitamente las combinaciones de modelo y arnés, reconociendo que el andamiaje, el acceso a herramientas y los bucles de iteración ahora son inseparables de la capacidad del modelo en implementaciones reales.

Ese marco es importante para las empresas que eligen sistemas. El mismo modelo puede funcionar de manera muy diferente dependiendo del arnés del agente que lo rodea, y los compradores que evalúan los asistentes de codificación en base a números de referencia públicos pueden estar obteniendo una imagen distorsionada de cómo se comportarán esos sistemas en sus propias bases de código.

Qué significa para la industria

Los puntos de referencia han sido acusados ​​repetidamente de saturación, y los modelos de frontera publican puntuaciones casi perfectas en pruebas públicas que se filtran en datos de entrenamiento. El diseño de Real-SWE intenta contrarrestar ambos problemas a la vez: el código es privado y tiene licencia, las tareas son productos de trabajo genuinos de equipos de ingeniería en funcionamiento y las instrucciones reflejan la confusa especificidad de los tickets reales en lugar de declaraciones pulidas de problemas.

La conclusión aleccionadora es el nivel absoluto. Incluso el mejor sistema resuelve menos de cuatro de cada diez tareas empresariales reales en el primer intento, en promedio en ocho ejecuciones. A pesar de todo el progreso en la codificación agente, el punto de referencia sugiere que la ingeniería de software autónoma en sistemas de producción reales sigue siendo una actividad supervisada, una actividad en la que los ingenieros humanos revisan, redirigen y reparan con mucha más frecuencia de lo que implican las demostraciones de los proveedores.

Para las empresas que eligen entre asistentes de codificación, el punto de referencia ofrece una lista de verificación práctica: preferir sistemas evaluados en código privado, insistir en intervalos de confianza en lugar de números de titulares de una sola ejecución, y darle tanta importancia a la calidad como a la capacidad del modelo en bruto. La primera tabla de clasificación de Real-SWE no será la última palabra, pero es la respuesta más directa hasta el momento a la pregunta que todo líder de ingeniería se hace sobre la codificación agente.

Para obtener más información sobre los agentes de codificación, los lanzamientos de modelos y las investigaciones que les dan forma, siga las últimas noticias sobre IA a medida que llegue la próxima ronda de resultados de referencia.

---

Mantente al Día con la IA

Las últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.

Leer más noticias de IA →