Um novo benchmark chamado Real-SWE está desafiando a forma como a indústria de IA mede a capacidade de codificação, e os primeiros resultados são humilhantes para os laboratórios de fronteira. O Fable 5.1 da Anthropic, executado dentro do equipamento Claude Code, lidera o quadro com uma taxa de resolução de 38,8% em tarefas extraídas de bases de código empresariais privadas do mundo real. Nenhum modelo testado atinge 40%.

O benchmark, lançado este mês pela Specific Labs, avalia modelos de IA de ponta em bases de código de produção privada que a equipe licenciou de empresas reais. Seus criadores argumentam que tarefas geradas por especialistas ou sintéticas, por mais bem projetadas que sejam, não são o trabalho literal que os engenheiros de empresas reais realmente realizam. Para mais contexto sobre esta história, confira nossa notícias de IA.

Por que as bases de código privadas mudam a imagem

O Real-SWE difere de benchmarks estabelecidos como o SWE-bench em dois eixos, segundo seus autores: o artefato de codificação subjacente e a especificidade da instrução. Cada tarefa vem de um sistema proprietário cujo código e soluções não estão disponíveis na Internet pública, o que significa que os agentes não podem confiar em respostas memorizadas extraídas de repositórios públicos.

As tarefas também acarretam consequências comerciais. As tarefas de exemplo do benchmark incluem acertar o faturamento, calcular impostos e migrar clientes – mudanças que afetam o funcionamento de uma empresa, muitas vezes em vários serviços. Cada empresa tem suas próprias convenções e formas de escrever código, e os agentes devem compreender essas normas e fazer alterações que funcionem com o que já existe.

“Um agente de codificação pode realmente fazer o trabalho de um engenheiro de software no mundo real?” pergunta a introdução do benchmark. A tabela de classificação sugere que a resposta, por enquanto, é: apenas cerca de um terço das vezes, na melhor das hipóteses.

A tabela de classificação completa

Laboratórios específicos avaliaram oito combinações de modelo e chicote de fronteira, medindo a taxa de resolução como pass@1 em média em oito execuções independentes por tarefa, com intervalos de confiança de 95 por cento:

1. Fábula 5.1 (Código Claude) — 38,8%
2. GPT-6 Astra (Codex CLI) — 33,8%
3. Gemini 3.8 Flash (Gemini CLI) — 31,2%
4. GLM 5.3 (Código Claude) — 28,8%
5. (empate) Grok 4.6 (Grok Build) — 23,8%
5. (empate) Muse Spark 1.3 (Muse Code) — 23,8%
7. Kimi K3 (Código Kimi) — 18,8%
8. GPT-5.6 Sol (Codex CLI) — 16,2%

Os resultados foram discutidos extensivamente no Hacker News no fim de semana, onde o benchmark atraiu várias centenas de votos positivos e um debate animado sobre se a avaliação da base de código privada é o parâmetro certo para o progresso do agente.

Uma propagação estreita, mas significativa no topo

A lacuna entre os quatro principais sistemas é notável pelo que diz sobre o atual cenário competitivo. A vantagem de cinco pontos do Fable 5.1 sobre o GPT-6 Astra da OpenAI é significativa em um benchmark onde cada tarefa é um problema real de produção. Gemini 3.8 Flash ficar em terceiro lugar é impressionante, já que o modelo está posicionado como um burro de carga rápido e de baixo custo, em vez de um sistema de raciocínio carro-chefe. O GLM 5.3 da Z.ai, avaliado por meio de Claude Code, ficando a cinco pontos do líder, ressalta como os modelos de peso aberto se tornaram competitivos no trabalho prático de engenharia.

Igualmente revelador é o spread na parte inferior. GPT-5.6 Sol, uma versão anterior do OpenAI, resolve menos da metade das tarefas do Fable 5.1 – um lembrete de quão rapidamente a fronteira mudou e quão acentuada pode ser a queda apenas uma geração de modelo atrás.

Os chicotes são tão importantes quanto os modelos

Uma das escolhas metodológicas do benchmark está chamando a atenção: em vez de avaliar modelos isoladamente, o Real-SWE usa equipamentos nativos – Claude Code, Codex CLI, Gemini CLI, Grok Build – para refletir como os engenheiros corporativos realmente trabalham na prática. A tabela de classificação classifica explicitamente as combinações de modelo e chicote, reconhecendo que o andaime, o acesso a ferramentas e os loops de iteração são agora inseparáveis ​​da capacidade do modelo em implantações reais.

Esse enquadramento é importante para as empresas que escolhem os sistemas. O mesmo modelo pode ter um desempenho muito diferente dependendo do equipamento do agente envolvido nele, e os compradores que avaliam os assistentes de codificação em números de benchmark públicos podem estar obtendo uma imagem distorcida de como esses sistemas se comportarão em suas próprias bases de código.

O que isso significa para a indústria

Os benchmarks têm sido repetidamente acusados ​​de saturação, com modelos de fronteira apresentando pontuações quase perfeitas em testes públicos que vazam para dados de treinamento. O design do Real-SWE tenta combater os dois problemas ao mesmo tempo: o código é privado e licenciado, as tarefas são produtos de trabalho genuínos de equipes de engenharia em atividade e as instruções refletem a especificidade confusa dos tickets reais, em vez de declarações de problemas refinadas.

A conclusão preocupante é o nível absoluto. Mesmo o melhor sistema resolve menos de quatro em cada dez tarefas empresariais reais na primeira tentativa, numa média de oito execuções. Apesar de todo o progresso na codificação de agentes, o benchmark sugere que a engenharia de software autônoma em sistemas de produção reais continua sendo uma atividade supervisionada – uma atividade onde os engenheiros humanos revisam, redirecionam e reparam com muito mais frequência do que as demonstrações dos fornecedores sugerem.

Para as empresas que escolhem entre assistentes de codificação, o benchmark oferece uma lista de verificação prática: prefira sistemas avaliados em código privado, insista em intervalos de confiança em vez de números de títulos de execução única e pondere a qualidade tanto quanto a capacidade bruta do modelo. A primeira tabela de classificação do Real-SWE não será a última palavra - mas é a resposta mais direta à pergunta que todo líder de engenharia está fazendo sobre a codificação de agentes.

Para saber mais sobre agentes de codificação, lançamentos de modelos e pesquisas que os moldam, acompanhe as últimas notícias sobre IA à medida que a próxima rodada de resultados de benchmark chega.

---

Fique à Frente da IA

As últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.

Ler mais notícias de IA →