Um novo benchmark da empresa de segurança de aplicativos Semgrep apresentou um resultado inesperado: um modelo aberto da Zhipu AI da China superou o Claude da Anthropic na descoberta de falhas reais de segurança em software. A descoberta acrescenta combustível ao debate sobre se a IA mais capaz é necessariamente a mais cara ou a mais restrita.
Com o poderoso modelo Mythos da Anthropic bloqueado por uma proibição de exportação dos EUA, as equipes de segurança que buscam uma alternativa acessível estão recorrendo a opções abertas como o GLM 5.2 para obter a cobertura mais recente do setor de IA. O teste da Semgrep, publicado em 22 de junho, sugere que a caça pode estar dando resultados mais cedo do que o esperado.
O que o Semgrep testou
Semgrep avaliou uma linha de modelos de peso aberto e de fronteira em seu benchmark interno de detecção de IDOR. IDORs — Referências diretas inseguras a objetos — são bugs de controle de acesso que permitem que um usuário acesse os dados de outro usuário. Eles são notoriamente difíceis de detectar com a análise estática tradicional porque a falha é lógica e não sintática: o código é tecnicamente válido, simplesmente não possui uma verificação de autorização.
A empresa tem refinado um fluxo de trabalho para detectar essas vulnerabilidades, combinando seu mecanismo baseado em regras com o raciocínio de IA. Para isolar quanto desempenho vem do modelo em si versus a estrutura em torno dele, os pesquisadores executaram um conjunto de modelos populares de peso aberto por meio de um chicote mínimo – uma configuração simples do Pydantic usando o mesmo prompt IDOR fornecido a cada modelo, sem descoberta de endpoint e sem navegação guiada. O prompt ofereceu apenas uma estratégia de pesquisa básica e algumas dicas sobre a aparência de um IDOR – um pouco mais do que “aqui está o código, encontre os bugs”, mas muito menos do que os agentes de codificação de fronteira recebem quando executados dentro do pipeline completo do Semgrep.
Os IDORs são uma dor de cabeça persistente para as equipes de segurança de aplicativos porque passam despercebidos aos scanners convencionais. Uma ferramenta baseada em regras pode sinalizar uma verificação de entrada ausente, mas entender se um endpoint específico realmente expõe os dados de outro usuário requer raciocínio sobre a lógica de negócios do aplicativo – exatamente o tipo de julgamento contextual em que grandes modelos de linguagem são cada vez mais bons.
GLM 5.2 assume a liderança
O destaque foi o GLM 5.2, modelo open-weight da Zhipu AI. Executando nada além de um simples prompt, ele obteve 39% de F1 na detecção de IDOR – superando os 32% de Claude Code por sete pontos completos. Segundo Semgrep, o modelo aberto também superou Claude Opus 4.8 na tarefa, tornando-se a opção fora da fronteira mais forte testada.
A economia foi igualmente impressionante. Pelo preço do GLM 5.2, a execução custa cerca de US$ 0,17 por vulnerabilidade encontrada. Para organizações que podem verificar milhares de endpoints, Semgrep observou que o custo por bug costuma ser o fator decisivo para saber se uma técnica de detecção é prática em escala.
Outros contendores do peso aberto ficaram ainda mais atrás. MiniMax M3 obteve 23% de F1 e Kimi K2.7 Code obteve 22%, ambos agrupados bem abaixo de Claude Code. Semgrep caracterizou o GLM 5.2 como uma exceção clara, e não como um resultado representativo para a categoria de peso aberto.
O arnês ainda é importante
Apesar da vitória no peso aberto na categoria de prompt bruto, o pipeline construído especificamente pela Semgrep permaneceu o líder geral. A configuração multimodal da empresa – que combina raciocínio de IA com detecção baseada em regras e enumeração estruturada de endpoints – alcançou 53% a 61% F1, dependendo da configuração. Essa lacuna sublinha a questão original dos investigadores: quanto do desempenho de detecção de vulnerabilidades é o modelo e quanto é a arquitectura em torno dele?
A resposta parece ser “ambos, mas mais do que as pessoas supõem é o arnês”. O GLM 5.2 provou que um modelo capaz pode realizar um trabalho significativo com suporte mínimo, mas ainda assim não conseguiu corresponder a um sistema projetado especificamente para o problema.
A equipe Semgrep – que incluía os pesquisadores Paxton-Fear, Seth Jaksik, Brenden Noblitt e Erik Buchanan – disse estar “genuinamente chocada” com o fato de um modelo de peso aberto executando um prompt simples ter ultrapassado um agente de codificação de fronteira em uma tarefa de segurança com raciocínio pesado.
Mitos em casa
O valor de referência tem um peso adicional no contexto geopolítico atual. O título da postagem do blog – “Temos Mythos em casa” – é uma referência direta ao fato de que o modelo Mythos focado na segurança cibernética da Antrópico está efetivamente indisponível para grande parte do mundo. Depois que a administração Trump proibiu cidadãos de fora dos EUA de usar o Mythos e seu irmão restrito, Fable 5, as equipes de segurança globais perderam acesso ao que era amplamente considerado a IA mais capaz para trabalhos de segurança ofensiva e defensiva.
Nesse vácuo, modelos acessíveis de peso aberto estão preenchendo a lacuna. O facto de o GLM 5.2 – que pode ser descarregado gratuitamente e implementado em qualquer lugar – já poder igualar ou superar modelos proprietários de fronteira em tarefas de segurança específicas sugere que o efeito inibidor da proibição de exportação pode ser menor do que o pretendido. Se o melhor modelo “irrestrito” continuar a melhorar, o valor estratégico de acumular capacidades fronteiriças diminui.
Por enquanto, o resultado é limitado: uma única referência para uma única classe de vulnerabilidade. Mas é um sinal de que a fronteira do peso aberto está a fechar-se mais rapidamente do que muitos supunham, e que a acessibilidade – e não a capacidade bruta – pode tornar-se a variável definidora no panorama da segurança da IA.
A descoberta também levanta questões incômodas para os laboratórios de fronteira. Se um modelo disponível gratuitamente já consegue igualar os sistemas proprietários em tarefas de raciocínio de segurança, o fosso competitivo em torno dos modelos fechados diminui – especialmente quando os controlos de exportação tornam esses modelos fechados inacessíveis a áreas do mercado global. Os desenvolvedores abertos, livres de restrições de uso, podem iterar e implantar em qualquer lugar simultaneamente.
Fique à frente da IA
A lacuna entre a IA de fronteira e a de peso aberto está diminuindo nas notícias de última hora sobre IA e na pesquisa que remodela a segurança, a infraestrutura e as políticas.
Leia mais notícias sobre IA →
