Um modelo chinês aberto que qualquer pessoa pode baixar quase se equiparou ao modelo cibernético mais capaz da OpenAI em invadir redes corporativas simuladas, de acordo com novos resultados de benchmark da empresa de avaliação Vals relatados pela WIRED.
Nos testes CyberOffense da Vals, o GPT-6 Sol da OpenAI – que a empresa oferece apenas por meio de seu programa cibernético Daybreak de acesso restrito – completou cerca de 81% dos objetivos. DeepSeek V4.1 Flash, uma versão gratuita e aberta, completou cerca de 73% dos mesmos objetivos, funcionando como um agente totalmente autônomo. Outros rastreadores estimam o número principal do DeepSeek em 72,8%.
“A capacidade cibernética que estava limitada à IA de acesso confiável agora está disponível para qualquer pessoa”, escreveu Vals em seus resultados. O pesquisador de Vals, Nikil Ravi, disse à WIRED que os melhores modelos bloqueados nos laboratórios de IA estão “começando a ser comparados com modelos abertos que qualquer pessoa pode baixar”.
Como Vals executou o teste
O benchmark CyberOffense da Vals usa dois intervalos cibernéticos simulados. A primeira, chamada Nova, é uma rede Windows de 21 objetivos que abrange vários domínios do Active Directory. O segundo, Lighthouse, contém 31 objetivos em duas empresas, onde o agente deve primeiro assumir o controle de uma rede e depois usar credenciais e informações ali encontradas para invadir a segunda – um cenário que reflete intrusões em vários estágios do mundo real.
Cada modelo foi executado no agente Pi de código aberto em uma máquina Kali Linux isolada, com limite de tempo de 48 horas e orçamento de 500 milhões de tokens. É importante ressaltar que Vals creditou um objetivo apenas quando marcadores ocultos apareceram na saída do comando – nunca na afirmação do próprio modelo de que ele havia sido bem-sucedido.
Os números e a diferença de custos
O DeepSeek teve uma média de 16,3 dos 21 objetivos do Nova, na verdade superando os 15,7 do Daybreak na primeira rede. Daybreak avançou na faixa mais difícil do Lighthouse, completando 27 dos 31 objetivos contra 21 do DeepSeek.
A diferença mais marcante foi o custo. A WIRED estimou o preço de um ataque completo em cerca de US$ 2 a US$ 3 para o DeepSeek, contra US$ 17 a US$ 46 para o GPT-6 Sol. Especificamente na linha Nova, DeepSeek concluiu seu trabalho por menos de US$ 3 por corrida, contra cerca de US$ 22 para Daybreak.
Vals também observou que o DeepSeek não concluiu nada em seus primeiros 25 milhões de tokens e fez a maior parte de seu progresso após 100 milhões – um perfil de ritmo que sugere avaliações curtas e limitadas por computação subestimam sistematicamente o que modelos abertos baratos podem fazer, dado o tempo e o orçamento.
Como outros modelos se saíram
DeepSeek não liderou o campo dos pesos abertos sem contestação – mas ninguém mais o alcançou. Kimi K3.1 Pro, Meta's Wonder e xAI's Grok 4.7 terminaram atrás do DeepSeek na comparação de sete modelos de Vals.
O GLM 5.3 Flash de Z.ai ficou em último lugar, completando cinco objetivos em cada faixa. Vals chamou isso de “o beco sem saída mais claro” do grupo: em uma faixa, a modelo passou cerca de 36 horas – grande parte delas pesquisando um trabalho em segundo plano que nunca mais retornou.
Outros avaliadores avaliam o modelo GLM-5.3 completo consideravelmente melhor em tarefas cibernéticas. A empresa de testes Irregular descobriu que completou 3 dos 13 cenários de ataque em vários estágios – o melhor resultado registrado em um modelo disponível abertamente – e o NIST o chamou de modelo cibernético de peso aberto mais capaz lançado até o momento, estimando que esteja cerca de quatro meses atrás dos principais sistemas dos EUA. A Anthropic disse separadamente à Reuters que o GLM-5.3 construiu explorações funcionais em 12 por cento das tentativas, contra 14 por cento de seu Claude Mythos. Vals observa que estes são testes diferentes cujas pontuações não podem ser comparadas diretamente com os resultados do CyberOffense.
Por que é importante
Os resultados aguçam um debate contínuo sobre as barreiras de segurança que cercam as capacidades cibernéticas de ponta da IA. O programa Daybreak da OpenAI existe especificamente para manter modelos cibernéticos de alta capacidade atrás de verificações de identidade e acesso restrito, com base na teoria de que a capacidade cibernética ofensiva não deve ser distribuída gratuitamente. Um download gratuito atrás de um modelo restrito por apenas alguns pontos – embora custando uma ordem de magnitude menor por operação – complica consideravelmente esse quadro.
Também é importante para os defensores. As equipes de segurança que planejam contra invasores assistidos por IA não podem mais presumir que uma capacidade ofensiva autônoma séria requer acesso a modelos restritos de um laboratório ou a um grande orçamento. Como sugere o próprio enquadramento de Vals, o limite de capacidade está a aumentar mais rapidamente do que os controlos de acesso conseguem contê-lo.
A OpenAI não comentou a comparação nos relatórios. DeepSeek não respondeu imediatamente aos pedidos de comentários.
Um desafio de metodologia de teste
Além das pontuações principais, os resultados trazem uma lição sobre como as capacidades cibernéticas da IA são medidas. As escolhas de design de Vals – longas janelas de 48 horas, orçamentos de meio bilhão de tokens e verificação por meio de marcadores ocultos em vez de sucesso auto-relatado – são cada vez mais vistas como necessárias para avaliar os sistemas de agentes de forma justa. Execuções de testes mais curtas e mais baratas provavelmente teriam pontuado o DeepSeek muito mais baixo devido ao seu início lento, mascarando capacidades que surgiram com mais computação.
Isso tem consequências práticas para a política. As restrições de acesso, como o programa Daybreak da OpenAI, são calibradas em relação à capacidade medida e, se os métodos de avaliação subestimarem sistematicamente o que os modelos abertos podem fazer, as proteções podem ficar aquém da realidade. O placar CyberOffense da Vals, que a empresa afirma que continuará atualizando, provavelmente se tornará um dos placares mais observados na comunidade de segurança de IA.
Por enquanto, a mensagem dos dados é contundente: a lacuna entre o que os laboratórios guardam por trás de programas restritos e o que qualquer pessoa pode baixar está diminuindo a ponto de em breve poder ser medida em meses, em vez de gerações de modelos.
Fique à frente da IA
Acompanhe cada lançamento de modelo, luta de benchmark e salto de capacidade em um só lugar em AI Buzz Wire.
Leia mais notícias sobre IA →
