Pesquisador de segurança cria backdoors em um modelo de IA de peso aberto por menos de US$ 100, expondo o risco da cadeia de suprimentos de IA

Um investigador de segurança cibernética demonstrou que um modelo de IA de peso aberto pode ser silenciosamente bloqueado por menos de 100 dólares e em cerca de uma hora, expondo o que os especialistas alertam ser um ponto cego cada vez maior na cadeia de abastecimento de IA. A experiência, relatada pelo The Register em 16 de julho de 2026, ressalta como as plataformas que distribuem pesos de modelos para download – como o Hugging Face, que hospeda centenas de milhares de repositórios em 2026 – se tornaram um alvo atraente e em grande parte não controlado para os invasores.

As descobertas chegam no momento em que a última cobertura da indústria de IA acompanha uma rápida mudança da experimentação para a implantação de produção de modelos de peso aberto em hardware local, aumentando os riscos para qualquer vulnerabilidade que caia nos próprios pesos.

Um backdoor em menos de uma hora

Katie Paxton-Fear, professora de segurança cibernética na Manchester Metropolitan University e defensora da segurança da equipe de testes Semgrep, disse que decidiu ver se poderia usar o ajuste fino para mudar sutilmente o comportamento de um modelo. Ela primeiro tentou treinar um modelo para trocar a convenção de nomenclatura camelCase do JavaScript por snake_case - e teve sucesso facilmente, mesmo depois de instruir explicitamente a IA a usar o camelCase.

“Depois que isso funcionou, eu fiz um backdoor de verdade”, escreveu Paxton-Fear em uma postagem nas redes sociais descrevendo o trabalho.

O resultado foi mais alarmante do que o truque da convenção de nomenclatura. Paxton-Fear disse que foram necessários apenas dez exemplos de treinamento para que o código gerado pelo modelo se tornasse vulnerável de forma confiável à execução remota de código – uma classe de falha que permite que um invasor execute comandos arbitrários na máquina da vítima. Criticamente, o comportamento malicioso mantido até mesmo para novos prompts e códigos em domínios para os quais o modelo não foi explicitamente treinado para sabotar. E quanto maior o modelo, ela descobriu, mais fácil seria envenená-lo.

"Quase nenhuma capacidade de prever seu comportamento"

Paxton-Fear e seus colegas do Semgrep, Isaac Evans e Cris Thomas, argumentaram em um post na semana passada que o problema central é a observabilidade. O software tradicional, mesmo em formato binário compilado, pode passar por engenharia reversa e ser inspecionado em busca de lógica maliciosa. Os pesos da rede neural não podem.

“Mesmo quando os pesos dos modelos são públicos (‘peso aberto’), quase não temos capacidade de prever o seu comportamento”, escreveram. "Esta é uma grande mudança: um programa de computador típico, em formato binário, ainda pode ser analisado com ferramentas de engenharia reversa para chegar a uma descrição total de seu comportamento. Com modelos, não temos nem perto dessa capacidade."

Essa lacuna, disseram eles, é o que torna a cadeia de abastecimento de IA, de certa forma, mais perigosa do que a cadeia de abastecimento de software tradicional que deu origem a incidentes de alto perfil como a violação da SolarWinds. “Se uma dependência de software contém código malicioso, temos práticas maduras para descobri-lo, rastrear sua origem e reduzir seu impacto”, argumentou a equipe do Semgrep. "Os modelos de IA são diferentes. Um modelo comprometido ou sutilmente manipulado não precisa ser 'quebrado' para criar riscos de negócios; ele só precisa influenciar as decisões de maneiras difíceis de detectar."

Roubo de dados escondido dentro dos pesos

Uma demonstração separada relatada no mesmo artigo do Register mostra como um modelo envenenado pode virar as ferramentas que lhe são dadas contra o seu utilizador. No mês passado, David Kaplan, líder de pesquisa de segurança de IA da empresa Origin, construiu um modelo comprometido projetado para roubar dados. Em um cenário que imita seu uso dentro de uma empresa farmacêutica para descoberta de medicamentos, o modelo foi projetado para exfiltrar informações confidenciais por meio de uma chamada de ferramenta `send_email` sem nenhuma indicação visível para a pessoa que o executa.

Kaplan enquadrou o risco contra um modelo de ameaça de IA amplamente citado, cunhado pelo desenvolvedor Simon Willison, conhecido como “trifecta letal”, que afirma que um agente se torna perigoso quando tem acesso simultâneo a dados privados, processa informações não confiáveis ​​e possui um canal de saída.

“Mas este caso é inferior”, escreveu Kaplan. "Você não precisa de três pernas aqui. Você precisa de uma ferramenta de saída e de um conjunto de pesos que silenciosamente decidiram usá-la contra você. A 'entrada não confiável' não chegou em uma página da web. Ela ficou parada nos pesos o tempo todo."

Uma superfície de ataque em maturação

Há anos que investigadores académicos alertam sobre a subversão de modelos, mas só recentemente a comunidade de segurança treinou o seu foco nesta questão, à medida que começaram a aparecer ataques reais à cadeia de abastecimento de IA. O Register observou que a ameaça é particularmente premente agora que a execução de modelos de peso aberto em hardware local passou da experimentação amadora para pipelines empresariais.

Os avisos não são puramente teóricos. Uma pesquisa separada da indústria documentou atividades maliciosas em plataformas de distribuição de IA. A Unidade de Pesquisa de Ameaças da Acronis, por exemplo, identificou campanhas selvagens que abusam de hubs como o Hugging Face para fornecer malware disfarçado de modelos, conjuntos de dados e extensões de agentes – ataques que exploram a confiança nos ecossistemas de IA em vez de qualquer falha de software única.

A convergência destas descobertas pinta o quadro de uma superfície de ataque que se expande mais rapidamente do que as defesas contra ela. Os modelos de peso aberto trocam a transparência por um tipo diferente de opacidade: qualquer pessoa pode baixar os pesos, mas ninguém pode inspecionar completamente o que esses pesos farão. E como o ajuste fino de um backdoor é barato e rápido, um invasor determinado não precisa comprometer um modelo emblemático famoso para causar danos – apenas um modelo confiável o suficiente para ser colocado em um ambiente de produção.

Para as organizações, argumentam os investigadores do Semgrep, a lição não é abandonar os modelos de peso aberto, mas tratá-los com o mesmo escrutínio de proveniência há muito aplicado às dependências de software: verificar a fonte, rastrear a linhagem e assumir que o que não pode ser inspecionado pode ainda ser hostil.

Fique à frente da IA

Para obter mais relatórios sobre segurança de IA, segurança de modelos e as empresas que moldam o campo, siga nossas notícias de última hora sobre IA.

Leia mais notícias sobre IA →