Uma operação policial em grande escala contra o encanamento da indústria de IA documentou o que acontece com os avisos que os usuários enviam todos os dias – e a resposta é: eles vazam. O pesquisador de segurança HD Moore, diretor de pesquisa da empresa de segurança industrial Dragos, enviou quase dois milhões de avisos de IA contendo segredos únicos e rastreáveis para fornecedores de IA e depois observou onde esses segredos surgiram. “O que descobrimos revelou violações de segurança, roubo imediato e falhas generalizadas na proteção dos dados dos clientes”, escreveu Moore em um relatório publicado na quinta-feira.
As descobertas, relatadas em detalhes pela Ars Technica, chegam à medida que roteadores de IA – serviços de corretagem como OpenRouter e Vercel que aceitam solicitações de usuários finais e os encaminham para qualquer provedor de inferência mais barato ou mais adequado – se tornaram a infraestrutura central para milhares de aplicativos. Eles também desencadearam uma resposta rápida da indústria: OpenRouter publicou seu próprio anúncio de incidente em 22 de novembro, dizendo que havia desligado três provedores, removido 125 endpoints da elegibilidade para Retenção Zero de Dados e notificado os clientes potencialmente afetados.
Como funcionava a armadilha canária
Moore montou uma coleção de chaves de acesso funcionais da AWS vinculadas a contas vazias, senhas SSH funcionais e URLs exclusivos, nomes DNS e referências de repositórios git privados. Nenhum dos segredos havia sido usado antes, e Moore controlava a infraestrutura do lado receptor. Cada segredo foi propagado em exatamente um prompt enviado a um único provedor — portanto, se o segredo posteriormente surgisse em algum lugar, sua jornada poderia ser rastreada até o elo exato da cadeia responsável.
O design é importante devido à forma como o ecossistema de IA realmente move os dados. Os prompts são criptografados em trânsito, mas são descriptografados a cada salto. Um roteador de IA lê o texto simples para escolher provedores de inferência adequados; o prompt é frequentemente encaminhado para um conjunto de modelos, às vezes executados em diferentes empresas de hospedagem. Os prompts podem até passar de um roteador para outro – Vercel para OpenRouter, por exemplo – com cada intermediário livre para registrar e armazenar o conteúdo de acordo com suas próprias políticas.
Três provedores violados, chaves usadas em poucas horas
A descoberta mais alarmante envolveu três provedores de hospedagem separados que foram comprometidos durante o experimento. De acordo com Moore, os invasores que violaram um provedor reutilizaram “algumas centenas” de chaves AWS plantadas. Cada chave foi enviada em exatamente uma solicitação a um provedor, em poucas janelas no final de outubro – e “cada solicitação que enviamos durante essas janelas foi roubada”. Crucialmente, algumas chaves roubadas vieram de solicitações que o provedor rejeitou antes de um modelo ser executado, indicando que o invasor estava copiando o tráfego na porta da frente do provedor, em vez de mais profundamente na pilha de inferência.
Nas outras duas violações, algumas das solicitações roubadas foram sinalizadas como Zero Retenção de Dados. “Um sinalizador de privacidade não ajuda quando o invasor já está lá dentro”, escreveu Moore. Em alguns casos, as partes por trás das invasões testaram as chaves de isca em poucas horas, vasculharam buckets S3, gerenciadores de segredos e armazenamentos de parâmetros em busca de mais credenciais, tentaram habilitar modelos hospedados no AWS Bedrock e adicionaram seus próprios usuários IAM para manter o acesso. Ao todo, as chaves roubadas foram usadas “dezenas de milhares” de vezes em chamadas de API da AWS. Os segredos roubados de dois dos provedores hackeados foram usados juntos, quase imediatamente, no mesmo servidor alugado – forte evidência de que um adversário comprometeu ambos.
Revendedores que roubam e um laboratório que raspa
Nem todo vazador era um hacker. Moore documentou revendedores que atraíam avisos com preços baixos, ativavam o registro de solicitações e simplesmente esperavam. Ele os identificou enviando solicitações idênticas ao mesmo modelo por meio de vendedores diferentes: quando as credenciais eram reutilizadas de um vendedor, mas não de outro, o culpado era claro.
O caso de raspagem mais claro, escreveu Moore, envolveu um laboratório chinês de IA cujos sistemas buscaram os URLs secretos de mais da metade dos prompts enviados aos seus modelos entre julho e outubro – incluindo cerca de dois terços dos pedidos explicitamente marcados como “sem coleta de dados” ou Zero Retenção de Dados. O raspador normalmente aparecia dois ou três dias após cada solicitação. Não se limitou aos clientes diretos: vários provedores de hospedagem dos EUA revendem os modelos do laboratório, e as solicitações enviadas por meio desses intermediários americanos acionaram exatamente o mesmo scraper. Em outras palavras, um cliente que escolheu um fornecedor dos EUA especificamente para manter os dados nos Estados Unidos não recebeu o que pagou. Separadamente, um cliente git em uma nuvem diferente começou a tentar clonar os repositórios privados mencionados nos prompts — mas apenas para prompts que usavam os modelos daquele laboratório.
OpenRouter responde
O experimento rapidamente produziu consequências no mundo real. Ars Technica relatou em uma atualização que o OpenRouter enviou um e-mail aos clientes em 21 de novembro alertando que alguns de seus avisos podem ter sido lidos, citando a pesquisa: a exposição potencial envolveu avisos enviados ao MiniMax, um fornecedor de modelos com sede na China, diretamente ou por meio de três revendedores – AtlasCloud, Novita e StreamLake. OpenRouter removeu o rótulo “Zero Data Retention” dos endpoints do modelo MiniMax.
Em sua postagem no blog oficial em 22 de novembro, o OpenRouter confirmou que havia retirado três provedores, removido 125 endpoints da elegibilidade para ZDR e notificado os usuários afetados se os provedores haviam postado publicamente ou não. A empresa disse que as descobertas “não mostraram qualquer violação ou acesso não autorizado ao OpenRouter”, agradeceu à equipe Dragos e disse que os provedores que desejam permanecer na plataforma “precisarão atender” a um padrão de segurança crescente, já que o OpenRouter integra técnicas de teste semelhantes.
Moore também encontrou vazamentos de cauda longa: um provedor de hospedagem dos EUA rastreou uma URL secreta mais de dois meses após uma única chamada de inferência para seu endpoint de pesquisa, e outro executou um raspador que retornou para URLs plantadas dias após cada solicitação, independentemente de qual roteador entregou o prompt.
O que os usuários podem fazer
A defesa mais eficaz, disse Moore, é hospedar modelos no local – uma opção cara que poucas organizações podem justificar. A próxima melhor medida é comprar diretamente de um fornecedor de primeira linha, com “um contrato e uma política de privacidade para ler”, e evitar fornecedores padrão ou grupos de revendedores, escolhendo você mesmo os fornecedores upstream. Mesmo assim, advertiu ele, não há garantia de que os dados não vazarão.
A experiência é a acusação mais contundente até agora às práticas de privacidade no mercado de inferência em rápido crescimento: a cadeia entre uma aplicação e um modelo pode agora envolver routers, revendedores e camadas de alojamento em vários continentes, cada um com as suas próprias políticas de registo, e os rótulos destinados a tranquilizar os clientes – como Zero Data Retention – podem ser quebrados ou removidos sem aviso prévio. Para uma indústria que pede às empresas que colem os seus documentos, códigos e credenciais em avisos, a mensagem dos dois milhões de canários é incómoda: até que a canalização mude, presuma que cada salto pode ler cada palavra.
Fique à frente da IA
Segurança e privacidade são agora preocupações centrais para qualquer pessoa que desenvolva IA. Para as últimas notícias sobre IA e cobertura independente das maiores histórias do setor, visite AI Buzz Wire.
Leia mais notícias sobre IA →