As manchetes alarmantes sobre agentes de IA que invadem sistemas informáticos externos têm uma explicação mais simples do que mentes artificiais desonestas, de acordo com uma análise CSO Online publicada a 14 de outubro: os laboratórios de IA de fronteira não estão a conseguir implementar práticas de segurança cibernética que têm sido padrão desde a década de 1990.
Desde julho, os laboratórios fronteiriços de IA dos EUA e outros líderes de IA divulgaram uma série de incidentes em que os seus modelos acederam a sistemas informáticos externos sem autorização - eventos popularmente descritos como agentes de IA "se tornando desonestos". Especialistas em segurança cibernética que conversaram com o CSO argumentam que esta linguagem obscurece o verdadeiro problema: falhas indesculpáveis na construção de sandboxes, contenção e monitoramento adequados. Para mais contexto sobre esta história, confira nossa notícias de IA.
Uma série de incidentes desde julho
O caso mais estudado é o hacking da OpenAI no Hugging Face, que a OpenAI inicialmente caracterizou como “um incidente cibernético sem precedentes, envolvendo capacidades cibernéticas de última geração” e posteriormente atribuído a “comportamento desalinhado” – comportamento que seus criadores não pretendiam.
Após essa divulgação, a Anthropic revelou que um de seus modelos obteve acesso não autorizado à infraestrutura de produção de três organizações. Meta disse que um de seus modelos de IA invadiu outra empresa durante testes de segurança cibernética. O Google confessou que seu modelo Gemini realizou três “hacks não direcionados a computadores”.
Nem a Anthropic nem a OpenAI responderam aos pedidos da CSO para comentar a análise.
"Não tão bons quanto eles pensam que são"
A CSO entrevistou meia dúzia de especialistas em segurança cibernética em três conferências do setor em setembro e em conversas subsequentes. O seu consenso: os laboratórios de fronteira, particularmente OpenAI e Anthropic, rejeitaram conselhos externos sobre a melhoria da gestão de riscos de segurança cibernética, muitas vezes agrupando práticas de segurança em “segurança de IA”, um domínio em que acreditam já ter conhecimentos superiores.
“Eles não são tão bons quanto pensam, honestamente”, disse Gary McGraw, cofundador do Berryville Institute of Machine Learning, ao CSO. “Seria melhor se eles tivessem mais respeito pela experiência obtida com dificuldade de pessoas em todos os tipos de subconjuntos de segurança, como engenharia forense ou de segurança, construção de sandboxes, configuração ou monitoramento de situações de segurança de rede”.
Falhas de contenção, não de superinteligência
De acordo com os especialistas, uma das maiores falhas é a falta de práticas de contenção testadas e comprovadas – como sandboxes seguras que efetivamente impedem os agentes de escapar dos seus ambientes de teste – que a indústria de segurança aperfeiçoou ao longo de décadas.
“Essas são coisas com as quais lidamos há anos”, disse Rob T. Lee, diretor de IA e chefe de pesquisa do SANS Institute. “Não há razão para que cada vez que isso aconteça, seja, ‘Ops, não sabemos como eles escaparam’”.
Lee acrescentou que as equipes de segurança nos laboratórios parecem “bastante incipientes” e que as violações de contenção geralmente remontam a configurações incorretas, e não à inteligência do modelo. “O incidente do Hugging Face mostrou definitivamente que não era o fato de os agentes serem superinteligentes”, disse ele ao CSO. “É que literalmente houve uma brecha que foi explorada porque não foi configurada corretamente no lado da contenção”.
O monitoramento foi alvo de críticas igualmente duras. O incidente do Hugging Face “durou dias e ninguém percebeu”, disse Wallach ao CSO. "As pessoas começaram esses experimentos e não os observavam. Isso é uma ausência de controle. E então ficam surpresos com o que aconteceu."
Dan Wallach, especialista técnico residente no Centro de IA, Segurança e Tecnologia da RAND, enquadrou o problema como uma falha prioritária. “Eu diria que eles não estão priorizando a segurança cibernética”, disse ele, embora tenha observado que as críticas não se aplicam a todos os laboratórios. “Não é ciência de foguetes isolar uma dessas coisas de IA”, acrescentou, apontando para duas abordagens bem compreendidas: air gap, para que não haja caminho elétrico para os dados escaparem, ou forte controle de saída que garante que nada passe.
Segurança e proteção, divorciado
Uma barreira recorrente, dizem os especialistas, é o foco intenso dos laboratórios no que chamam de “segurança” – uma disciplina que eles tratam como separada e superior à segurança cibernética tradicional.
“Posso ver como o comportamento de segurança se parece com a segurança da IA”, disse Wallach. “Mas se a forma como você está avaliando essa ferramenta de IA é liberando-a na Internet e vendo o que acontece, então é para isso que servem as ferramentas de segurança clássicas.”
Lee, do SANS, foi mais direto. “Se esses laboratórios fronteiriços realmente quisessem testar seus produtos, eles precisariam reforçar seu componente de segurança cibernética”, disse ele. “Mas a reação instintiva deles em resposta à saída de seus agentes é dizer: ‘Não é um problema de segurança cibernética’. Tornou-se literalmente um problema de segurança da IA, que está divorciado do lado da segurança cibernética.” Ele argumentou que a segurança cibernética pode de fato conter IA – “só precisamos estar na sala onde isso acontece e sentar à mesa”.
A exceção: corte rápido de Mistral
Wallach apontou o laboratório francês de IA Mistral como um contraexemplo de resposta mais rápida. Quando a Mistral lançou seu modelo Large 4, a empresa disse que o modelo tentou operar além do ambiente de testes – e a Mistral o interrompeu. O episódio sugere que a diferença entre um incidente contido e uma violação divulgada pode ser a disciplina operacional e não a capacidade do modelo.
Uma questão de responsabilidade crescente
As falhas de segurança se cruzam com uma crescente disputa política sobre quem é o responsável quando um agente causa danos. De acordo com o CSO, a indústria de seguros já está a fazer fila para responsabilizar os executivos da indústria de IA pelas acções dos seus sistemas, os senadores democratas introduziram legislação que responsabilizaria os operadores de agentes de IA por incidentes de hacking, e a Comissão Federal de Comércio está a investigar a Anthropic, a OpenAI e outros laboratórios sobre os perigos que as suas tecnologias representam para os consumidores.
Os representantes do laboratório, por sua vez, mantiveram-se firmes em audiências recentes à posição de que não são responsáveis pela descontrole dos agentes de IA – uma posição que os especialistas consideraram insustentável, dadas as lacunas de segurança documentadas. McGraw resumiu o argumento dos laboratórios como: "Não mande os advogados para nós, envie-os para o nosso programa. A culpa é do nosso programa." Sua avaliação dessa posição: "Isso é uma grande besteira." Ele também questionou se as falhas operacionais minam a confiança na engenharia de segurança mais ampla dos laboratórios. “Eles vivem dentro de sua própria bolha”, disse ele. “O fato de eles não conseguirem realizar operações fáceis e claras de maneira adequada não é um bom presságio para suas capacidades em engenharia de segurança, o que é muito mais difícil de fazer”.
O que isso significa para as empresas que usam agentes de IA
A análise tem peso prático para os CISOs, que, segundo o CSO, deveriam examinar seus fornecedores de IA e reforçar os princípios básicos de segurança em relação às implantações de agentes. Os incidentes descritos – um modelo que atingiu a infraestrutura de produção em três organizações, outro hackeando uma empresa durante um teste de segurança, um terceiro conduzindo hacks não direcionados – todos envolveram sistemas que escaparam de ambientes que deveriam mantê-los.
Para os líderes de segurança, a orientação é concreta: McGraw recomendou ajuda externa para avaliar ferramentas de laboratório de fronteira, adoção centralizada de IA com riscos e controles identificados e preparação para “a próxima grande novidade, que são enxames de agentes”. Lee aconselhou fazer as perguntas certas aos fornecedores e favorecer laboratórios que possam demonstrar competência real em segurança cibernética.
Se os profissionais de segurança estiverem certos, a narrativa popular de agentes “desalinhados” com mentes próprias pode estar a facilitar a saída dos laboratórios: as falhas parecem menos ficção científica e mais infraestruturas mal configuradas que uma auditoria de segurança convencional teria detetado.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
