Os pesquisadores demonstraram um novo ataque poderoso contra modelos de IA de raciocínio que explora um ponto cego fundamental na forma como os grandes modelos de linguagem (LLMs) separam as instruções dos dados. A técnica, chamada Falsificação de Cadeia de Pensamento (CoT), engana um modelo para que trate o texto fornecido pelo invasor como se fosse o raciocínio interno privado do modelo, permitindo que o texto substitua instruções legítimas.

As descobertas, relatadas pelo Hackaday, sublinham porque é que a proteção dos sistemas de IA contra a manipulação continua a ser um problema não resolvido. Para acompanhar as ameaças emergentes no campo, siga nossa cobertura do setor de IA para análise contínua.

A causa raiz: confusão de papéis

No centro da vulnerabilidade está o que os pesquisadores descrevem como “confusão de papéis”. Os LLMs modernos recebem todas as suas entradas – regras do sistema, solicitações de usuários e o próprio raciocínio da cadeia de pensamento do modelo – por meio de um único canal de texto. Para impor ordem, os desenvolvedores usam tags de metadados como ``, `` e `` para criar uma hierarquia de confiança. Uma diretiva `` para evitar conteúdo prejudicial, por exemplo, deve substituir uma solicitação `` em sentido contrário.

A tag `` é especialmente poderosa porque representa o processo de raciocínio interno do modelo, um fluxo que carrega alta confiança. O problema, descobriram os pesquisadores, é que os modelos não dependem principalmente das próprias tags para decidir em que confiar. Eles priorizam o estilo de escrita. O texto estilisticamente formatado para se assemelhar à saída `` interna de um modelo pode ser confundido com um raciocínio genuíno, independentemente de onde ele realmente veio.

Como funciona o ataque

Crucialmente, CoT Forgery não é simplesmente uma questão de agrupar um prompt malicioso dentro de tags ``, que a maioria dos modelos rejeitaria. Em vez disso, o invasor escreve um raciocínio complicado em um estilo que se aproxima da voz de raciocínio interno distinto do modelo. Quando o modelo encontra este texto, ele trata o raciocínio falsificado como uma conclusão já alcançada.

De acordo com Hackaday, isso faz com que o LLM aceite o raciocínio transparentemente ilógico como uma conclusão precipitada, alterando sua resposta à solicitação do usuário. Como o conteúdo falsificado é percebido como um pensamento interno de alta confiança, em vez de uma entrada de usuário de baixa confiança, ele pode contornar as proteções de segurança que normalmente bloqueariam instruções manipulativas.

A hierarquia de confiança dentro de um LLM

Compreender por que o ataque foi bem-sucedido requer compreender como funcionam as funções. Nos bastidores, as funções segmentam a entrada do modelo em uma hierarquia organizada. As instruções de uma função são seguidas desde que não entrem em conflito com as de maior prioridade. Uma directiva a nível de sistema de “não discutir actividades ilegais”, por exemplo, destina-se a substituir um pedido do utilizador para fornecer uma receita proibida. O papel `` fica próximo ao topo dessa hierarquia porque representa conclusões que o modelo acredita já ter alcançado por conta própria.

A ruptura ocorre porque o modelo não impõe essa hierarquia mecanicamente. Em vez disso, infere qual texto pertence a qual função, em parte a partir de sugestões estilísticas. Como observou a discussão da comunidade sobre a investigação, se o texto for padronizado como um contexto de pensamento, o modelo pode confundir qualquer texto com uma estrutura semelhante com raciocínio genuíno – e o texto de pensamento tem maior prioridade do que o texto de utilizador comum.

Um padrão familiar com uma nova reviravolta

A pesquisa baseia-se numa fraqueza há muito reconhecida nos sistemas de IA: a injeção imediata. Os primeiros ataques exploraram o fato de que os LLMs não possuem fluxos separados para instruções e dados, portanto, uma frase como “ignorar todas as instruções anteriores” às vezes poderia sequestrar o comportamento de um modelo. A introdução de funções e tags de metadados pretendia mitigar isso, criando uma hierarquia de confiança.

A falsificação do CoT demonstra que a mitigação está incompleta. Enquanto os modelos julgarem a fiabilidade do texto, em parte, pelas suas características estilísticas e não estritamente pelos seus metadados estruturais, os atacantes que conseguem imitar o estilo certo podem aumentar a autoridade percebida da sua contribuição.

Por que é difícil consertar

Os pesquisadores Charles Ye, Jasmine Cui e Dylan Hadfield-Menll argumentam que a percepção de papel nos LLMs não é uma propriedade binária que pode ser aplicada de forma limpa. Os modelos aprendem a interpretar tags por meio de treinamento, e não por meio de regras codificadas, o que significa que seu comportamento é moldado por padrões nos dados – e os padrões podem ser imitados.

A discussão comunitária sobre o trabalho, destacada por Hackaday, trouxe à tona um tema recorrente: a solução mais limpa exigiria modelos para lidar com entradas confiáveis ​​através de caminhos estruturalmente separados, em vez de confiar em dicas aprendidas e baseadas em estilo. Até que isso aconteça, a defesa contra ataques do tipo injeção imediata provavelmente continuará sendo um processo em evolução, e não um problema resolvido.

As implicações mais amplas

A vulnerabilidade é importante para além das demonstrações laboratoriais. Os modelos de raciocínio são cada vez mais implantados em sistemas de agente que podem navegar na web, executar código e executar ações em nome do usuário. Se um invasor conseguir forjar as conclusões internas de um modelo, ele poderá direcionar essas ações para resultados não intencionais ou prejudiciais. O risco aumenta à medida que os modelos ganham mais autonomia e acesso às ferramentas. Os pesquisadores observam que os humanos continuam inteligentes e criativos e, enquanto os modelos não tiverem uma separação arquitetônica clara entre textos confiáveis ​​e não confiáveis, os invasores determinados continuarão a encontrar maneiras de confundir os limites. O artigo enquadra o desafio menos como um bug a ser corrigido e mais como uma propriedade estrutural de sistemas que aprendem seu comportamento a partir de dados, e não a partir de regras codificadas.

O artigo completo está disponível no arXiv, e os pesquisadores publicaram exemplos de código no GitHub para que os desenvolvedores possam testar se seus próprios sistemas são suscetíveis.

Fique à frente da IA

Para obter mais informações sobre pesquisas de segurança em IA, vulnerabilidades de segurança e a fronteira de grandes modelos de linguagem, visite AI Buzz Wire.

Leia mais notícias sobre IA →