A OpenAI publicou na quinta-feira seu relato mais detalhado sobre como detecta e interrompe a "destilação adversária" - o uso não autorizado dos resultados de um modelo de fronteira para treinar um sistema concorrente - e, de acordo com vários relatórios, começou a exigir que gateways e revendedores de terceiros obtenham sua aprovação antes de oferecer acesso direto aos seus modelos.

As medidas, descritas em uma postagem do blog OpenAI intitulada "Combate à destilação adversária" e coberta pela Semafor e eWeek, marcam um reforço significativo na forma como a empresa controla quem pode redistribuir as capacidades de seus modelos - uma mudança com consequências reais para os desenvolvedores, startups e empresas que acessam os sistemas OpenAI através de intermediários.

Por que a OpenAI trata a destilação como um problema de segurança

A destilação é uma técnica padrão de aprendizado de máquina na qual um modelo aprende com os resultados de outro. Por si só, observa a OpenAI, não é ilícito nem incomum. A preocupação da empresa é o que chama de destilação adversária: um actor que utiliza os resultados de um modelo de fronteira sem autorização para treinar outro modelo com capacidades semelhantes, e depois implementa-o sem salvaguardas comparáveis.

Na sua postagem no blog, a OpenAI argumenta que o risco é mais claro em domínios de dupla utilização, como segurança cibernética e biologia. Um modelo que ajude os defensores a encontrar vulnerabilidades de software poderia, uma vez que suas habilidades fossem transferidas para um sistema com proteções mais fracas, ajudar um invasor a explorá-las. “Um adversário pode destilar as capacidades cibernéticas de um modelo e usar o modelo resultante para ajudar a realizar ataques cibernéticos que o modelo original teria se recusado a ajudar”, escreveu a empresa.

Protegendo a Cadeia de Pensamento

No centro da defesa da OpenAI está o que ela chama de raciocínio protegido: as etapas intermediárias – a cadeia de pensamento – que um modelo gera internamente enquanto trabalha em direção a uma resposta. Esses rastros, explica a empresa, podem conter informações que a resposta final deixa de fora, tornando-os especialmente valiosos como dados de treinamento para o modelo de outro laboratório.

A OpenAI afirma que fortaleceu suas defesas contra a extração de traços de raciocínio no GPT-6.2 Astra e no GPT-6.2 Sol. Em uma avaliação adaptativa interna usando red-teaming automatizado, a empresa relatou que a taxa média de sucesso de ataque para recuperar o raciocínio protegido caiu de 54,0% contra o GPT-6 Astra com suas salvaguardas originais para 0,2% contra o GPT-6.2 Astra com as proteções atualizadas.

O que seu estudo cibernético interno descobriu

A empresa também compartilhou os resultados de um estudo interno sobre como as capacidades cibernéticas são transferidas durante a destilação. Os modelos dos alunos foram ajustados nas trajetórias produzidas pelos modelos dos professores que trabalham em tarefas de codificação e segurança cibernética defensiva. Os alunos treinados em traços de raciocínio exatos geralmente superaram os alunos treinados apenas em resumos de raciocínio, tanto após o ajuste fino supervisionado quanto – nos maiores orçamentos de inferência testados – após uma nova rodada de aprendizagem por reforço, de acordo com os benchmarks OpenAI exibidos ao lado da postagem.

A implicação é preocupante para quem espera que a transferência de capacidades possa ser contida através da publicação de resultados higienizados: mesmo as interações permitidas pelas políticas de utilização podem, em conjunto, ensinar a um modelo de aluno competências que se generalizam para além das tarefas que o professor executou originalmente.

Gateways e revendedores agora precisam de aprovação

As medidas técnicas chegam juntamente com uma mudança política. A partir de quinta-feira, a OpenAI exigirá roteadores e gateways de modelo de IA que forneçam a terceiros acesso direto aos seus modelos para obter aprovação prévia, informou a eWeek. O requisito baseia-se num anúncio feito pela empresa em outubro, estabelecendo como as proteções de segurança devem ser aplicadas quando os clientes acessam seus modelos diretamente ou através de parceiros de hospedagem e revendedores.

De acordo com o resumo dessa estrutura da eWeek, espera-se que os serviços participantes mantenham padrões comparáveis, para que os usuários não possam simplesmente mudar de provedor para evitar restrições. As medidas abrangem três fases: avaliações de risco e testes contra tentativas de contornar as salvaguardas antes da implantação; monitoramento durante o uso, com parceiros esperados para investigar atividades suspeitas; e etapas de aplicação após a ocorrência de violações. A Semafor caracterizou a mudança como a OpenAI aumentando seu controle sobre um ecossistema de revendedores que cresceu rapidamente em torno de sua API.

O que isso significa para os desenvolvedores

Para os desenvolvedores, o efeito prático é uma nova questão de conformidade a ser acrescentada à devida diligência do fornecedor: se um intermediário que oferece modelos OpenAI está realmente autorizado a fazê-lo. As empresas que direcionam o tráfego por meio de agregadores devem confirmar o status de aprovação de seu provedor e como ele lida com credenciais e dados, aconselhou a eWeek.

Para a indústria em geral, o anúncio é um sinal de que os fornecedores de modelos encaram cada vez mais o controlo das capacidades derivadas – e não apenas dos próprios modelos – como o perímetro que importa. As disputas de destilação surgiram em todo o campo nos últimos anos, e a OpenAI está agora a enquadrar a sua resposta não como uma disputa de licenciamento, mas como um requisito de segurança, alinhando as defesas da destilação com os controlos que aplica aos riscos biológicos e de cibersegurança.

O caminho a seguir

A OpenAI afirma que continuará estudando quanta capacidade é transferida entre diferentes modelos de alunos e receitas de destilação, e convida outros laboratórios a desenvolver seu trabalho de detecção e fiscalização. Se os rivais adoptarem regimes de aprovação de gateway comparáveis ​​– e se os utilizadores aceitarem o atrito adicional – ajudará a determinar como a próxima geração de sistemas de IA será construída, e quem está autorizado a construí-los.

Fique à frente da curva

Quer saber as últimas novidades sobre modelos de IA, segurança e políticas no momento em que acontecem? Siga as últimas notícias sobre IA no AI Buzz Wire.

Leia mais notícias sobre IA →