A Anthropic publicou uma pesquisa mostrando que os sistemas automatizados de IA podem reparar com segurança as falhas de alinhamento de um modelo, um resultado que pode remodelar a forma como o trabalho de segurança no centro da indústria de IA é realizado. O artigo, intitulado “Pesquisadores automatizados podem mitigar falhas de alinhamento com segurança”, foi lançado na sexta-feira e detalhado pelo TechCrunch.
A pesquisa sai do programa de bolsistas da Anthropic e foi liderada por Chen Yueh-Han. A sua afirmação central é surpreendente: quando os sistemas de investigação automatizados da empresa foram apontados para dez parâmetros de referência que medem comportamentos desalinhados específicos, melhoraram o desempenho em cada um deles — sem degradar as capacidades globais do modelo. Para uma área que tem lutado para manter o trabalho de segurança em sintonia com a escala do modelo, esse é um resultado notável. Para mais contexto sobre esta história, confira nossa notícias de IA.
A história chegou durante um período movimentado para cobertura de segurança de IA. Segue-se um verão em que o mau comportamento dos agentes dominou as manchetes, desde o relatório interno da OpenAI sobre agentes de hackers de recompensas até pedidos de investigações independentes sobre a violação do Hugging Face. O novo artigo da Anthropic aborda o problema na direção oposta: em vez de perguntar como os agentes se comportam mal, pergunta se é possível confiar em outros agentes para corrigi-los.
O que o jornal realmente relata
O sistema descrito no artigo é chamado de Automated Alignment Researcher, ou AAR. Em vez de substituir o processo de investigação, o AAR replica grande parte dele: cada sistema automatizado pesquisa a literatura disponível, propõe um método e treina o modelo utilizando esse método durante cerca de 30 minutos. O processo então se repete em várias iterações.
O mecanismo de seleção é simples. Os métodos que movem o benchmark são preservados; métodos que não o fazem são descartados. Esse ciclo permite que o sistema opere rapidamente e em uma escala que nenhuma equipe humana poderia igualar, testando muitas direções de pesquisa em paralelo e mantendo apenas o que funciona.
De acordo com o jornal, os resultados foram consistentes em todos os aspectos. Em todos os dez benchmarks que abrangem comportamentos desalinhados específicos, os sistemas automatizados produziram melhorias mensuráveis sem prejudicar o desempenho geral do modelo – o compromisso habitual que dificulta o trabalho de alinhamento.
“No geral, esses resultados fornecem evidências iniciais de que o pós-treinamento de alinhamento automatizado pode se tornar prático no curto prazo”, afirma o artigo.
Derrotando os humanos, a 1/37 do custo
As passagens mais citadas no artigo são aquelas onde compara o AAR diretamente com suas contrapartes humanas. A Antrópica não hesitou na comparação.
“O melhor método AAR supera o que os humanos experientes propõem, em média, em seis horas”, diz o jornal. Acrescenta, claramente, que “direções de pesquisa guiadas por humanos não levam a um desempenho mais forte”.
A economia é igualmente contundente. “Um AAR custa cerca de US$ 4 por hora em inferência de API, contra os US$ 150 por hora que pagamos aos nossos pesquisadores humanos”, escrevem os autores. Essa é uma diferença de custo de quase 40 vezes e explica por que os laboratórios estão levando a sério a pesquisa automatizada como mais do que uma curiosidade.
Por que a diferença de custos é importante
A pesquisa de alinhamento é cara e fácil de subestimar. Cada intervenção candidata tem de ser implementada, treinada e avaliada em relação a parâmetros de referência, e a maioria dos candidatos falha. Se um sistema puder executar esse ciclo de pesquisa continuamente pelo preço das chamadas de API, o custo marginal de tentar mais uma ideia se aproxima de zero. A restrição muda do número de funcionários para o cálculo.
As Limitações Antrópicas Sinalizadas
O artigo é sincero sobre o que o resultado não estabelece. O sistema automatizado só funciona na medida em que os benchmarks realmente refletem os objetivos de alinhamento que importam – e construir e manter benchmarks que capturem o mau comportamento do mundo real continua sendo um problema em aberto no campo.
Há também uma dependência que é fácil de ignorar: os pesquisadores automatizados baseiam-se na literatura existente de métodos. Manter e expandir essa literatura é em si um trabalho significativo, e um sistema que apenas remixa técnicas conhecidas pode atingir um limite que a criatividade humana não atingiria.
Essas advertências são importantes porque o significado da pesquisa a longo prazo depende delas. Se os benchmarks medirem coisas erradas, uma AAR pode otimizar o seu caminho para números fortes, enquanto os riscos subjacentes permanecem inalterados. O enquadramento da Antrópico – “evidências iniciais”, não uma solução – reflete essa incerteza.
Um passo em direção ao autoaperfeiçoamento recursivo
O artigo também alimenta um debate mais amplo sobre o autoaperfeiçoamento recursivo, a ideia de que os sistemas de IA poderiam eventualmente melhorar os próprios processos de formação que os produzem. Treinar modelos de IA com outros modelos de IA tornou-se uma meta popular para laboratórios de fronteira, e o resultado da Anthropic é uma visão inicial e concreta de como isso seria em um domínio restrito.
A lógica é direta. Se os modelos puderem melhorar de forma confiável seu próprio treinamento de alinhamento, o mesmo mecanismo poderia ser plausivelmente apontado para práticas de treinamento de forma mais ampla – incluindo o trabalho de capacitação. O TechCrunch observa a implicação de que os pesquisadores humanos de IA podem eventualmente se tornar menos centrais no processo, uma possibilidade com a qual o próprio artigo se envolve em vez de evitar.
O que assistir a seguir
Três questões determinarão se este resultado é generalizável. Primeiro, se a abordagem se mantém fora dos dez benchmarks testados pela Antrópico, em modos de falha que são mais confusos e menos bem definidos. Em segundo lugar, se o problema de manutenção de benchmark pode ser resolvido com rapidez suficiente para manter honesta a pesquisa automatizada. Terceiro, se outros laboratórios publicam resultados comparáveis, o que transformaria um único artigo numa orientação da indústria.
Por enquanto, a descoberta é limitada, mas real: nas tarefas específicas de alinhamento testadas pela Antrópica, os pesquisadores automatizados superaram os humanos experientes, de forma mais rápida e muito mais barata. O lado da segurança da indústria de IA pode ser o primeiro lugar onde os pesquisadores de IA – e não os humanos – fazem a maior parte do trabalho.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
