A Anthropic começou a dar a uma equipe da METR, a organização sem fins lucrativos que avalia modelos de IA de fronteira, “acesso semelhante ao de um funcionário” aos seus sistemas internos – hardware da empresa, espaço de escritório e ferramentas aproximadamente equivalentes às que suas próprias equipes de avaliação de risco usam – para que o grupo externo possa avaliar de forma independente os riscos dos modelos de fronteira da Anthropic e publicar o que encontrar.
O acordo, anunciado no blog da Anthropic na quarta-feira, vai além dos relacionamentos de auditoria que as empresas de IA normalmente toleram e vem com uma disposição que se destaca: o METR publicará os resultados de suas avaliações de risco, e a Anthropic não pode vetar a publicação.
O que realmente significa "acesso semelhante ao de um funcionário"
Seis funcionários do METR foram integrados com hardware da empresa, espaço de escritório e acesso a ferramentas e sistemas internos que a Anthropic descreve como praticamente equivalentes ao que suas próprias equipes de avaliação de risco recebem. Fora de um pequeno número de categorias claramente definidas – dados sobre clientes, informações privilegiadas entre advogados e clientes e informações sobre arquiteturas de modelos – a Anthropic diz que seus funcionários são incentivados a compartilhar informações com a equipe METR da mesma forma que fariam com um colega trabalhando no risco de alinhamento.
O envolvimento é deliberadamente estreito. Abrange uma pequena equipe que opera sob acordos executáveis, e outros funcionários do METR ficam isolados do trabalho dessa equipe – incluindo pesquisadores que colaboram com a Anthropic em outros projetos. A Anthropic observa que a configuração dá a algumas pessoas qualificadas, que trabalham sob os padrões de segurança da Anthropic, uma visão próxima de como a empresa opera; não é um canal para outras organizações obterem informações da Anthropic ou de seus clientes.
Direitos de publicação, com guarda-corpos
Pelo acordo, o METR publicará sua análise dos níveis de risco, incidentes ou práticas da Antrópica. A Anthropic não pode bloquear a publicação, mas pode exigir redações quando as informações se enquadram nas categorias predefinidas descritas acima – e a própria Anthropic decide o que se enquadra ou não nessas categorias. O METR, por sua vez, reserva-se o direito de fazer certas declarações sobre o nível de acesso e informação que recebeu, um contrapeso destinado a evitar que o poder de redação se transforme em um botão de silêncio.
Por que a Antrópica está se abrindo
A mudança segue um compromisso que a Antrópico assumiu no mês passado de uma avaliação independente mais forte de seus modelos e práticas de segurança por terceiros, e sua assinatura no Acordo da Casa Branca sobre Superinteligência, no qual as empresas de IA se comprometeram a fazer parceria com auditores ou avaliadores externos independentes. Também amplia um relacionamento existente: durante o ano passado, a Anthropic trabalhou com o METR em diversas revisões de seus Relatórios de Risco.
O METR não está sozinho no portfólio. A Anthropic diz que também está trabalhando com a SecureBio e a Accenture como avaliadores – o corpo docente da Accenture foi nomeado o primeiro avaliador integrado da empresa em setembro – e está em discussões iniciais com várias outras organizações, incluindo a Hugging Face. Essas parcerias em estágio inicial vêm com acesso à informação e direitos de publicação mais limitados, enquanto a empresa aprende que tipos de parceria funcionam.
A analogia da supervisão bancária
O próprio enquadramento da Antrópico toma emprestado das finanças. Os bancos sabem mais sobre as suas próprias posições de risco do que os estrangeiros, por isso os reguladores designam examinadores residentes para trabalhar dentro dos maiores bancos; se a assunção de riscos por parte de um banco puder ameaçar o público, terceiros tentam prever isso antecipadamente. A empresa posiciona a avaliação incorporada como a versão dessa lógica para a indústria de IA – um passo em direção a uma supervisão robusta da segurança em um campo onde o construtor sempre sabe mais do que o vigilante.
Subjacente a tudo isso está um objetivo declarado: diminuir a lacuna entre o que os avaliadores independentes entendem sobre os sistemas de uma empresa de IA de ponta e o que a própria empresa entende.
O que os avaliadores precisam
O anúncio também estabelece o que a Anthropic acredita que uma avaliação significativa exige: experiência na avaliação de capacidades de modelos de fronteira, incluindo a compreensão de como as avaliações podem dar errado devido a fenômenos como falsificação de alinhamento; independência, ou seja, ausência de equidade ou dependência financeira ou operacional da empresa avaliada; acesso suficiente para avaliar riscos de forma significativa, indo além dos modelos mais recentes, até a forma como foram treinados e como funcionam as salvaguardas; e liberdade para publicar observações e avaliações de um modelo ou processo.
Um caso de teste para toda a indústria
O arranjo será julgado pelo seu resultado. A primeira avaliação publicada pelo METR sob o novo regime de acesso mostrará se o acesso semelhante ao dos funcionários produz resultados reais ou relatórios cortados por categorias de redação definidas pela própria empresa. Os céticos notarão que a Anthropic controla os limites da categoria e que a equipe piloto é pequena; os apoiadores notarão que um direito de publicação que a Antrópico não pode vetar é genuinamente novo entre os laboratórios de fronteira.
De qualquer forma, a indústria está observando. Se o acesso incorporado do METR revelar descobertas materiais e as publicar sem problemas, o modelo torna-se o modelo óbvio para todos os laboratórios que assinaram o acordo da Casa Branca - e uma referência para os decisores políticos que avaliam se a supervisão voluntária pode substituir as auditorias obrigatórias. Para cobertura contínua da política de segurança de IA e das notícias do setor de IA que a moldam, o AI Buzz Wire acompanha cada desenvolvimento à medida que ele ocorre.
---
Fique à frente da IAReceba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
