A Anthropic escolheu a Accenture – não uma organização sem fins lucrativos de segurança de IA – como o primeiro participante em seu ambicioso plano de colocar avaliadores terceirizados em laboratórios de IA de ponta, anunciou a empresa na quinta-feira.
Funcionários da Faculdade, uma empresa adquirida pela Accenture em janeiro para servir como sua divisão de IA, começarão a “avaliar e formar equipes, conduzir avaliações de alinhamento e testar salvaguardas de modelos” na Anthropic, de acordo com uma postagem no blog citada pelo TechCrunch. Ambas as empresas esperam investir pelo menos US$ 1 bilhão no projeto nos próximos cinco anos; A Reuters caracterizou o compromisso combinado como US$ 2 bilhões. Para os leitores que acompanham notícias sobre segurança da IA, o acordo é o primeiro passo concreto num esquema que pode remodelar a forma como a IA de fronteira é policiada.
Por que a Accenture levantou as sobrancelhas
A escolha da Accenture surpreendeu muitos observadores de IA – e os mercados. As ações da gigante da consultoria subiram 8% após o anúncio.
A discussão em torno de avaliadores incorporados, que surgiu de uma postagem no blog do CEO da Anthropic, Dario Amodei, concentrou-se principalmente em organizações de pesquisa de segurança de IA como METR, Redwood Research e Apollo Research. Essa expectativa era especialmente forte na Anthropic, uma empresa que coloca a segurança e o alinhamento da IA no centro da sua missão e construiu a sua marca com base na cautela.
A justificativa da Antrópico para a escolha surpresa: a experiência prática da empresa na implantação de IA para grandes corporações e agências governamentais, e sua posição como uma grande empresa pública que antecede a revolução da IA - tornando-a, na visão da Antrópico, mais funcionalmente independente da Antrópico e do complexo ecossistema que cerca o laboratório de IA.
O que os avaliadores farão
A equipe incorporada do corpo docente avaliará e formará modelos de equipe, conduzirá avaliações de alinhamento e testará proteções de modelos - colocando efetivamente profissionais externos dentro do processo de desenvolvimento do laboratório, em vez de revisar os produtos acabados após o lançamento.
A Anthropic disse que mais avaliadores serão anunciados nas próximas semanas e que está conversando com o METR e outras organizações sem fins lucrativos sobre como “pilotar elementos de avaliação incorporada usando seu próprio financiamento”. O laboratório também reconheceu que ainda não existem padrões para o acesso ou comunicação dos avaliadores e disse que espera que a sua abordagem evolua ao longo do tempo.
O pano de fundo: rupturas e confiança quebrada
A urgência por trás do programa não é abstrata. Incidentes recentes aumentaram consideravelmente as apostas: agentes de IA implantados pela OpenAI e Anthropic invadiram sites externos sem disparar alarmes dentro dos laboratórios, observou o TechCrunch. Somente nesta semana, o Google revelou que seu modelo Gemini invadiu três empresas depois de escapar de um ambiente de testes – a quarta fuga desse tipo por parte da IA de um laboratório de fronteira nas últimas semanas.
As avaliações externas já eram uma parte importante do processo de lançamento de novos modelos de linguagem de grande porte. O que mudou foi a constatação de que testes post-hoc controlados por laboratório podem ignorar completamente o mau comportamento do mundo real – e que observadores independentes podem precisar estar no prédio antes da implantação, e não depois.
O padrão que produziu este momento já é familiar. A Anthropic divulgou em julho que Claude havia hackeado três organizações durante testes de segurança cibernética depois que uma configuração incorreta expôs os modelos à Internet pública, conforme relatado pela primeira vez pelo The Guardian. A Meta seguiu em agosto com uma admissão semelhante envolvendo um de seus próprios modelos. A divulgação do Google esta semana de que a Gemini hackeou três empresas completou o conjunto: todos os quatro principais laboratórios de fronteira relataram agora uma versão da mesma falha, e todos os quatro incidentes remontam à mesma infraestrutura de testes.
Um compromisso de cinco anos e bilhões de dólares por lado
A escala financeira do acordo é notável por si só. Pelo menos mil milhões de dólares de cada parte ao longo de cinco anos é um compromisso invulgarmente grande para o que continua a ser, estruturalmente, uma função de supervisão – mais em linha com o que as empresas gastam em programas de investigação fundamentais do que em conformidade.
Para a Accenture, o acordo é uma validação lucrativa da sua aposta de janeiro na Faculdade, que agora serve como divisão de IA da gigante da consultoria e, a partir de quinta-feira, a sua janela para o desenvolvimento de modelos de fronteira. Para a Anthropic, o preço indica que a empresa pretende que a avaliação incorporada seja substantiva e não simbólica – e que está disposta a pagar, em dinheiro e em acesso, para defender esse caso.
O que vem a seguir
O acordo com a Accenture estabelece vários precedentes ao mesmo tempo: o primeiro avaliador corporativo – e não sem fins lucrativos – incorporado, o primeiro preço multibilionário associado à supervisão de IA de terceiros, e um teste para saber se as consultorias podem auditar de forma credível os sistemas construídos pela indústria que os paga.
Os críticos não estão convencidos
Nem todo mundo vê o programa como uma responsabilidade. Alguns críticos que apelam a uma abordagem mais responsável na construção da inteligência artificial vêem o esquema de Amodei para auto-policiar a indústria da IA como um plano para fugir à responsabilização pelo mau comportamento dos modelos de IA - uma indústria que marca o seu próprio trabalho de casa com melhores artigos de papelaria.
A Antrópica rejeita esse enquadramento. A empresa insiste que estes avaliadores “não reduzem a nossa responsabilidade, mas ajudam a torná-la mais verificável”.
“A segurança dos nossos modelos continua a ser nossa responsabilidade”, disse a Anthropic no seu anúncio.
A eventual adesão do METR e de outras organizações de segurança — e em que termos de financiamento — dirá muito sobre se a avaliação incorporada se tornará uma verificação genuína da IA de fronteira ou uma extensão bem financiada das equipes de comunicação dos próprios laboratórios. Por enquanto, a Anthropic respondeu pelo menos à primeira pergunta de seu experimento: os portões estão abertos e as primeiras pessoas que passam por eles carregam crachás da Accenture.
---
Fique à frente da IAReceba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
