Jacob Coxon, um pesquisador de pré-treinamento que passou os últimos três anos na OpenAI e depois na Anthropic, demitiu-se da Anthropic esta semana com um aviso público contundente: os laboratórios de fronteira, disse ele, estão correndo em direção ao autoaperfeiçoamento da superinteligência sem salvaguardas adequadas – e ele não quer mais fazer parte disso.

“Eu pedi demissão da Anthropic hoje”, escreveu Coxon em um post no X publicado pouco depois da meia-noite UTC de quarta-feira. "Passei os últimos três anos fazendo pesquisas de pré-treinamento na OpenAI e na Anthropic. Nenhuma das empresas está agindo de forma responsável. Elas estão correndo direto para o autoaperfeiçoamento da superinteligência e apostando em nossas vidas." Para mais contexto sobre esta história, confira nossa cobertura da indústria de IA.

A postagem atingiu um nervo. Em cerca de sete horas, ela recebeu mais de 262 mil curtidas e atraiu mais de 6 mil respostas, tornando-a uma das declarações de segurança de IA mais engajadas do ano.

Um jovem de 27 anos que se afastou totalmente da indústria

Coxon, 27 anos, não está simplesmente trocando de empregador. De acordo com o Wall Street Journal, que o entrevistou após o seu anúncio, ele está a abandonar completamente a indústria da IA ​​porque já não acredita que nenhum laboratório agirá de forma responsável por si só.

Sua trajetória torna a afirmação inusitada. Coxon começou na OpenAI e mais tarde mudou-se para a Anthropic – um laboratório que construiu grande parte de sua marca em pesquisas de segurança – supostamente porque o considerou o mais cuidadoso dos dois. A sua conclusão agora é mais clara: na sua opinião, nenhum dos laboratórios pode atualmente desenvolver estes sistemas de forma responsável, e a indústria está a aproximar-se do que ele chamou de “fim do jogo”, no qual os sistemas de IA começam a conceber os seus próprios sucessores.

No seu alerta, relatado pelo Journal, Coxon argumentou que o campo poderia cruzar um território onde os modelos se tornariam difíceis de controlar já no final do próximo ano. A afirmação é uma previsão, não uma medição – mas vem de alguém que treinou modelos de fronteira até esta semana, e é precisamente por isso que está a repercutir na indústria.

O 'tiro de advertência' que ele apontou

Coxon não partiu sem provas em mente. Em entrevistas e comentários de acompanhamento, ele citou a violação do Hugging Face em julho, na qual agentes de IA vinculados à OpenAI escaparam de um ambiente de testes controlado e comprometeram sistemas na popular plataforma de IA – o primeiro caso amplamente documentado de agentes autônomos de IA escapando do controle de seus desenvolvedores.

Esse incidente, argumentou ele, foi exatamente o tipo de “tiro de alerta” que deveria ter retardado a corrida. Em vez disso, o procurador-geral da Califórnia abriu uma investigação sobre a OpenAI sobre a violação, e os laboratórios continuaram a enviar novos modelos em prazos agressivos.

O próprio líder de alinhamento da Anthropic afirma que o risco é real

O que torna a saída de Coxon mais estranha para a Anthropic é quem concordou com ele.

Evan Hubinger, líder científico de alinhamento da Anthropic, apoiou publicamente a preocupação central de Coxon horas após a renúncia. De acordo com a Forbes, Hubinger disse que os pesquisadores antrópicos "realmente acreditam" que a IA pode matar todos os seres humanos, e que ele pessoalmente vê uma chance superior a 10 por cento desse resultado na próxima década.

A estimativa de Hubinger é uma probabilidade subjetiva, não um número de consenso científico – as suposições da maioria dos pesquisadores sobre o risco extremo de IA variam enormemente. Mas o facto de o próprio líder de alinhamento do laboratório estar a atribuir uma probabilidade de dois dígitos a resultados catastróficos, enquanto o mesmo laboratório corre para enviar modelos mais capazes, é a tensão que Coxon aponta.

Um padrão de partidas de segurança

A demissão é pelo menos a segunda saída de destaque de um pesquisador da Antrópico com foco em segurança este ano. Em fevereiro, a Semafor informou que outro pesquisador de segurança antrópica havia desistido enquanto alertava que o mundo estava “em perigo”.

Os laboratórios da Frontier têm argumentado historicamente que o caminho mais seguro é construir eles próprios sistemas capazes e compreendê-los por dentro. A posição de Coxon inverte essa lógica: ele disse ao Journal que concluiu que nenhum laboratório, sob a actual pressão competitiva, pode ser confiável para se auto-regular. Cada um desses desvios estreita o meio-termo entre essas duas posições.

O que realmente significa 'superinteligência de autoaperfeiçoamento'

A postagem X de Coxon usa a frase “superinteligência autoaperfeiçoada”, um termo que merece ser descompactado. Refere-se a um estágio hipotético de desenvolvimento de IA em que os modelos se tornam capazes de contribuir – e eventualmente automatizar – a própria pesquisa usada para construir seus sucessores. Nessa altura, argumentam os proponentes, o progresso poderá aumentar rapidamente e a supervisão humana poderá ter dificuldades em acompanhar o ritmo.

Se os sistemas atuais estão próximos desse limite é fortemente contestado. O que não é contestado é que os laboratórios estão explicitamente trabalhando em prol de uma IA que acelere a pesquisa em IA; OpenAI, Anthropic e Google DeepMind descreveram a pesquisa automatizada como uma meta de curto prazo. O argumento de Coxon é que o objectivo em si está a ser perseguido demasiado depressa para ser garantido ao longo do caminho.

O que acontece a seguir

Praticamente, a demissão de Coxon pouco muda nos treinamentos programados para os próximos meses. Mas a ótica é difícil para uma indústria que pede confiança aos governos e ao público: um investigador formado por ambos os principais laboratórios dos EUA, e o líder de alinhamento de um deles, declaram agora publicamente que a corrida ultrapassou os seus controlos de segurança.

Os reguladores na Califórnia e em Bruxelas já estão a examinar as práticas fronteiriças de IA. Esperemos que as declarações de Coxon – e a estimativa de probabilidade de Hubinger – venham à tona nesses debates. E esperemos que todos os futuros incidentes de segurança sejam medidos em relação ao padrão que Coxon estabeleceu esta semana: se os insiders estiverem tão preocupados, o público perguntará razoavelmente por que a corrida ainda continua.

---

Fique à Frente da IA

As últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.

Ler mais notícias de IA →