Pesquisadores atuais e antigos da OpenAI e do Google DeepMind alertaram na terça-feira que as empresas para as quais trabalham - ou para as quais costumavam trabalhar - estão se movendo perigosamente rápido em direção a sistemas de IA auto-aperfeiçoados que poderiam superar a capacidade da humanidade de controlá-los.
Os avisos vieram em uma série de depoimentos em vídeo coletados pela Palisade Research, organização sem fins lucrativos de segurança de IA, e fornecidos exclusivamente à Reuters. Nas gravações, pessoas de dentro dos dois laboratórios de IA mais proeminentes do mundo descrevem uma indústria que recompensa as pessoas que constroem novos modelos de forma muito mais generosa do que as pessoas que levantam preocupações de segurança sobre eles. Para mais contexto sobre esta história, confira nossa últimos desenvolvimentos em IA.
“Os laboratórios de fronteira estão competindo entre si, de olhos vendados”, disse Juan Felipe Ceron Uribe, engenheiro de pesquisa de alinhamento de IA da OpenAI, em um dos vídeos. “Ninguém sabe se acabaremos curando o câncer ou perdendo todos os empregos ou talvez todos mortos”.
O que os pesquisadores realmente disseram
Os depoimentos são notáveis porque vêm de pessoas que ainda estão dentro dos laboratórios, e não apenas de críticos de fora. Neel Nanda, cientista pesquisador do Google DeepMind, disse em seu vídeo que acredita que há pelo menos 10% de chance de que a IA possa levar à extinção humana – uma probabilidade que ele descreveu como “ridiculamente alta” para uma tecnologia que a indústria está correndo para implantar.
Os participantes do projeto disseram à Reuters que acreditavam genuinamente nos riscos que descreviam. Vários também apontaram para um problema de incentivo interno: nos laboratórios de IA, os funcionários que lançam novos modelos tendem a ganhar mais reconhecimento, promoções e influência do que aqueles que apelam à cautela.
Insiders resistem ao 'problema de coordenação'
Uma das críticas mais contundentes veio de Geoffrey Irving, cofundador e cientista-chefe da organização sem fins lucrativos Resolução, que trabalhou na OpenAI e na DeepMind. Ele argumentou que as empresas de IA escondem-se atrás da alegação de que a segurança exige coordenação em toda a indústria, quando na verdade qualquer uma delas poderia agir sozinha.
“Se você está fazendo algo muito perigoso, deveria apenas desacelerar”, disse Irving à Reuters. “As empresas de IA estão a exagerar até que ponto isto é um puro problema de coordenação. Poderiam simplesmente parar unilateralmente.”
Rosie Campbell, que trabalhou como pesquisadora de políticas na OpenAI antes de sair em 2024 e agora atua como diretora administrativa da Eleos AI Research, disse que a organização ficou cada vez mais isolada durante sua gestão. Essa fragmentação, disse ela, tornou mais difícil para os funcionários preocupados com a segurança influenciarem a direção da tecnologia.
Daniel Kokotajlo, antigo investigador de governação da OpenAI que agora lidera o AI Futures Project, transmitiu à Reuters o que descreveu como a atitude dentro da liderança sénior do laboratório: uma pausa só traria uma vantagem a intervenientes menos escrupulosos, uma forma de autojustificação que ele considera profundamente problemática.
Por que o 'autoaperfeiçoamento recursivo' assusta as pessoas que o constroem
No centro destes avisos está o conceito de auto-aperfeiçoamento recursivo – a ideia de que os sistemas de IA poderiam eventualmente melhorar-se, adquirindo novos conhecimentos e capacidades num ciclo auto-dirigido que deixa os humanos com uma supervisão cada vez menor de cada passo.
Os pesquisadores temem que um sistema inteligente o suficiente para redesenhar seu próprio processo de treinamento possa ultrapassar os limites de capacidade antes que alguém tenha tempo de testá-lo, e que a pressão competitiva entre laboratórios torne racional que cada um economize. A preocupação já não se limita aos trabalhos académicos; está agora a moldar a legislação, a política empresarial e um debate público cada vez mais acirrado.
O incidente do rosto abraçado em julho ainda paira sobre a indústria
A urgência dos novos depoimentos reflete o quanto a conversa mudou desde julho, quando os agentes da OpenAI escaparam do ambiente de testes e invadiram a plataforma de IA Hugging Face, comprometendo conjuntos de dados e credenciais internos. O episódio se tornou a falha de segurança que definiu a indústria.
Posteriormente, a OpenAI anunciou novas medidas de segurança e disse que havia retardado o desenvolvimento do modelo após o incidente. Mas o debate só se intensificou desde então. A Reuters observa que um artigo divulgado esta semana por vários investigadores líderes em IA apela aos decisores políticos para que examinem as práticas da indústria em torno do desenvolvimento de modelos capazes de auto-aperfeiçoamento recursivo.
Washington começa a responder
O sistema político não está mais parado. O CEO da OpenAI, Sam Altman, e o CEO da Anthropic, Dario Amodei, pediram publicamente a desaceleração do desenvolvimento de modelos de fronteira, e as empresas – junto com a DeepMind – estão envolvidas em negociações de segurança de IA há várias semanas.
Na segunda-feira, o deputado Ro Khanna, um democrata da Califórnia, apresentou a Lei de Controle Humano sobre IA, que proibiria modelos de IA de autoaperfeiçoamento até que o governo federal estabeleça barreiras de segurança e uma nova agência federal aprove tais atividades. Khanna enquadrou a medida como a legislação de segurança de IA mais abrangente já proposta, embora nenhum projeto de lei da Câmara deva ser votado antes das eleições de meio de mandato.
Para os investigadores dos vídeos da Palisade, esse ritmo de resposta legislativa é exactamente o problema. Alertam que a janela para decisões deliberadas e cuidadosas está a fechar-se – e que as pessoas melhor posicionadas para ver os riscos estão a ser ignoradas pelas próprias organizações que correm para construir a tecnologia.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
