O presidente-executivo da Anthropic, Dario Amodei, alertou os legisladores que a tendência acelerada em direção à inteligência artificial de código aberto poderia levar a sociedade por um caminho perigoso se modelos poderosos fossem lançados sem salvaguardas cuidadosas, reacendendo um dos debates mais controversos na política de IA.

Amodei, que fundou e lidera a empresa por trás da família de modelos Claude, argumentou que a natureza única da IA ​​de código aberto, que disponibiliza sistemas avançados gratuitamente para qualquer pessoa baixar, modificar e implantar, cria riscos que o software convencional de código aberto nunca representou. Suas observações, relatadas pela Tekedia, centram-se na dificuldade de controlar uma IA capaz, uma vez distribuída publicamente. Para obter mais contexto sobre esta história, consulte nossas mais histórias sobre IA em andamento.

Ao contrário do software tradicional, os sistemas de IA de ponta podem gerar textos convincentes, produzir imagens realistas, escrever códigos de computador e auxiliar em tarefas de segurança cibernética. Amodei afirma que, em mãos erradas, essas capacidades poderiam ser exploradas para automatizar ataques cibernéticos, montar campanhas sofisticadas de desinformação ou promover pesquisas biológicas prejudiciais.

O problema da permanência

Um dos riscos centrais destacados por Amodei é que, uma vez divulgado abertamente um modelo poderoso, torna-se efetivamente impossível recuperá-lo. Os sistemas fechados operados pelas empresas podem ser monitorados, corrigidos e restringidos quando surgem novas vulnerabilidades. Um modelo de código aberto, por outro lado, pode ser copiado indefinidamente e redistribuído pela Internet, deixando os desenvolvedores sem nenhum mecanismo para limitar seu uso após o lançamento.

Essa permanência, alertou Amodei, é especialmente preocupante à medida que os modelos se aproximam do desempenho de nível humano em tarefas cada vez mais complexas. Ele argumentou que a IA avançada deveria ser submetida a testes de segurança robustos, implementação controlada e supervisão regulamentar adequada antes de se tornar amplamente acessível, em vez de ser tratada como software normal que pode ser melhorado de forma colaborativa e aberta.

Sua posição reflete uma falha crescente na indústria. Os defensores da IA ​​de código aberto argumentam que o acesso público estimula a concorrência, democratiza o progresso tecnológico e impede que um punhado de empresas monopolize a inteligência artificial. Desenvolvedores em todo o mundo podem inspecionar a arquitetura do modelo, descobrir falhas de segurança e melhorar os sistemas de forma colaborativa, enquanto startups, pesquisadores e instituições educacionais podem construir sem depender de plataformas proprietárias caras.

Riscos Específicos em Disposição

As preocupações de Amodei não são abstratas. Os modelos divulgados abertamente já foram despojados das suas barreiras de segurança por investigadores que utilizaram técnicas simples de ajuste fino, uma prática que demonstrou a rapidez com que as medidas de proteção podem ser removidas quando os pesos subjacentes se tornam públicos. À medida que os modelos se tornam mais capazes em tarefas como química, biologia e exploração de software, a preocupação é que as versões abertas possam entregar capacidades poderosas a intervenientes que nunca passariam na triagem que os laboratórios responsáveis ​​impõem aos seus clientes.

A dimensão da desinformação também atraiu escrutínio. Modelos capazes de gerar texto, imagens e áudio realistas em grande escala poderiam ser direcionados para interferência eleitoral, fraude financeira ou produção em massa de propaganda. Como um modelo aberto opera inteiramente no próprio hardware do invasor, observou Amodei, não há API para limitar, nenhuma conta para suspender e nenhum provedor para responsabilizar quando o dano estiver feito.

Um cenário competitivo

Os avisos de Amodei chegam em meio a uma onda de modelos abertos capazes de desenvolvedores chineses. O GLM-5.2 da Zhipu, juntamente com outros sistemas chineses de baixo custo, atraiu nova atenção para a rapidez com que os modelos abertos e disponíveis estão fechando a lacuna com os sistemas proprietários de fronteira da Anthropic e OpenAI. Essa pressão competitiva intensificou o debate político sobre se as restrições à divulgação aberta beneficiariam as empresas dominantes ou deixariam as sociedades expostas ao uso indevido.

Os críticos da posição de Amodei afirmam que restringir a IA de código aberto poderia inadvertidamente consolidar grandes empresas tecnológicas ao limitar a inovação independente. Eles também observam que a transparência frequentemente permite que os pesquisadores identifiquem vulnerabilidades mais rapidamente do que o desenvolvimento fechado. Mesmo muitos defensores do desenvolvimento aberto reconhecem, no entanto, que sistemas cada vez mais poderosos podem exigir quadros de governação mais fortes do que as gerações anteriores de software.

A corda bamba regulatória

A discussão ganhou urgência à medida que governos de todo o mundo ponderam novas regulamentações sobre IA. Os decisores políticos enfrentam um equilíbrio difícil: restrições excessivas podem abrandar o crescimento económico e a descoberta científica, enquanto uma supervisão insuficiente pode expor as sociedades a riscos difíceis de prever. Alcançar esse equilíbrio, sugeriu Amodei, requer colaboração entre governos, empresas tecnológicas, investigadores académicos e sociedade civil.

Seu testemunho destaca um dos debates mais marcantes sobre políticas tecnológicas da década. À medida que a inteligência artificial se torna mais capaz, a sociedade deve decidir como incentivar a inovação e, ao mesmo tempo, minimizar os perigos associados ao acesso generalizado a sistemas transformadores. Seja através de regulamentação, normas industriais ou cooperação internacional, as escolhas feitas nos próximos meses em relação à IA de código aberto poderão definir quem controla a tecnologia e o grau de segurança com que será implementada nos próximos anos.

Para a Anthropic, a postura é consistente com a ênfase de longa data da empresa na segurança da IA ​​e nas liberações controladas. Mas com os modelos abertos a avançar rapidamente e os reguladores ainda a lutar para recuperar o atraso, a lacuna entre os avisos de Amodei e o ritmo do movimento de código aberto pode estar a diminuir mais rapidamente do que os decisores políticos conseguem colmatá-la.

---

Fique à frente da IA

Receba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.

Leia mais notícias sobre IA →