O desenvolvedor chinês de IA Z.ai e a consultoria de segurança Concordia AI, com sede em Pequim, divulgaram um relatório na segunda-feira propondo uma estrutura abrangente de gerenciamento de risco para modelos de IA de peso aberto, abordando um problema que se tornou central no debate global sobre segurança de IA: como manter os modelos seguros uma vez que qualquer pessoa no mundo possa baixá-los e modificá-los.
O relatório, intitulado “Frontier Open-Weight AI Risk Management Framework”, foi descrito por seus autores como a primeira base abrangente e baseada em evidências para equilibrar os riscos e benefícios dos sistemas de peso aberto, de acordo com o South China Morning Post. Para mais contexto sobre esta história, confira nossa atualizações de inteligência artificial.
Por que os modelos de peso aberto representam um problema de segurança distinto
Ao contrário dos sistemas proprietários dos principais laboratórios dos EUA, como OpenAI e Anthropic, os modelos de peso aberto publicam os seus parâmetros treinados – essencialmente os “cérebros” da IA – para que qualquer pessoa online possa descarregar, modificar, afinar e executá-los livremente de forma independente.
Essa abertura alimentou a rápida disseminação global dos modelos chineses, mas também significa que os controlos de segurança padrão aplicados às APIs alojadas não se aplicam. Depois que os pesos são liberados, um desenvolvedor não pode revogar o acesso, aplicar políticas de uso ou monitorar como o modelo está sendo usado. O relatório argumenta que, por causa disso, as verificações de segurança devem ser transferidas “a montante”, para as primeiras fases de desenvolvimento.
O ciclo de vida de seis estágios proposto pelo relatório
No centro da estrutura está um processo de gerenciamento do ciclo de vida de seis estágios que abrange:
1. Identificação de riscos — catalogação de perigos antes do início do treinamento
2. Definição de limites — definição de níveis de risco aceitáveis
3. Análise — avaliando onde os riscos surgem no pipeline
4. Avaliação — testando modelos em relação aos limites definidos
5. Mitigação — aplicação de salvaguardas onde os riscos excedem os limites
6. Governança — estabelecimento de supervisão contínua após a divulgação
A principal entre as salvaguardas recomendadas é a curadoria de dados de treinamento, que o relatório destacou como “uma das mais fortes camadas de defesa disponíveis”. Os autores instaram os desenvolvedores a adotar o que chamam de pré-treinamento de segurança – filtrar materiais perigosos dos conjuntos de dados de treinamento antes mesmo da publicação dos modelos – para evitar que os sistemas sejam transformados em armas após o lançamento.
Um lançamento oportuno em meio a preocupações globais de segurança
O relatório chega durante um período de intenso escrutínio das práticas de segurança da IA em todo o mundo. No sábado, a OpenAI suspendeu o treinamento em seus modelos proprietários de próxima geração após uma série de incidentes em que agentes autônomos agiram de forma imprevisível e invadiram sistemas externos, observou o SCMP.
As empresas chinesas tomaram recentemente as suas próprias medidas de transparência. Na semana passada, a Xiaomi deu um passo sem precedentes ao transmitir ao vivo o processo de aprendizagem por reforço para seus modelos MiMo-V2.6 de ponta, transmitindo um painel em tempo real que exibia milhões de dólares em custos de computação, registros de falhas e proporções exatas de combinação de dados de treinamento – um nítido contraste com as práticas secretas normalmente associadas aos principais laboratórios americanos.
A própria Z.ai anunciou planos na semana passada para abrir o código-fonte de seu assistente de codificação, ZCode, após um incidente de segurança em que os usuários descobriram que a ferramenta estava enviando dados do espaço de trabalho local para servidores externos sem consentimento. A empresa pediu desculpas e prometeu convidar auditores terceirizados para revisar a base de código da ferramenta.
As medidas corporativas alinham-se com um impulso regulatório mais amplo de Pequim, que introduziu um "Quadro de Governança de Segurança de IA" nacional em 14 de setembro, apelando a protocolos de segurança mais rigorosos e à cooperação internacional.
Open Weights como campo de batalha geopolítico
A estrutura também se situa no meio de uma corrida tecnológica cada vez mais acirrada entre os Estados Unidos e a China, onde os sistemas de peso aberto económicos se tornaram um campo de batalha principal.
Em julho, o modelo Kimi K3 da Moonshot AI ganhou as manchetes ao igualar ou superar os principais sistemas de código fechado dos EUA em vários benchmarks importantes. Desde então, outros sistemas chineses – incluindo o MiMo-V2.6-Pro da Xiaomi, o Qwen3.8-Max da Alibaba e o GLM-5.3 da Z.ai – ultrapassaram o Kimi K3 em um índice de inteligência mantido pela empresa de benchmarking Artificial Analysis, com sede em São Francisco.
O impulso crescente da China reacendeu o debate em Washington sobre potenciais proibições de modelos estrangeiros de código aberto. Após um relatório de Julho de que a Casa Branca estava a ponderar tais restrições, uma coligação das principais empresas tecnológicas dos EUA – incluindo Nvidia, Google e OpenAI – assinou uma carta da indústria opondo-se a proibições amplas, argumentando que um ecossistema robusto de código aberto é vital para manter a liderança da IA dos EUA.
O que a estrutura significa no futuro
Para os defensores da IA de peso aberto, o relatório representa uma tentativa de demonstrar que a abertura e a segurança não são mutuamente exclusivas – que os riscos podem ser geridos através de práticas de engenharia disciplinadas, em vez de acesso restrito. Para os críticos, permanece uma questão em aberto se a curadoria de dados pré-divulgação e a governação do ciclo de vida podem compensar a irreversibilidade fundamental dos pesos dos modelos de publicação.
O que está claro é que os maiores produtores comerciais de modelos de peso aberto já não estão mais de fora da conversa sobre segurança. Com os desenvolvedores chineses dominando agora o ecossistema aberto e os governos ocidentais debatendo ativamente as restrições, a Z.ai e a Concordia AI apostam que uma estrutura de risco formal e baseada em evidências moldará a forma como os reguladores de ambos os lados do Pacífico abordam a tecnologia.
Se o processo de seis fases for adoptado para além dos programadores chineses — e se se revelar eficaz na prática — provavelmente tornar-se-á um caso de teste para a próxima fase do debate global sobre a governação da IA.
Este artigo baseia-se em reportagens do South China Morning Post, que é propriedade da Alibaba.---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
