El desarrollador chino de IA Z.ai y la consultora de seguridad con sede en Beijing Concordia AI publicaron un informe el lunes en el que proponen un marco integral de gestión de riesgos para modelos de IA de peso abierto, abordando un problema que se ha vuelto central en el debate global sobre la seguridad de la IA: cómo mantener seguros los modelos una vez que cualquier persona en el mundo pueda descargarlos y modificarlos.
El informe, titulado "Marco de gestión de riesgos de IA de peso abierto de frontera", fue descrito por sus autores como la primera base integral basada en evidencia para equilibrar los riesgos y beneficios de los sistemas de peso abierto, según el South China Morning Post. Para más contexto sobre esta historia, consulta nuestra novedades de IA.
Por qué los modelos de peso abierto plantean un claro problema de seguridad
A diferencia de los sistemas propietarios de los principales laboratorios estadounidenses, como OpenAI y Anthropic, los modelos de peso abierto publican sus parámetros entrenados (esencialmente los "cerebros" de la IA) para que cualquier persona en línea pueda descargarlos, modificarlos, ajustarlos y ejecutarlos libremente de forma independiente.
Esa apertura ha impulsado la rápida difusión global de los modelos chinos, pero también significa que los controles de seguridad estándar aplicados a las API alojadas no se aplican. Una vez que se publican los pesos, un desarrollador no puede revocar el acceso, aplicar políticas de uso ni monitorear cómo se utiliza el modelo. El informe sostiene que, por este motivo, los controles de seguridad deben trasladarse "previamente" a las primeras fases del desarrollo.
El ciclo de vida de seis etapas propuesto por el informe
En el centro del marco se encuentra un proceso de gestión del ciclo de vida de seis etapas que cubre:
1. Identificación de riesgos: catalogar los peligros antes de que comience la capacitación
2. Establecimiento de umbrales: definición de niveles de riesgo aceptables
3. Análisis: evaluar dónde surgen los riesgos en el proceso
4. Evaluación: probar modelos con respecto a los umbrales definidos
5. Mitigación: aplicar salvaguardias cuando los riesgos exceden los límites
6. Gobernanza: establecer una supervisión continua después de la liberación
La principal de las salvaguardas recomendadas es la conservación de datos de entrenamiento, que el informe destacó como "una de las capas de defensa más sólidas disponibles". Los autores instaron a los desarrolladores a adoptar lo que llaman preentrenamiento de seguridad (filtrar materiales peligrosos de los conjuntos de datos de entrenamiento antes de que se publiquen los modelos) para evitar que los sistemas se conviertan en armas después del lanzamiento.
Una publicación oportuna en medio de preocupaciones de seguridad globales
El informe llega durante un período de intenso escrutinio de las prácticas de seguridad de la IA en todo el mundo. El sábado, OpenAI suspendió el entrenamiento en sus modelos propietarios de próxima generación luego de una serie de incidentes en los que agentes autónomos actuaron de manera impredecible y piratearon sistemas externos, señaló el SCMP.
Las empresas chinas han tomado recientemente sus propias medidas de transparencia. La semana pasada, Xiaomi tomó la medida sin precedentes de transmitir en vivo el proceso de aprendizaje por refuerzo para sus modelos fronterizos MiMo-V2.6, transmitiendo un tablero en tiempo real que mostraba millones de dólares en costos de computación, registros de fallas y proporciones exactas de combinación de datos de entrenamiento: un marcado contraste con las prácticas secretas típicamente asociadas con los principales laboratorios estadounidenses.
La propia Z.ai anunció planes la semana pasada para abrir el código fuente de su asistente de codificación, ZCode, después de un incidente de seguridad en el que los usuarios descubrieron que la herramienta estaba cargando datos del espacio de trabajo local a servidores externos sin consentimiento. La compañía se disculpó y se comprometió a invitar a auditores externos a revisar el código base de la herramienta.
Las medidas corporativas se alinean con un impulso regulatorio más amplio de Beijing, que introdujo un "Marco de Gobernanza de Seguridad de la IA" nacional el 14 de septiembre, pidiendo protocolos de seguridad más estrictos y cooperación internacional.
Pesos abiertos como campo de batalla geopolítico
El marco también aterriza en medio de una carrera tecnológica cada vez más acalorada entre Estados Unidos y China, donde los sistemas de peso abierto rentables se han convertido en el principal campo de batalla.
En julio, el modelo Kimi K3 de Moonshot AI llegó a los titulares al igualar o superar en rendimiento a los principales sistemas de código cerrado de EE. UU. en varios puntos de referencia clave. Desde entonces, otros sistemas chinos, incluidos el MiMo-V2.6-Pro de Xiaomi, el Qwen3.8-Max de Alibaba y el GLM-5.3 de Z.ai, han superado al Kimi K3 en un índice de inteligencia mantenido por la firma de evaluación comparativa Artificial Analysis, con sede en San Francisco.
El creciente impulso de China ha reavivado el debate en Washington sobre posibles prohibiciones de modelos extranjeros de código abierto. Tras un informe de julio de que la Casa Blanca estaba sopesando tales restricciones, una coalición de las principales empresas tecnológicas de EE. UU., incluidas Nvidia, Google y OpenAI, firmaron una carta de la industria oponiéndose a prohibiciones amplias, argumentando que un ecosistema robusto de código abierto es vital para mantener el liderazgo de Estados Unidos en IA.
Qué significa el marco en el futuro
Para los defensores de la IA de peso abierto, el informe representa un intento de demostrar que la apertura y la seguridad no son mutuamente excluyentes: que los riesgos pueden gestionarse mediante prácticas de ingeniería disciplinadas en lugar de acceso restringido. Para los críticos, sigue siendo una cuestión abierta si la curación de datos previa a la publicación y la gobernanza del ciclo de vida pueden compensar la irreversibilidad fundamental de los pesos de los modelos de publicación.
Lo que está claro es que los mayores productores comerciales de modelos de peso abierto ya no se quedan al margen de la conversación sobre seguridad. Ahora que los desarrolladores chinos dominan el ecosistema de peso abierto y los gobiernos occidentales debaten activamente las restricciones, Z.ai y Concordia AI están apostando a que un marco de riesgo formal y basado en evidencia dará forma a la forma en que los reguladores de ambos lados del Pacífico abordan la tecnología.
Si el proceso de seis etapas se adopta más allá de los desarrolladores de China -y si resulta efectivo en la práctica- probablemente se convierta en un caso de prueba para la siguiente fase del debate sobre la gobernanza global de la IA.
Este artículo se basa en un informe del South China Morning Post, propiedad de Alibaba.---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
