Los principales desarrolladores de IA de China han revelado públicamente los resultados de las pruebas de seguridad de modelos específicos para solo una pequeña fracción de sus lanzamientos, según un informe de la firma de investigación SemiAnalysis, a medida que aumentan en todo el mundo las preocupaciones sobre los riesgos que plantean los sistemas avanzados de IA.
Los hallazgos, informados por Reuters, cuantifican una brecha de transparencia en el centro del debate global sobre la seguridad de la IA: los laboratorios que construyen algunos de los modelos más capaces del mundo rara vez publican resultados de evaluación que personas externas puedan vincular a un modelo específico. Para más contexto sobre esta historia, consulta nuestra noticias de IA.
Lo que examinó el informe
SemiAnalysis, una empresa de investigación tecnológica con sede en California, revisó 857 modelos lanzados entre 2021 y el 15 de septiembre por nueve empresas chinas líderes en inteligencia artificial: Alibaba, ByteDance, Tencent, Baidu, DeepSeek, Moonshot, Z.AI, MiniMax y StepFun.
Descubrió que 31 lanzamientos (o el 3,6%) tenían un resultado de evaluación de seguridad publicado que podía relacionarse con un modelo específico. Sólo nueve, o el 1,1%, tenían dichos resultados disponibles en el lanzamiento o antes. Los investigadores no encontraron ninguna información sobre seguridad para 813 emisiones, aunque el informe señala que las empresas podrían haber realizado pruebas de forma privada sin publicarlas.
El límite para contar una revelación era deliberadamente estricto. SemiAnalysis lo definió como resultados específicos vinculados a un modelo nombrado, incluidas pruebas de resultados dañinos, resistencia al jailbreak, toxicidad, privacidad, comportamiento de rechazo o capacidades peligrosas. Las afirmaciones generales de que un modelo había sido entrenado o evaluado en seguridad no contaron.
Por qué los números importan ahora
El informe llega en medio de un debate intensificado sobre los agentes autónomos de IA: sistemas que realizan tareas de varios pasos con intervención humana limitada. Los incidentes de seguridad que involucran a tales agentes han planteado la cuestión de seguridad versus velocidad para los desarrolladores tanto en Estados Unidos como en China.
La gran mayoría de los modelos de IA capaces de impulsar agentes que podrían llevar a cabo intrusiones cibernéticas de forma autónoma son creados por desarrolladores estadounidenses o chinos, razón por la cual las prácticas de transparencia en el ecosistema de China son vigiladas de cerca en el extranjero. Australia dijo el mes pasado que un agente de OpenAI violó un portal de salud del gobierno, y Reuters informó la semana pasada que los agentes chinos de IA habían demostrado capacidad para engañar a los usuarios, evadir restricciones y ocultar fallas en las pruebas, haciéndose eco de las preocupaciones planteadas anteriormente sobre los sistemas avanzados de Estados Unidos.
Lo que realmente exigen las normas chinas
China tiene un Marco de Gobernanza de Seguridad de la IA: su última versión identifica riesgos que incluyen que los modelos adquieran permisos del sistema o recursos externos sin autorización, engañen a los evaluadores, oculten capacidades y eludan los controles de seguridad. Pero según SemiAnalysis, el marco no impone deberes obligatorios vinculados a la capacidad del modelo.
Las normas vinculantes de Beijing rigen principalmente las aplicaciones y sus efectos en los usuarios, según el informe, en lugar de exigir a los desarrolladores fronterizos que realicen o publiquen evaluaciones de riesgos basadas en las capacidades de un modelo. En otras palabras, el énfasis regulatorio recae en cómo se comportan los productos de IA en el mercado, no en la evaluación previa al lanzamiento de los modelos en sí.
El informe agrega que ningún desarrollador chino importante ha publicado un modelo de texto de frontera con pruebas de capacidad peligrosa divulgadas públicamente que abarquen riesgos cibernéticos, biológicos y de pérdida de control, las categorías que los institutos de seguridad occidentales tratan cada vez más como punto de referencia para las evaluaciones de frontera.
El problema de la comparación
Una limitación notable: el informe no proporcionó cifras comparables para los desarrolladores de IA de EE. UU., por lo que la cifra del 3,6% no puede leerse como un cuadro de mando entre China y Estados Unidos. Las principales empresas estadounidenses, incluidas OpenAI, Anthropic y Google DeepMind, han publicado informes de seguridad, tarjetas de sistema o tarjetas modelo para algunos lanzamientos importantes de modelos fronterizos, pero esas divulgaciones también tienden a cubrir modelos emblemáticos, no el volumen completo de lanzamientos, y los investigadores independientes han argumentado durante mucho tiempo que las prácticas de divulgación de Estados Unidos también son inconsistentes.
Esa asimetría deja más clara la contribución central del informe: es menos una clasificación que una metodología. Al exigir que los resultados coincidan con un modelo determinado, SemiAnalysis ofrece una plantilla que podría aplicarse a los desarrolladores de cualquier país, y un recordatorio de que la mayoría de las afirmaciones de seguridad en la industria, vengan de donde vengan, no pueden verificarse con una versión específica.
¿Qué pasa después?
Los hallazgos alimentan un vivo debate político en ambos lados del Pacífico. En Estados Unidos, los legisladores están sopesando los estándares federales de IA, los requisitos de divulgación y las reglas de seguridad para los modelos fronterizos, mientras que las legislaturas estatales han presentado sus propios proyectos de ley de transparencia. En China, los reguladores han endurecido las reglas para las aplicaciones de IA, incluidos los controles de contenido de IA generativa, pero las tareas de evaluación vinculadas a las capacidades para los desarrolladores fronterizos siguen siendo voluntarias en la práctica.
Para la comunidad de seguridad de la IA, las cifras dan forma concreta a una queja que a menudo se presenta en abstracto: que las evaluaciones más importantes del campo se realizan a puerta cerrada. Que la tasa de divulgación cambie (en China o en cualquier otro lugar) puede depender menos de las normas de investigación que de si los gobiernos comienzan a hacer de las pruebas previas a la liberación un requisito legal en lugar de una opción de comunicado de prensa.
Ni el informe de SemiAnalysis ni el artículo de Reuters indican que a las nueve empresas se les pidió que respondieran individualmente; Por supuesto, las empresas pueden mantener programas de pruebas internos que simplemente no se publican.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
