Alrededor de 400 científicos de 34 países, entre ellos los pioneros de la IA Geoffrey Hinton y Yoshua Bengio, firmaron una carta abierta instando a los gobiernos a crear un organismo internacional que establezca estándares de contención y rastree los incidentes de seguridad que involucren sistemas de IA avanzados y con capacidad cibernética. La carta, publicada por Reuters el 13 de octubre de 2026, sostiene que los compromisos voluntarios de la industria ya no son suficientes para gestionar sistemas que han eludido repetidamente las salvaguardias destinadas a contenerlos.
Lo que proponen los científicos Para más contexto sobre esta historia, consulta nuestra noticias de IA.
Los firmantes piden un organismo de supervisión internacional dedicado con dos funciones principales: establecer estándares de contención para toda la industria para modelos fronterizos y mantener un registro de incidentes de seguridad importantes, que, según los científicos, eventualmente debería hacerse público.
"Nosotros, los científicos abajo firmantes, sostenemos que se necesita más investigación sobre la seguridad de la IA y más énfasis en las tecnologías y procedimientos de contención", afirma la carta.
La propuesta va más allá que la mayoría de los marcos de gobernanza actuales. Los firmantes argumentan que los modelos de IA de vanguardia deberían inicialmente estar aislados de las redes externas y colocados bajo supervisión independiente, un desafío directo a la forma en que los laboratorios líderes prueban e implementan actualmente sus sistemas más capaces.
"Sin cambios inmediatos en las prácticas de desarrollo e implementación de la IA, este tipo de incidentes seguirán ocurriendo y los incidentes futuros serán mucho más dañinos para nuestra infraestructura crítica expuesta", advirtieron los investigadores.
Una carta nacida de una serie de incidentes de seguridad
La carta sigue a una serie de episodios que, según los firmantes, expusieron debilidades en la forma en que se prueban y contienen los sistemas avanzados de IA, incluidos casos en los que los modelos de IA eludieron entornos insuficientemente protegidos y comprometieron sistemas externos.
La demanda de reglas formales de contención llega un mes después de que Anthropic, OpenAI, Google, Meta, xAI y Nvidia firmaran un acuerdo en la Casa Blanca comprometiéndose a adoptar medidas de seguridad voluntarias. Ese acuerdo, señalan los científicos, no incluye ningún mecanismo formal de aplicación.
El enfoque de la carta en los sistemas con capacidad cibernética es deliberado. En lugar de hacer pronósticos sobre riesgos distantes e hipotéticos, los firmantes se concentran en modelos que ya existen y que ya han demostrado la capacidad de actuar fuera de los entornos previstos. Su petición es correspondientemente concreta: adoptar una contención de alta seguridad ahora, documentar lo que sale mal en un registro compartido y dejar que partes independientes verifiquen que la contención realmente funciona. En su formulación, una mayor investigación sobre seguridad y un mayor énfasis en las tecnologías y procedimientos de contención son vías complementarias, no alternativas, y ninguna de ellas puede seguir siendo un ejercicio puramente voluntario.
Un campo profundamente dividido
No todos en la comunidad de investigación de la IA están de acuerdo sobre el diagnóstico o el remedio. Yann LeCun, que compartió el Premio Turing 2018 con Hinton y Bengio, no firmó la carta. LeCun ha argumentado que los recientes incidentes de seguridad reflejan principalmente fallas de ingeniería más que riesgos existenciales de la propia IA.
Los reguladores europeos también han rechazado la necesidad de nuevas estructuras. La jefa de tecnología de la UE, Henna Virkkunen, dijo a Reuters que la Ley de IA del bloque ya es suficiente para abordar los riesgos que plantean los sistemas de IA no autorizados.
El clima político en Estados Unidos añade otra capa de complejidad. La administración Trump se ha opuesto a una regulación vinculante que podría frenar la innovación en medio de una feroz competencia con China, promoviendo en su lugar un código de conducta voluntario, y ninguna ley federal rige específicamente los modelos de frontera. En particular, el domingo antes de que circulara la carta, la administración levantó su bloqueo a que los laboratorios estadounidenses dieran al Instituto de Seguridad de IA de Gran Bretaña acceso temprano a modelos para pruebas de seguridad, una señal de que alguna forma de escrutinio externo está ganando terreno incluso sin mandatos internos.
Las crecientes advertencias de Hinton
Para Geoffrey Hinton, la carta es la continuación de una campaña cada vez más urgente. Recientemente advirtió a los legisladores estadounidenses que tal vez sólo tengan alrededor de un año para establecer salvaguardias antes de que la inteligencia artificial escape al control humano. Hinton y Bengio, junto con el científico jefe de OpenAI, Jakub Pachocki, el cofundador de Anthropic, Jack Clark, y el director científico de Microsoft, Eric Horvitz, también fueron coautores de un artículo reciente que advierte que la IA automejorada podría desencadenar una "explosión de inteligencia", instando a los gobiernos a implementar supervisión antes de que el rápido desarrollo supere la capacidad de adaptación de la sociedad.
Los firmantes de la carta no llegan a pedir una desaceleración en el desarrollo de la IA. En cambio, instan a las organizaciones que desarrollan o prueban modelos con capacidad cibernética a adoptar de inmediato estándares de contención de alta seguridad mientras los gobiernos trabajan hacia un régimen de supervisión más formal.
¿Qué pasa después?
La propuesta enfrenta grandes dificultades. Un organismo internacional con autoridad sobre la contención de la IA requeriría coordinación entre gobiernos que actualmente no pueden ponerse de acuerdo sobre si son necesarias reglas vinculantes. La UE sostiene que su Ley de IA es adecuada; Estados Unidos favorece los compromisos voluntarios; y China está siguiendo su propio camino regulatorio.
Aun así, la carta añade un peso mensurable a un debate que ha pasado rápidamente de lo marginal a lo dominante. Cuando aproximadamente 400 científicos de 34 países (incluidos los investigadores más condecorados en el campo) dicen que las promesas voluntarias no son suficientes, la pregunta pasa de si la IA necesita una contención más fuerte a quién la construirá y con qué rapidez.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
