El ejército estadounidense estuvo peligrosamente cerca de interceptar un barco chino basándose en un informe de inteligencia generado con la ayuda de un chatbot de inteligencia artificial y que resultó ser completamente falso, según una exclusiva de CNN publicada el jueves.

El episodio, descrito a CNN por cuatro fuentes familiarizadas con el asunto, comenzó a principios de esta primavera, en medio de la guerra con Irán, cuando circuló entre el ejército estadounidense un informe que afirmaba que un barco chino en el Medio Oriente transportaba componentes de un programa de armas nucleares. El informe inmediatamente hizo sonar las alarmas y los militares entraron en acción con planes para interceptar el barco. Para obtener cobertura periódica de historias como ésta, siga AI news a medida que se desarrolla.

Aviones en el aire, grupo de embarque listo

Según dos fuentes de CNN, miembros armados del ejército estadounidense se estaban preparando para abordar el barco. Aviones militares ya estaban en el aire, dijo una fuente.

Fue justo antes de la operación planeada que los funcionarios profundizaron en el informe, elaborado por un analista del comando de operaciones especiales, y descubrieron que había sido generado con la ayuda de inteligencia artificial y que el chatbot que había utilizado el analista había identificado de manera incorrecta el material que transportaba el barco. CNN informó que no pudo saber cuál era realmente la carga mal identificada.

Una fuente describió el informe como "completamente falso". Además, dijo la fuente, "casi inició una guerra", ya que cualquier operación estadounidense contra un barco chino podría haber corrido el riesgo de convertirse en un conflicto armado entre las dos naciones.

Cómo se construyó el informe falso

El analista había consultado a un chatbot sobre los informes de inteligencia sobre el manifiesto del barco que se originó en el Comando de Operaciones Especiales del Pacífico de EE. UU., con sede en Hawái. CNN informó que no estaba claro si el chatbot era un producto disponible comercialmente o una herramienta del gobierno de Estados Unidos.

El robot fusionó inteligencia de código abierto con inteligencia de señales secretas en propiedades gubernamentales y llegó a su fatídica conclusión sobre el material a bordo del barco. Luego, el analista utilizó la IA por segunda vez (para empaquetar los hallazgos en un informe de inteligencia estándar, del tipo en el que confían los oficiales militares) y lo difundió por todo el sistema.

El Comando de Operaciones Especiales del Pacífico de Estados Unidos y el Pentágono no respondieron a la solicitud de comentarios de CNN.

Una carrera militar para adoptar la IA

El casi accidente ocurre en un momento en que funcionarios de la comunidad militar y de inteligencia de EE. UU. están presionando para incorporar la IA en casi todas las facetas de su trabajo, desde el análisis de enormes volúmenes de inteligencia en bruto y la selección de objetivos para ataques, hasta aplicaciones mundanas como presupuestos, logística y cadenas de suministro.

En enero, el Secretario de Defensa, Pete Hegseth, publicó la "Estrategia de Aceleración de la Inteligencia Artificial" del departamento, destinada a acelerar la adopción de la IA por parte de los militares. "Desataremos la experimentación, eliminaremos las barreras burocráticas, centraremos nuestras inversiones y demostraremos el enfoque de ejecución necesario para garantizar que somos líderes en IA militar", dijo Hegseth en un discurso en el que anunciaba la estrategia.

La estrategia pide explícitamente democratizar el acceso y ordena al departamento poner "los modelos de IA líderes en el mundo de Estados Unidos directamente en manos de nuestros tres millones de personal civil y militar, en todos los niveles de clasificación".

No hay un conjunto único de reglas

Pero el esfuerzo está descentralizado, dijeron a CNN varios funcionarios estadounidenses, y diferentes partes del gobierno utilizan diferentes herramientas bajo diferentes órdenes y estándares de seguridad. No existe un conjunto de estándares sobre cómo Estados Unidos verifica la información generada por estas herramientas, y la confiabilidad de los distintos sistemas varía ampliamente.

"Las herramientas internas son en su mayoría copias de material comercial que lleva lápiz labial", dijo a CNN un ex alto funcionario estadounidense familiarizado con los sistemas de inteligencia artificial utilizados por analistas militares y de inteligencia.

La orientación por IA está "aumentando" con poca orientación

Las fuentes dijeron que el ejército está recurriendo rápidamente a la IA para ayudar a seleccionar objetivos, un área que conlleva el riesgo obvio de cometer errores fatales. "La IA en la selección de objetivos es definitivamente algo que está aumentando y no hay una guía real sobre cómo tener un ser humano en el circuito evitará víctimas civiles o fratricidio", dijo a CNN otra fuente familiarizada con las políticas actuales del ejército.

Los analistas han advertido durante mucho tiempo que la IA podría contribuir a un error de cálculo catastrófico si los estados nacionales dependen de datos deficientes o corruptos, precisamente el tipo de error de cálculo que podría haber llevado a Estados Unidos a disparar contra un barco chino basándose en información inexacta.

Según CNN, el tipo de alucinación detrás del informe falso del barco no ha sido un incidente aislado en la comunidad de inteligencia desde que estas herramientas comenzaron a proliferar en el gobierno.

'La IA te permite llegar a una mala idea más rápido'

Durante semanas, los responsables políticos de Washington han estado debatiendo intensamente sobre la IA tras una serie de terribles advertencias de Silicon Valley sobre la posibilidad de que la IA pueda liberarse de las limitaciones humanas. Pero el episodio del barco chino subraya un riesgo diferente y más inmediato: seres humanos que toman decisiones desastrosas basadas en información inexacta o engañosa generada por sistemas de inteligencia artificial.

Varias fuentes le dijeron a CNN que los analistas más jóvenes en particular (nativos de estas herramientas) tienen más probabilidades de confiar en ellas acríticamente, y que la IA ha intensificado la presión sobre los analistas para que produzcan y difundan inteligencia más rápido, abriendo la puerta a errores.

"La IA te permite llegar a una mala idea más rápido", dijo una de las fuentes.

Es probable que el episodio alimente un debate ya acalorado sobre qué tan rápido el ejército estadounidense debería incorporar la IA a sus flujos de trabajo más sensibles y qué pasos de verificación deberían ser obligatorios antes de que los informes asistidos por la IA puedan mover tropas, aviones y personal armado hacia una posible operación de combate. Por ahora, los detalles sugieren que las salvaguardias que existen son un mosaico, y que en este caso, la diferencia entre un informe de inteligencia de rutina y un incidente internacional se redujo a funcionarios que verificaron dos veces.

Manténgase por delante de la IA

Para obtener más informes sobre la política de IA, la seguridad nacional y los modelos que dan forma a ambas, lea más noticias sobre IA.