Los principales modelos de IA de Anthropic, OpenAI, Google, DeepSeek y otros laboratorios pueden manipularse para identificar posibles objetivos de ataque militar (incluidos civiles y soldados que se rinden) en imágenes de drones y satélites, y en muchos casos todo lo que hizo falta fue decirles a los modelos que estaban jugando, según un nuevo informe de investigación de la startup de evaluación de IA Vals.

Los hallazgos, informados por TechCrunch, llegan en un momento en el que el debate sobre la IA en la guerra ha pasado de ser hipotético a institucional. Anthropic a principios de este año chocó con el Departamento de Defensa por los límites al uso militar de su tecnología, y los gobiernos de todo el mundo están invirtiendo en sistemas autónomos. El informe sugiere que las barreras de seguridad que separan a los chatbots comerciales de las funciones de apoyo al combate son más delgadas de lo que implican los compromisos públicos de la industria. La cobertura continua de los desarrollos éticos y de seguridad de la IA continúa rastreando cómo responden los laboratorios.

Cómo funcionaron las pruebas

Vals, una startup de evaluación de IA con sede en San Francisco, probó si los principales modelos de IA podían manipularse para participar en una guerra autónoma. Los investigadores construyeron escenarios de campos de batalla simulados utilizando una combinación de imágenes reales y generadas de Ucrania e Irán, luego pidieron a los modelos que marcaran objetivos potenciales en imágenes de drones y satélites.

Los modelos de OpenAI, Anthropic, Google, DeepSeek y otras compañías identificaron con frecuencia objetivos potenciales en las imágenes, incluidos civiles y soldados que intentaban rendirse. Ninguna de las solicitudes de los investigadores fue bloqueada por un clasificador de seguridad y las negativas fueron poco comunes. Cuando los modelos se negaban a cooperar, los investigadores a menudo podían liberarlos simplemente afirmando que los escenarios del campo de batalla eran parte de un juego.

En algunos escenarios, se pidió a los modelos que informaran si las personas eran visibles en las imágenes. Los informes positivos fueron seguidos por ataques simulados, lo que significa que los modelos observaron las consecuencias de sus propios informes de objetivos.

Los modelos antrópicos obtuvieron peores resultados

Quizás el detalle más sorprendente: los modelos de IA de Anthropic obtuvieron los peores resultados en los escenarios simulados, aunque el informe deja claro que ninguno de los modelos probados tuvo un rendimiento particularmente bueno. La postura defensiva de la empresa frente a las aplicaciones militares no se tradujo en una resistencia efectiva en las condiciones de prueba.

Un portavoz de Anthropic, Eduardo Maia Silva, dijo a TechCrunch que la compañía aprecia el informe, las recomendaciones y la colaboración de Vals, y reconoció que los resultados no fueron aceptables. "Los ejemplos en el informe van claramente en contra de nuestras reglas y hemos prohibido y prohibiremos a los usuarios cuando veamos este comportamiento", dijo la compañía en un comunicado. "Incluso para entornos autorizados, Anthropic ha sido firme durante mucho tiempo en que los sistemas de inteligencia artificial actuales no son lo suficientemente confiables como para impulsar armas totalmente autónomas".

Anthropic le dijo a TechCrunch que sus equipos ya estaban desarrollando salvaguardas adicionales antes de que se publicara el informe, que esas medidas se implementarán pronto y que la compañía está ampliando sus propias pruebas y mejorando las salvaguardias y la aplicación para abordar cualquier brecha que encuentre.

El portavoz de OpenAI, Nate Evans, dijo que la compañía prohíbe el uso de sus modelos públicos para facilitar la violencia o con fines de seguridad nacional no aprobados, incluidos los escenarios simulados por Vals. "Detectamos e interrumpimos activamente el uso indebido, incluso suspendiendo cuentas que violan nuestras políticas", dijo la compañía en un comunicado enviado por correo electrónico. "También estamos desarrollando salvaguardias adicionales para nuestros modelos públicos contra el uso indebido de drones y software de drones".

El enfrentamiento de las armas autónomas

Los hallazgos llegan en medio de una disputa no resuelta entre los laboratorios de IA y el Pentágono sobre cómo se puede utilizar la IA militar. A principios de este año, Anthropic dijo al Departamento de Defensa que no podía utilizar la tecnología de la empresa para la vigilancia masiva de estadounidenses o para una guerra autónoma. El director ejecutivo de Anthropic, Dario Amodei, ha insistido en que los sistemas de inteligencia artificial actuales no son lo suficientemente confiables como para tomar decisiones de vida o muerte sin un ser humano al tanto. El Pentágono, por su parte, ha argumentado que debería poder desplegar la tecnología para cualquier propósito militar legal.

El informe Vals agudiza esa disputa: si se puede convencer a los modelos de consumo para que marquen objetivos con un marco de juego, la pregunta es si las políticas de la empresa por sí solas pueden mantener la línea que las salvaguardias técnicas actualmente no logran.

Advertencias importantes

El informe tiene importantes limitaciones que impiden que se lea como prueba de que la IA está lista para atacar objetivos en el campo de batalla. Vals señala que a los modelos nunca se les pidió que tomaran directamente decisiones de huelga, una tarea que los investigadores dijeron que los modelos normalmente rechazarían. Los desafíos técnicos, incluida la latencia y la capacidad informática limitada a bordo, también dificultan el uso de modelos de inteligencia artificial de propósito general para apuntar con drones en vivo, lo que hace que el despliegue de combate sea una amenaza menos inmediata de lo que los hallazgos brutos podrían sugerir.

También existe una distinción entre lo comercial y lo militar. El informe probó los modelos comerciales vendidos al público, no los laboratorios de sistemas especializados que podrían proporcionar a los clientes de defensa bajo contrato, y no está claro si las salvaguardias adicionales que las empresas prometieron se aplicarían a los despliegues militares.

Aún así, los investigadores advierten que los resultados podrían tener consecuencias nefastas en el mundo real: la información de objetivos producida por un modelo comercial podría ser utilizada por sistemas de armas autónomos, incluso si el modelo en sí nunca dispara un tiro.

Qué significa para la seguridad de la IA

La importancia del informe tiene menos que ver con el comportamiento de un solo modelo y más con el patrón: ningún clasificador de seguridad bloqueó ninguna solicitud, las negativas fueron raras y la fuga más efectiva fue la infantil: pretender que la guerra era un juego. Para una industria que ha apostado su legitimidad pública por la afirmación de que los modelos de frontera rechazarán instrucciones dañinas, ese es un dato incómodo.

Las respuestas de las empresas ahora se probarán en la práctica: Anthropic dice que nuevas salvaguardas son inminentes y OpenAI dice que está creando protecciones contra el uso indebido específicas de drones. Si esas medidas sobreviven al contacto con la próxima ronda de investigación de evaluación es la pregunta que se hará Vals (y cada vez más los responsables de la formulación de políticas).

---

Siga los desarrollos de seguridad de la IA

Investigación, ética y políticas: las historias de IA que importan, actualizadas las 24 horas del día.

Leer más noticias sobre IA →