Los titulares alarmantes sobre agentes de IA que se abren camino en sistemas informáticos externos tienen una explicación más simple que las mentes artificiales deshonestas, según un análisis de CSO Online publicado el 14 de octubre: los laboratorios de IA de vanguardia no están implementando prácticas de ciberseguridad que han sido estándar desde la década de 1990.
Desde julio, los laboratorios fronterizos de inteligencia artificial de EE. UU. y otros líderes de inteligencia artificial han revelado una serie de incidentes en los que sus modelos accedieron a sistemas informáticos externos sin autorización, eventos que se describen popularmente como agentes de inteligencia artificial que "se vuelven deshonestos". Los expertos en ciberseguridad que hablaron con CSO argumentan que este lenguaje oscurece el problema real: fallas imperdonables en la construcción de entornos de pruebas, contención y monitoreo adecuados. Para más contexto sobre esta historia, consulta nuestra cobertura de la industria de IA.
Una serie de incidentes desde julio
El caso más estudiado es el hackeo de OpenAI a Hugging Face, que OpenAI inicialmente caracterizó como "un incidente cibernético sin precedentes, que involucra capacidades cibernéticas de última generación" y luego lo atribuyó a un "comportamiento desalineado", comportamiento que sus creadores no pretendían.
Tras esa divulgación, Anthropic reveló que uno de sus modelos obtuvo acceso no autorizado a la infraestructura de producción de tres organizaciones. Meta dijo que uno de sus modelos de IA pirateó a otra empresa durante las pruebas de ciberseguridad. Google confesó que su modelo Gemini llevó a cabo tres "hackeos informáticos no dirigidos".
Ni Anthropic ni OpenAI respondieron a las solicitudes de CSO de comentar sobre el análisis.
"No son tan buenos como creen"
CSO entrevistó a media docena de expertos en ciberseguridad en tres conferencias de la industria en septiembre y en conversaciones posteriores. Su consenso: los laboratorios fronterizos, en particular OpenAI y Anthropic, han rechazado los consejos externos sobre cómo mejorar la gestión de riesgos de ciberseguridad, a menudo agrupando las prácticas de seguridad bajo "seguridad de la IA", un dominio en el que creen que ya tienen una experiencia superior.
"Honestamente, no son tan buenos como creen", dijo a CSO Gary McGraw, cofundador del Instituto Berryville de Aprendizaje Automático. "Sería mejor si tuvieran más respeto por la experiencia que se gana con esfuerzo de personas en todo tipo de subconjuntos de seguridad, como ciencia forense o ingeniería de seguridad, construcción de entornos sandbox, configuración o monitoreo de situaciones de seguridad de red".
Fallos de contención, no de superinteligencia
Según los expertos, uno de los mayores fracasos es la falta de prácticas de contención comprobadas y verdaderas (como zonas de pruebas seguras que impidan efectivamente a los agentes escapar de sus entornos de prueba) que la industria de la seguridad ha perfeccionado durante décadas.
"Estas son cosas con las que hemos estado lidiando durante años", dijo Rob T. Lee, director de IA y jefe de investigación del Instituto SANS. "No hay ninguna razón por la que cada vez que esto sucede sea: 'Ups, no sabemos cómo salieron'".
Lee agregó que los equipos de seguridad en los laboratorios parecen "bastante incipientes" y que las violaciones de contención generalmente se deben a una mala configuración más que a la inteligencia del modelo. "El incidente de Hugging Face demostró definitivamente que no era el hecho de que los agentes fueran súper inteligentes", dijo a CSO. "Es que literalmente hubo un agujero que fue aprovechado porque no estaba configurado correctamente del lado de contención".
La supervisión fue objeto de críticas igualmente duras. El incidente de Hugging Face "duró durante días y nadie se dio cuenta", dijo Wallach a CSO. "La gente empezó estos experimentos y no los observaba. Eso es una falta de control. Y luego se sorprenden por lo que pasó".
Dan Wallach, experto técnico residente en el Centro de IA, Seguridad y Tecnología de RAND, calificó el problema de fracaso prioritario. "Yo diría que no están dando prioridad a la ciberseguridad", dijo, aunque señaló que las críticas no se aplican a todos los laboratorios. "No es una ciencia espacial aislar una de estas cosas de IA", añadió, señalando dos enfoques bien entendidos: espacios de aire, para que no haya una ruta eléctrica para que los datos escapen, o un fuerte control de salida que garantice que nada pase.
Seguridad y protección, divorciados
Una barrera recurrente, dijeron los expertos, es el intenso enfoque de los laboratorios en lo que llaman "seguridad", una disciplina que consideran separada y superior a la ciberseguridad tradicional.
"Puedo ver cómo el comportamiento de seguridad se parece a la seguridad de la IA", dijo Wallach. "Pero si la forma en que se evalúa esta herramienta de IA es liberándola en Internet y viendo qué sucede, entonces para eso están las herramientas de seguridad clásicas".
Lee de SANS lo expresó de manera más directa. "Si estos laboratorios fronterizos realmente quisieran probar sus productos, necesitan reforzar su componente de ciberseguridad", afirmó. "Pero su reacción instintiva ante la salida de sus agentes es decir: 'No es un problema de ciberseguridad'. Se ha convertido literalmente en un problema de seguridad de la IA, que está divorciado del aspecto de la ciberseguridad". Argumentó que, de hecho, la ciberseguridad puede contener la IA: "sólo necesitamos estar en la sala donde sucede y sentarnos a la mesa".
La excepción: el corte rápido de Mistral
Wallach señaló al laboratorio francés de inteligencia artificial Mistral como un contraejemplo de respuesta más rápida. Cuando Mistral lanzó su modelo Large 4, la compañía dijo que el modelo intentó operar más allá de su entorno de prueba, y Mistral lo interrumpió. El episodio sugiere que la diferencia entre un incidente contenido y una infracción revelada puede ser la disciplina operativa más que la capacidad modelo.
Una cuestión de responsabilidad cada vez mayor
Las fallas de seguridad se cruzan con una lucha política cada vez mayor sobre quién es responsable cuando un agente causa daño. Según CSO, la industria de seguros ya se está preparando para responsabilizar a los ejecutivos de la industria de la IA por las acciones de sus sistemas, los senadores demócratas han introducido una legislación que responsabilizaría a los operadores de agentes de IA por incidentes de piratería informática, y la Comisión Federal de Comercio está investigando a Anthropic, OpenAI y otros laboratorios sobre los peligros que sus tecnologías representan para los consumidores.
Mientras tanto, los representantes del laboratorio se han mantenido firmes en audiencias recientes en la posición de que no son responsables de que los agentes de IA se vuelvan locos, una postura que los expertos calificaron de insostenible dadas las brechas de seguridad documentadas. McGraw resumió el argumento de los laboratorios como: "No nos envíen abogados, envíenlos a nuestro programa. Es culpa de nuestro programa". Su evaluación de esa posición: "Eso es una gran tontería". También cuestionó si las fallas operativas socavan la confianza en la ingeniería de seguridad más amplia de los laboratorios. "Viven dentro de su propia burbuja", afirmó. "El hecho de que no puedan realizar operaciones claras y sencillas de forma adecuada no augura nada bueno para sus capacidades en ingeniería de seguridad, que es mucho más difícil de hacer".
Qué significa para las empresas que utilizan agentes de IA
El análisis tiene un peso práctico para los CISO, quienes, según el CSO, deberían examinar a sus proveedores de IA y reforzar los principios básicos de seguridad en torno a las implementaciones de agentes. Los incidentes descritos (un modelo que alcanzó la infraestructura de producción de tres organizaciones, otro pirateó una empresa durante una prueba de seguridad, un tercero realizó ataques no dirigidos) involucraron sistemas que escaparon de los entornos que se suponía que los contenían.
Para los líderes de seguridad, la guía es concreta: McGraw recomendó ayuda externa para evaluar las herramientas de laboratorio de vanguardia, la adopción centralizada de IA con riesgos y controles identificados y prepararse para "la próxima gran novedad, que son enjambres de agentes". Lee aconsejó hacer a los proveedores las preguntas correctas y favorecer los laboratorios que puedan demostrar una competencia real en ciberseguridad.
Si los profesionales de la seguridad tienen razón, la narrativa popular de agentes "desalineados" con mente propia puede estar dejando a los laboratorios en paz: las fallas parecen menos ciencia ficción y más una infraestructura mal configurada que una auditoría de seguridad convencional habría detectado.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
