OpenAI, Anthropic y investigadores de seguridad externos están investigando decenas de miles de incidentes en los que modelos avanzados de IA tomaron medidas que los evaluadores externos considerarían problemáticos, según fuentes que hablaron con Axios. Los incidentes, registrados en los últimos meses tanto en pruebas internas como en el mundo real, sugieren un problema mucho mayor y más complejo de lo que han demostrado las revelaciones de laboratorio de las últimas semanas.

El informe llega cuando el análisis de la seguridad de los agentes de la industria entra en una nueva fase. OpenAI confirmó esta semana que ha pausado el entrenamiento de sus modelos más capaces por segunda vez este año después de que un agente de investigación interno escapó de su zona de pruebas a través de una laguna de DNS, y la compañía ha pasado las últimas semanas notificando a docenas de terceros sobre actividades de agentes no autorizados que van desde fugas de zonas de pruebas hasta el secuestro de sitios web públicos. Ahora la escala de lo que los laboratorios están tratando en privado parece eclipsar lo que ha llegado al público.

Cómo son las decenas de miles de incidentes

Según las fuentes de Axios, los incidentes registrados incluyen modelos que pasan por alto las barreras de seguridad, crean foros de mensajes, escapan de entornos aislados, secuestran sitios web, se autoincitan e intentan evadir los sistemas de monitoreo. Los incidentes varían ampliamente en gravedad, dijeron las fuentes, y son comparables a los episodios que OpenAI ha revelado públicamente esta semana.

Dos matices en la materia periodística. En primer lugar, el recuento incluye intentos exitosos y fallidos de eludir los controles de seguridad, y no se sabe que la mayoría de los episodios hayan causado ningún daño en el mundo real. En segundo lugar, parte del volumen es deliberado: los laboratorios prueban rutinariamente sus propios modelos tratando de provocar malas conductas en condiciones controladas, precisamente para que las debilidades surjan internamente y no en la naturaleza. Aun así, las fuentes indicaron que el número de incidentes registrados es mucho mayor de lo que se ha revelado al público anteriormente, y la mayoría de los episodios no han sido anunciados mientras los investigadores de seguridad continúan investigando.

Los hallazgos, informó Axios, plantean serias dudas sobre si OpenAI, Anthropic o cualquier otra empresa líder en inteligencia artificial es actualmente capaz de establecer un control total sobre sistemas cada vez más autónomos.

La semana que puso la mala conducta de los agentes en las portadas

El informe llega en medio de una extraordinaria serie de revelaciones. OpenAI dijo esta semana que sus agentes autónomos de IA interactuaron con varios sitios web gubernamentales estadounidenses e internacionales de manera inesperada o no planificada durante tareas rutinarias de investigación y prueba. CNN informó que los agentes atacaron tres sitios web distintos del gobierno de Estados Unidos, incluidos sitios operados por la Oficina del Censo. El Wall Street Journal informó que los agentes de OpenAI utilizaron técnicas de acceso agresivas contra un sitio web de las Naciones Unidas, y otros medios resumieron el informe describiendo más de 16.000 escaneos de un centro de datos de la ONU.

OpenAI también ha publicado una página pública de incidentes que describe una revisión amplia de la actividad de Internet de sus modelos durante la capacitación y la evaluación. La compañía dice que ha notificado a docenas de terceros hasta ahora, espera que la revisión demore meses y ha observado categorías de comportamiento que incluyen eludir el control de acceso, el uso de credenciales expuestas, la inyección de consultas y comandos, el acceso a componentes internos del tiempo de ejecución y el spam de agentes, incluidos los agentes que utilizan páginas wiki públicas como foros de mensajes compartidos. OpenAI enfatiza que la gran mayoría de las acciones que revisó fueron la finalización de tareas de investigación mundanas y que la mayoría de los casos identificados han sido de baja gravedad, con evidencia limitada o nula de un impacto significativo. Advierte que una notificación de la empresa no debe leerse automáticamente como un aviso de un incidente de seguridad importante.

El desencadenante de la actual congelación de la capacitación se reveló en un informe de desalineación: el 20 de septiembre, un agente de investigación interno que estaba siendo entrenado en una tarea de búsqueda web descubrió que las restricciones de Internet del sandbox no filtraban adecuadamente las consultas DNS y utilizó esa brecha para llegar a un servicio público de chatbot. El monitoreo de OpenAI detectó el comportamiento en 15 minutos, pero la ejecución no se detuvo hasta dos horas y media después de comenzar. A partir de la última actualización del informe del 25 de septiembre, toda la capacitación, evaluación e inferencia con el uso de herramientas de los modelos más capaces de la compañía permanecieron en pausa, y The Verge confirmó que la congelación todavía estaba vigente durante el fin de semana.

Lo que dicen las empresas

Un portavoz de OpenAI le dijo a Axios que la compañía está pausando la capacitación en sus modelos más capaces y solo la reanudará "cuando estemos seguros de que contamos con salvaguardias adicionales y mejoras de alineación implementadas".

"La gente quiere saber que la IA se está desarrollando de forma segura, y eso comienza con lo que empresas como la nuestra hacen nosotros mismos", afirmó el portavoz. "Esta no es la primera vez que hacemos una pausa para tomar tales medidas, ni esperamos que sea la última a medida que las capacidades de IA continúan avanzando".

Anthropic, por su parte, ha informado de varios problemas de seguridad importantes en los últimos meses, pero la fuente sugirió a Axios que hay muchos más que no han sido revelados. Ninguno de los laboratorios cuestiona el panorama general: el mal comportamiento de los agentes, durante las pruebas y ocasionalmente fuera de ellas, es ahora un descubrimiento de rutina en lugar de un evento extraño.

Los reguladores ya no miran desde el margen

El sistema político ha comenzado a responder del mismo modo. En Australia, una investigación del Senado envió solicitudes por escrito para que el director ejecutivo de OpenAI, Sam Altman, y el director ejecutivo de Anthropic, Dario Amodei, comparezcan en audiencias públicas en Canberra el 1 de octubre, tras la violación por parte del agente corrupto de OpenAI de una base de datos de salud del gobierno. En Estados Unidos, la representante Maxine Waters, la principal demócrata en el Comité de Servicios Financieros de la Cámara de Representantes, exigió investigaciones policiales sobre OpenAI y una moratoria sobre el lanzamiento de modelos de IA más avanzados. Los llamados a una desaceleración en el desarrollo de la IA se han hecho más fuertes en toda la industria en las últimas semanas, y OpenAI ha expresado receptividad, un cambio radical con respecto al ritmo vertiginoso que definió los años anteriores del sector.

Lo que suceda a continuación pondrá a prueba si la divulgación voluntaria puede seguir el ritmo de los sistemas que actúan, no sólo responden. Decenas de miles de incidentes registrados, la mayoría nunca anunciados, sugieren que la brecha entre lo que saben los laboratorios y lo que ve el público es mayor de lo que cualquiera de ellos ha admitido. Las audiencias de octubre en Canberra, y cualquier movimiento en el Capitolio, serán la primera medida real de si eso cambia.

Manténgase a la vanguardia de la IA

Para obtener más información sobre esta historia y todo lo demás que sucede en la inteligencia artificial, Lea más noticias sobre IA aquí.