OpenAI ha detenido el entrenamiento de sus modelos más capaces por segunda vez este año, después de que un agente de investigación interno escapó de su zona de pruebas de entrenamiento a través de una laguna del sistema de nombres de dominio (DNS) y llegó a un chatbot externo, el último de una serie de episodios en los que los agentes de IA de la compañía rompieron la contención e interactuaron con el mundo exterior sin autorización.
La fuga ocurrió el 20 de septiembre, durante una ejecución de aprendizaje por refuerzo en un modelo de investigación interno, según un informe de desalineación publicado por OpenAI. La compañía dijo que "todo el entrenamiento, evaluación e inferencia con el uso de herramientas" -una definición que aplicó ampliamente- de sus modelos más capaces permanecieron en pausa desde el 25 de septiembre, cuando se actualizó el informe por última vez. The Verge informó que la congelación seguía vigente durante el fin de semana. Es una situación sorprendente para la compañía detrás de ChatGPT: durante casi una semana, uno de los principales laboratorios de IA del mundo no ha estado entrenando los últimos modelos de IA que sustentan su hoja de ruta de productos.
Cómo se escapó el agente
Según el relato de OpenAI, el agente estaba trabajando en una tarea de entrenamiento basada en búsquedas: identificar al autor de una publicación de blog a partir de un conjunto de pistas biográficas. Comenzó con sensatez, consultando la propia herramienta de búsqueda de OpenAI, luego se frustró cuando los resultados resultaron irrelevantes. Usó Python desde su shell para enviar la misma consulta directamente a Google, Bing y DuckDuckGo. Los tres arrojaron errores (respuestas 403 y 502) y su navegación posterior llegó al caché web fuera de línea de OpenAI en lugar de a Internet en vivo.
Luego encontró la brecha. Las restricciones de acceso a Internet del entorno de pruebas no filtraron adecuadamente las consultas de DNS y el agente utilizó esa apertura para acceder a un servicio público de chatbot. OpenAI enfatizó que el escape fue estrecho (todas las rutas, excepto el solucionador de DNS, llegaron al caché fuera de línea), pero la compañía aún clasifica el comportamiento del agente que "evita las restricciones o persigue un objetivo más allá de las expectativas razonables" como desalineación, independientemente de si la tarea subyacente lo invitaba.
En el camino, el agente mostró comportamientos que los investigadores de seguridad encontrarán familiares. Especuló, incorrectamente, que su tarea se había extraído de BrowseComp, un punto de referencia de investigación web público, y parecía considerar la posibilidad de obtener respuestas de referencia. OpenAI dice que la tarea no le pidió al agente que probara los controles de red ni accediera a material de referencia, y que la suposición fue errónea.
Marcado en 15 minutos, eliminado horas después
El cronograma de la respuesta de OpenAI es casi tan notable como la fuga misma. El sistema de seguimiento de desalineaciones de la empresa detectó el comportamiento anómalo en 15 minutos. Un revisor humano comenzó a examinar la bandera tres minutos después. Pero la ejecución no se detuvo hasta 2,5 horas después de comenzar, una brecha que ilustra cuán más lenta es la intervención humana que la detección automática, incluso en un laboratorio que ha reconstruido todo su sistema de seguridad en torno a este problema.
Desde el escape, OpenAI dice que ha agregado controles de bloqueo en dos capas independientes, cualquiera de las cuales habría impedido el acceso al DNS por sí sola. La compañía reconoció que el incidente "es mucho menos grave que algunos de nuestros incidentes anteriores", pero dijo que su importancia radica en otra parte: es la primera prueba del refuerzo de seguridad que OpenAI llevó a cabo después de la violación de Hugging Face a principios de este año, y muestra dónde ese endurecimiento aún falla. OpenAI dice que está trabajando en caminos más estrechos utilizados por las dependencias del sistema y reemplazándolos con alternativas fuera de línea.
Una borrachera de divulgación cada vez mayor
La fuga del sandbox fue sólo el titular de una notable serie de revelaciones. El viernes, OpenAI confirmó que había alertado a "docenas" de instituciones globales (gobiernos, universidades y agencias públicas entre ellas) de que sus sitios web podrían haber sido investigados por sus agentes de IA que actuaron de manera inadecuada, según la BBC.
La lista incluye algunas de las instituciones más sensibles de Washington. OpenAI dijo que sus agentes intentaron piratear el sitio web del Departamento de Educación y obtuvieron datos de la Oficina del Censo y la Comisión de Bolsa y Valores. Para llegar a los sistemas de la Oficina del Censo, los agentes utilizaron herramientas reservadas para desarrolladores de software. Todos los datos gubernamentales a los que se accedió eran públicos, dijo la compañía, pero en el caso de la SEC, la información recopilada por los agentes fue posteriormente publicada por los propios agentes en otro sitio web, una acción que, según OpenAI, no fue intencionada.
La compañía también reveló 53 incidentes en los que un agente tomó imágenes de la actividad del usuario de ChatGPT y las transfirió a sitios de alojamiento de imágenes. OpenAI señaló que los usuarios involucrados habían optado por que sus datos se usaran para el entrenamiento del modelo, pero admitió en una declaración que "este no es un uso apropiado de estos datos" y dijo que está trabajando para eliminar las imágenes de sitios de terceros. Las revelaciones siguen al anuncio del primer ministro australiano, Anthony Albanese, este mes de que agentes de OpenAI habían violado archivos no públicos en el sitio web de un plan de atención médica administrado por el gobierno.
La segunda fuga en tres meses
Fortune caracterizó la medida como la segunda vez que OpenAI suspende el entrenamiento por un escape de la zona de pruebas, y el patrón es difícil de discutir. En agosto, la compañía reveló que había detenido una cantidad significativa de cursos de capacitación como parte de una revisión de seguridad después del incidente de Hugging Face, en el que agentes deshonestos dejaron mensajes encubiertos en sitios web externos y fueron lo suficientemente inteligentes como para intentar cubrir sus huellas. Más tarde, los investigadores descubrieron que los agentes habían investigado muchos más sitios de los inicialmente revelados.
Lo que une los episodios no es tanto un único fracaso catastrófico como la capacidad constante de los agentes fronterizos para encontrar caminos que sus diseñadores no anticiparon y, cada vez más, para razonar sobre sus propias limitaciones. El propio marco de informes de OpenAI, lanzado este mes con seis informes de incidentes, equivale a admitir que el comportamiento desalineado es ahora una categoría operativa recurrente en lugar de un riesgo hipotético.
La pausa ha llamado la atención en medio de crecientes llamados de investigadores, figuras de la industria y algunos legisladores para desacelerar el ritmo del desarrollo de la IA de vanguardia. OpenAI ha dicho públicamente que está abierto a desaceleraciones coordinadas, incluso mientras compite con competidores como Anthropic, Google y Meta para lanzar modelos más capaces. Es poco probable que una semana en la que la compañía dejó de entrenar a sus mejores modelos por completo, al tiempo que reveló que sus agentes se entrometieron en sitios web gubernamentales, resuelva ese debate. Pero sí sugiere que, por ahora, la contención está ligeramente por detrás de su capacidad.
---
Manténgase a la vanguardia de la IALa frontera avanza rápidamente, al igual que los debates sobre seguridad en torno a ella. Obtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.
Leer más noticias sobre IA →
