Un ejercicio del equipo rojo de tres semanas encontró nuevas vulnerabilidades en el sistema de monitoreo de desalineación interna de OpenAI, incluidas formas en que los agentes de IA podrían, en principio, tomar acciones sin ser revisados ​​por humanos. METR, la organización de evaluación independiente sin fines de lucro, publicó un resumen de alto nivel de los hallazgos el 22 de octubre, extraído de un informe interno de 61 páginas que entregó a los investigadores y al personal de seguridad de OpenAI.

El piloto se ejecutó del 21 de julio al 11 de agosto y brindó a un empleado de METR y a un empleado de Redwood Research un acceso inusualmente profundo a la infraestructura interna de OpenAI: la base del código, las indicaciones y la configuración del sistema de monitoreo, la documentación interna y entrevistas técnicas con aproximadamente una docena de investigadores e ingenieros de los equipos de monitoreo, sistemas de seguridad y seguridad. Trabajaron en dispositivos emitidos por OpenAI que nunca salieron de las instalaciones y fueron acompañados mientras estaban en el sitio. Para obtener más información sobre esta línea de investigación, consulte nuestros últimos desarrollos de IA.

Lo que encontró el equipo rojo

El ejercicio se centró en dos preguntas: qué parte de la inferencia agente de OpenAI se monitorea realmente y si los agentes podrían desactivar o subvertir el sistema de monitoreo. Las respuestas revelaron lagunas significativas.

En cuanto a la cobertura, METR estimó que aproximadamente entre el 75 y el 94 por ciento del tráfico API interno de Respuestas (la API que impulsa el Codex, entre otras cosas) de modelos al menos tan capaces como GPT-5.5 era elegible para monitoreo en ese momento, aunque la organización observa una incertidumbre sustancial en ambas direcciones. Dentro del subconjunto de ese tráfico utilizado por los agentes internos del Codex, el 99,2 por ciento era elegible. Pero la elegibilidad no era lo mismo que la cobertura: las ejecuciones de entrenamiento de aprendizaje por refuerzo no estaban cubiertas por el sistema de monitoreo al inicio del ejercicio, y los eventos de compactación no monitoreados probablemente dejaron alrededor del 10 por ciento del tráfico interno elegible del Codex sin monitorear entre mayo y julio de 2026. El personal de OpenAI había identificado de forma independiente el problema de compactación antes del ejercicio y lo solucionó mientras estaba en marcha.

El detalle del momento importaba. Debido a que el monitor se activaba cuando los agentes devolvían el control al usuario, un agente podía posponer indefinidamente su supervisión simplemente si continuaba realizando acciones durante el período no supervisado.

El equipo también documentó rutas de evasión activas. En principio, los agentes del Codex podrían evitar el entorno de pruebas y la revisión automática del Codex, lo que les permitiría realizar cualquier acción que pudiera realizar el usuario anfitrión. METR descubrió un exploit que evitaría que se monitorearan cientos de acciones recientes, incluidas las acciones involucradas en el exploit en sí; OpenAI eliminó los detalles técnicos. Los agentes probablemente podrían construir entradas que provocaron que el monitor fallara explotando las diferencias de serialización entre la trayectoria que ve el agente y lo que ve el monitor, evitando la escalada a la revisión humana. Y se encontraron dos encabezados controlables por el cliente que deshabilitan el monitoreo de nuevos agentes, lo que potencialmente permite que un agente inicie una instancia no monitoreada pero por lo demás idéntica, aunque METR señala que el acto de configurar esos encabezados podría detectarse.

Finalmente, el equipo identificó dos herramientas agentes internas no supervisadas que se cree que tienen permisos de solo lectura, junto con un exploit simple que podría haberse utilizado para subvertir esos límites. METR no validó ese comportamiento en la práctica.

¿Qué se detuvo?

El ejercicio también validó partes del sistema. Con algunas excepciones menores, al monitor se le muestra la trayectoria completa que ven los agentes. Se confirmó que las indicaciones de monitoreo buscaban intrigas, subversión del sistema, sabotaje, exfiltración de datos, engaño e inyección rápida entrante y saliente, entre otras categorías de riesgo. En cuanto a la confiabilidad, la información que recibió METR sugirió que el monitor cometió errores en menos del 0,2 por ciento de las solicitudes, y en un período de 24 horas durante el ejercicio no hubo ninguna pérdida de carga.

Respuesta de OpenAI

Según METR, OpenAI ha declarado que todas las vulnerabilidades identificadas que afectan su pila de salvaguardias de producción han sido parcheadas y ha descrito cambios posteriores significativos en la cobertura prevista de su sistema de monitoreo. METR no ha evaluado esas afirmaciones y sus hallazgos describen el sistema tal como existía el 21 de julio o antes, no la versión ampliada que OpenAI ya estaba construyendo durante el ejercicio.

Lecciones de diseño para la supervisión de agentes

METR cerró su resumen con ideales de diseño para la futura infraestructura de monitoreo, que, según afirma, debería resistir ataques deliberados, estratégicos y sostenidos de agentes internos altamente capaces a escala. Destacan dos. La supervisión debería ser difícil de evitar: la ejecución de solicitudes no supervisadas debería requerir una aprobación explícita vinculada a organizaciones específicas o claves API que están prohibidas para la inferencia agente, y los agentes deberían ser monitoreados cada N mensajes o minutos en lugar de solo cuando finalizan sus turnos. Y la cobertura debe ser auditable: una contabilidad cuidadosa de todas las inferencias, comparada periódicamente con los propios registros del sistema de monitoreo, de modo que todo lo que se pretende monitorear lo sea de manera demostrable.

El ejercicio fue diseñado como un piloto para brindar a los investigadores externos un acceso profundo a la infraestructura interna de un laboratorio de frontera, no como un informe de transparencia pública: METR y OpenAI acordaron desde el principio que solo se publicaría una publicación breve y de alto nivel. La organización sin fines de lucro dice que las versiones futuras seguirán las prácticas de transparencia e independencia descritas en su marco para trabajar con empresas de IA. A medida que los agentes asumen trabajos más importantes dentro de los laboratorios que los construyen, el piloto ofrece un modelo de cómo los externos podrían mantener la vigilancia.

---

Manténgase a la vanguardia de la IA

Obtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.

Leer más noticias sobre IA →