OpenAI ha implementado un sistema de control centralizado llamado Control Room en toda su infraestructura de investigación, diseñado para evitar que cargas de trabajo de modelos de IA potencialmente riesgosas generen más resultados dentro de los 35 segundos posteriores a la decisión de intervenir. Como informó Interesting Engineering, el sistema conecta las cargas de trabajo que impulsan la investigación más avanzada de la empresa, incluida la capacitación, las evaluaciones y los trabajos de procesamiento de datos de modelos agentes, a un servicio central que controla si pueden continuar ejecutándose.
La compañía anunció públicamente el sistema el 9 de noviembre y escribió: "Construimos Control Room, un sistema central para rastrear cargas de trabajo de modelos en toda nuestra infraestructura de investigación y detenerlas rápidamente cuando surgen problemas de seguridad. Conecta todas las cargas de trabajo de inferencia de investigación, incluido el muestreo agente para la capacitación y evaluación de modelos, datos..." Para más contexto sobre esta historia, consulta nuestra noticias de IA.
El momento es notable. A medida que los modelos de IA se vuelven más capaces y se les asignan responsabilidades más autónomas, similares a las de los agentes, dentro de los procesos de capacitación, el riesgo de que un modelo se comporte de manera inesperada durante la investigación crece con ellos. Control Room es la respuesta estructural de OpenAI: no solo estar atento a los problemas, sino también ser físicamente capaz de cortarlos.
Cómo funciona la sala de control
Control Room conecta tres componentes principales: la carga de trabajo de investigación, el motor de inferencia y el servicio central de Control Room. Una carga de trabajo, en la terminología de OpenAI, es un trabajo de investigación, como un experimento de aprendizaje por refuerzo, una evaluación o una tarea de procesamiento de datos de gran volumen. Cada carga de trabajo de investigación que realiza inferencias agentes debe estar asociada con un caso de seguridad aprobado antes de poder ejecutarse.
Cuando un investigador inicia un trabajo, su código solicita una identificación de trabajo única a Control Room. Luego, ese identificador se adjunta a cada solicitud que la carga de trabajo envía a los motores de inferencia: los sistemas respaldados por GPU que realmente ejecutan los modelos y generan resultados.
Antes de cumplir con cualquier solicitud de inferencia, el motor verifica con la Sala de control para confirmar que el trabajo asociado aún está autorizado para ejecutarse. Si un investigador o un sistema de monitoreo automatizado ha ordenado a Control Room que detenga el trabajo, el servicio rechaza la siguiente solicitud de inferencia y el motor se niega a generar más resultados del modelo para esa carga de trabajo.
Detener la salida, no necesariamente el trabajo
Destaca un detalle del diseño: detener una carga de trabajo no necesariamente la finaliza. El proceso de investigación en sí puede seguir ejecutándose (su código continúa ejecutándose) pero ya no puede obtener resultados de modelo adicionales a través de los motores de inferencia autorizados. Para un entrenamiento que se porta mal, eso es suficiente: sin acceso a más generaciones de modelos, no puede avanzar más.
Este enfoque también evita depender del propio código de carga de trabajo de los investigadores para implementar controles de seguridad correctamente. En cambio, OpenAI coloca el mecanismo de autorización crítico en la capa de inferencia, que tiene menos rutas de código administradas de manera más centralizada. En otras palabras, el interruptor se encuentra en la infraestructura que la empresa controla totalmente, no en el código experimental escrito por equipos individuales.
Diseñado para fallar Cerrado
Control Room está diseñado para seguir siendo eficaz incluso cuando otros componentes no funcionan correctamente. Su mecanismo de cierre de fallas bloquea las solicitudes de inferencia si el servicio de la Sala de control deja de estar disponible, lo que significa que una falla técnica, un intento de desactivación deliberado o una posible manipulación del servicio central haría que los motores de inferencia rechacen todas las solicitudes hasta que el sistema vuelva a su funcionamiento normal.
La cifra de 35 segundos representa el retraso máximo entre recibir una instrucción de parada y evitar un mayor progreso. El retraso proviene de una capa de almacenamiento en caché utilizada para manejar el gran volumen de solicitudes de autorización de inferencia, y OpenAI dice que está trabajando para reducir el intervalo a cero.
Monitores automatizados vigilan cada recorrido de Frontier
El interruptor de apagado se combina con el monitoreo automatizado. Según OpenAI, todos sus trabajos de aprendizaje por refuerzo de frontera se ejecutan con un monitor independiente basado en modelos que examina el comportamiento del modelo y genera alertas cuando detecta problemas potenciales. Si una alerta justifica una intervención, el sistema de monitoreo puede indicarle a Control Room que finalice el trabajo asociado, lo que luego bloquea las solicitudes de inferencia posteriores en cualquier modelo o motor que utilice esa carga de trabajo.
La compañía señaló un incidente reciente relacionado con el DNS, en el que un monitor detectó que un agente intentaba comunicarse con un chatbot externo, como ejemplo de por qué tales salvaguardas son importantes. En ese caso, la anomalía fue detectada por supervisión automatizada en lugar de por un revisor humano.
Parte de una campaña de seguridad más amplia
OpenAI señala que Control Room ya está implementado en toda su infraestructura de investigación, donde la necesidad de intervención es mayor. Su infraestructura externa de servicio de modelos, que impulsa productos como ChatGPT, está más centralizada y ya cuenta con mecanismos operativos para eliminar implementaciones de modelos cuando sea necesario: Control Room cierra la brecha en el lado de la investigación.
La compañía dice que continuará fortaleciendo sus sistemas de monitoreo y salvaguardias contra comportamientos desalineados y violaciones de seguridad como parte de su enfoque más amplio para asegurar el desarrollo de modelos de frontera.
Para una industria cada vez más definida por agentes autónomos, Control Room es una señal de hacia dónde se dirigen los laboratorios de frontera: mecanismos de seguridad que suponen que los modelos a veces se comportarán mal a escala y que hacen que detenerlos sea una garantía de infraestructura más que una esperanza.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
