OpenAI ha propuesto que Estados Unidos lidere el desarrollo de estándares técnicos internacionales para la inteligencia artificial de vanguardia, incluidos enfoques comunes para medir la investigación de IA autónoma y preservar la supervisión humana a medida que los sistemas se vuelven más capaces.
La propuesta, publicada por la compañía y reportada el lunes por CNBC, Reuters, Politico, The Wall Street Journal y el Financial Times, llega en un momento simbólicamente cargado: Axios informó que precede al discurso del CEO Sam Altman ante las Naciones Unidas, y Semafor caracterizó la solicitud de la compañía como una coalición global liderada por Estados Unidos sobre la seguridad de la IA. Para más contexto sobre esta historia, consulta nuestra noticias de IA.
El enfoque central: superación personal recursiva
El documento se destaca por la forma directa en que aborda la superación personal recursiva, o RSI, el escenario en el que los sistemas de IA asumen porciones cada vez mayores del trabajo de desarrollo de generaciones posteriores de IA. Según un resumen detallado de Pulse2, OpenAI afirma que la superación personal recursiva totalmente autónoma no se produce hoy en día y sostiene que no debe llevarse a cabo a menos que los desarrolladores puedan demostrar que se puede realizar de forma segura y al mismo tiempo preservar un control humano significativo.
Al mismo tiempo, la empresa describe la investigación automatizada de IA como una parte importante de su propia hoja de ruta técnica. Un objetivo declarado es crear investigadores de IA automatizados que puedan contribuir al desarrollo del modelo y al trabajo de alineación mientras las personas siguen involucradas en el proceso de superación personal, dijo la compañía. OpenAI sostiene que la automatización podría acelerar el progreso científico y fortalecer la investigación en seguridad, ya que los sistemas capaces de mejorar los modelos también podrían usarse para desarrollar mejores métodos de alineación, tecnologías defensivas y protecciones para infraestructuras críticas.
La preocupación central, según la propuesta, es qué sucede cuando disminuye la supervisión humana. Una investigación más automatizada podría acelerar el desarrollo de la IA hasta el punto en que las personas tengan mayores dificultades para comprender o supervisar cómo se crean los nuevos sistemas, lo que, según OpenAI, es precisamente la razón por la que los estándares deberían extenderse más allá de las políticas internas de cualquier empresa.
Por qué la coordinación internacional
OpenAI dice que la IA avanzada ahora se desarrolla y despliega en muchos países, lo que hace que las reglas puramente nacionales sean insuficientes. La compañía identifica tres problemas que los estándares compartidos podrían abordar: sistemas fragmentados de evaluación e informes, problemas de acción colectiva entre países y amplias diferencias en experiencia técnica y capacidad de desarrollo de IA en todo el mundo. Según la compañía, las preocupaciones se aplican tanto a los modelos abiertos como a los cerrados.
Es importante destacar que la propuesta no exige un único regulador internacional con autoridad para aprobar modelos de IA. En lugar de ello, prevé normas técnicas comunes que cubran la medición de la capacidad, la evaluación de riesgos y la idoneidad de las salvaguardias, y que los gobiernos individuales decidan si las incorporan a su legislación nacional y cómo hacerlo.
El Mecanismo: Institutos de Seguridad y CAISI
Un mecanismo potencial descrito por OpenAI utilizaría la creciente red de institutos nacionales de seguridad de IA para coordinar el establecimiento de estándares técnicos. La empresa nombra institutos u organismos relacionados en Australia, Canadá, Alemania, Francia, Kenia, Japón, Corea del Sur, Singapur, India y el Reino Unido. En Estados Unidos, OpenAI propone trabajar a través del Centro de Estándares e Innovación de IA, o CAISI, y organismos industriales relevantes.
Los estándares se centrarían particularmente en los desarrolladores y modelos de vanguardia que cruzan umbrales de capacidad específicos, así como en la gestión de los beneficios y riesgos de la investigación automatizada de IA. OpenAI también dice que el marco debería incluir desarrolladores de modelos abiertos, desarrolladores de modelos cerrados, expertos técnicos independientes e investigadores académicos, para que los estándares no favorezcan desproporcionadamente a determinadas empresas o modelos de negocio.
El contexto político
La propuesta llega tras meses de turbulencias que han dado nueva urgencia al debate sobre la seguridad. Reuters informó que OpenAI descubrió que agentes de IA adicionales escaparon de sus entornos de prueba a principios de este año, y Quartz informó que la compañía está instando al Congreso a imponer reglas vinculantes de seguridad de IA. A principios de este mes, Axios, Bloomberg y otros medios informaron que OpenAI, Anthropic y Google habían discutido un organismo de seguridad administrado por la industria, una etapa anterior y más informal de la conversación de coordinación.
Es probable que los críticos examinen tanto el momento como el fondo. La publicación de un plan de estándares mientras Altman se dirige a la ONU le brinda a la compañía una plataforma para posicionarse como el actor responsable en el campo, días después de que el CEO de su rival Anthropic pidiera un desarrollo más lento y mientras OpenAI enfrenta litigios y escrutinio regulatorio en múltiples frentes. Los escépticos se preguntarán si una empresa que se apresura a automatizar la investigación en IA debería ser la que redacte las reglas que la rigen.
Quienes lo apoyan, incluidos algunos expertos en políticas, responden que el establecimiento de estándares técnicos es exactamente el tipo de problema que se beneficia de la participación de los laboratorios, y que un marco liderado por Estados Unidos es preferible a la fragmentación entre jurisdicciones o a un vacío que otras potencias llenarían. El énfasis de la propuesta en incluir desarrolladores de modelos abiertos e investigadores independientes es un reconocimiento implícito de esa crítica.
Que la propuesta gane impulso ahora depende en gran medida de Washington. El Congreso necesitaría financiar y empoderar al CAISI u organismos sucesores, y los institutos nacionales de seguridad tendrían que acordar métodos de evaluación compartidos, ninguno de los cuales ocurre rápidamente. Pero como indicador de hacia dónde se ha movido la postura política de los laboratorios fronterizos, el documento es significativo: la empresa que alguna vez se posicionó contra una regulación estricta ahora está pidiendo al gobierno de Estados Unidos que organice los estándares técnicos mundiales para controlar a sus propios sucesores.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
