OpenAI está hablando con múltiples evaluadores independientes para ayudar a aumentar el número de empresas que tienen experiencia en seguridad de IA de vanguardia y pueden proporcionar evaluaciones efectivas de terceros, dijo la compañía en una publicación de blog publicada el martes 22 de septiembre, según informó PYMNTS.

La publicación establece las prioridades y principios propuestos por OpenAI para una supervisión efectiva de terceros, un marco que, según dice, debería aplicarse a todos los laboratorios de IA fronterizos a medida que entrenan, evalúan e implementan modelos cada vez más capaces. El anuncio llega en medio de un mes inusualmente cargado para la política de seguridad de la IA, y se lee como una concesión a los críticos y un intento de dar forma a las reglas antes de que los gobiernos las escriban. Para cualquiera que siga las últimas noticias sobre IA, es el último paso en una competencia de semanas entre los laboratorios, sus críticos y los reguladores sobre quién puede verificar que los modelos fronterizos sean seguros.

Qué propone OpenAI

"Estamos comprometidos a apoyar a los evaluadores independientes y a establecer estándares internacionales compartidos más claros, tanto a través de leyes futuras como de iniciativas de gobernanza privada, para evaluaciones efectivas de terceros", dijo OpenAI en la publicación, según PYMNTS.

El problema central que describe OpenAI es una falla del mercado: simplemente hay muy pocas organizaciones con la profundidad técnica para auditar un modelo de frontera. Una evaluación de seguridad significativa requiere acceso a sistemas inéditos, experiencia en áreas que van desde la ciberseguridad hasta la bioseguridad y la independencia institucional para publicar hallazgos no deseados. Al reclutar y apoyar a múltiples evaluadores en lugar de un único auditor privilegiado, OpenAI dice que quiere construir un ecosistema donde la evaluación de terceros sea una parte rutinaria del despliegue de sistemas fronterizos, no un ejercicio único de relaciones públicas.

La compañía no nombró a los evaluadores con los que está hablando y queda por ver si los acuerdos resultantes darán a los evaluadores el acceso, la independencia de financiación y los derechos de publicación que los investigadores de seguridad consideran significativos.

Una semana de latigazos en la política de IA

La propuesta llega en medio de una rápida secuencia de desarrollos políticos que han definido el debate sobre IA de septiembre:

  • Lunes 21 de septiembre: OpenAI pidió a Estados Unidos que lidere un esfuerzo internacional para desarrollar estándares técnicos globales para la IA de vanguardia, incluida la superación personal recursiva, el punto en el que los sistemas de IA se mejoran a sí mismos. La compañía advirtió que el desarrollo de IA totalmente autónoma podría superar la capacidad de los humanos para comprenderla y controlarla, y dijo que es necesario tomar decisiones ahora sobre si proceder y cómo proceder.
  • Viernes 18 de septiembre: El gobernador de California, Gavin Newsom, firmó una orden ejecutiva que convoca a expertos nacionales para reforzar las leyes de seguridad de la IA del estado, cuyo objetivo explícito es acelerar la implementación de una nueva supervisión por parte de terceros de los riesgos de seguridad en los sistemas de IA.
  • Sábado 19 de septiembre: El presidente Donald Trump rechazó las preocupaciones de seguridad de la industria en una publicación de Truth Social, escribiendo: "No obstaculizaremos ni sofocaremos de ninguna manera el crecimiento de esta increíble industria. La IA es la próxima Revolución Industrial, o Internet, pero será aún mayor e impactante, posiblemente hasta el 25% del PIB de nuestro país".

Como informamos a principios de esta semana, la propuesta de estándares de OpenAI liderada por Estados Unidos marcó un cambio sorprendente para una empresa que pasó años resistiéndose a la supervisión vinculante, y los nuevos principios de evaluación de terceros extienden esa postura al frente de la gobernanza privada.

El problema de la independencia

La adopción de organismos de control externos por parte de OpenAI sigue a una propuesta paralela de su principal rival. Aproximadamente una semana antes, el director ejecutivo de Anthropic, Dario Amodei, publicó un ensayo en el que proponía un plan de seguridad de la IA construido en torno a evaluadores independientes integrados dentro de las principales empresas de IA, la coordinación entre empresas en países democráticos y, finalmente, un acuerdo internacional que incluya a China.

Ambas propuestas han suscitado el escepticismo inmediato de los expertos. CNBC informó que una coalición de más de 100 expertos en IA está instando a la independencia y la transparencia de Anthropic, OpenAI y otros laboratorios modelo de fundaciones que realizan evaluaciones, advirtiendo que los evaluadores que están integrados en (o pagados por) las empresas que auditan enfrentan conflictos de intereses inevitables. Los organismos de control respaldados por el pionero de la IA Geoffrey Hinton han presionado a ambas empresas sobre los detalles de sus planes de seguridad, y los comentaristas han señalado la puerta giratoria entre las organizaciones de evaluación de la seguridad de la IA y los propios laboratorios: las personas que califican la tarea de seguridad también pueden ser quienes la escribieron.

Esa tensión es el meollo del debate que la nueva publicación de OpenAI intenta desactivar. La respuesta de la empresa (más asesores, estándares internacionales compartidos y supervisión aplicada tanto a través de leyes futuras como de iniciativas privadas) es un marco, todavía no una garantía. Los críticos señalarán que los laboratorios que proponen las reglas son los mismos laboratorios sujetos a ellas, y que la gobernanza autoconfigurada ha favorecido históricamente a las empresas que las configuran.

Por qué es importante

Los modelos de la próxima frontera ya están en formación y se está cerrando la ventana para diseñar la supervisión antes del despliegue. Si el reclutamiento de asesores independientes por parte de OpenAI produce auditores con acceso real e independencia real, podría convertirse en el modelo de cómo se gobierna la IA de frontera en todo el mundo: un régimen privado que los legisladores en Washington, Bruselas y otros lugares hasta ahora no han logrado construir por sí mismos. Si produce consultorías afiliadas a las NDA, confirmará la peor lectura de los escépticos.

De cualquier manera, el hecho de que OpenAI esté compitiendo con Anthropic sobre quién puede proponer el régimen de supervisión más creíble es en sí mismo nuevo. Hace un año, los laboratorios estaban unificados principalmente para oponerse a la regulación. Ahora se apresuran a definirlo.

---

Manténgase por delante de la IA

Obtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.

Leer más noticias sobre IA →