Más de 20 investigadores, entre ellos el premio Nobel Geoffrey Hinton, el también pionero de la IA Yoshua Bengio, el cofundador de Anthropic Jack Clark y el científico jefe de OpenAI Jakub Pachocki, han advertido a los gobiernos que se preparen para una "explosión de inteligencia" de la IA que, según dicen, podría ser el desarrollo tecnológico más importante de la historia, informó The Guardian el lunes.

El documento, titulado "¿Qué pasaría si la automatización de la I+D en IA desencadena una explosión de inteligencia?", insta a los políticos a actuar antes de que se produzca un progreso desenfrenado en la tecnología. Sus autores describen el escenario como una "dramática aceleración del progreso de la IA impulsada por la IA, comprimiendo avances que de otro modo llevarían años en meses o menos". Para los lectores que siguen las últimas noticias sobre investigación de IA, el informe llama la atención menos por su alarma que por quién lo firmó: figuras de todo el mundo académico y de laboratorios fronterizos rivales, que defienden conjuntamente que la investigación automatizada es el escenario para el que los formuladores de políticas están menos preparados.

Qué significaría una explosión de inteligencia

La preocupación central de los autores es la perspectiva de que los sistemas de IA mejoren a sí mismos sin intervención humana, un proceso conocido como automejora recursiva, al que se hace referencia en términos generales en el artículo como investigación y desarrollo automatizados de IA.

Una vez que los sistemas de IA alcancen capacidades de nivel experto en I+D de IA, sostiene el artículo, un solo desarrollador podría gestionar una fuerza laboral equivalente a "millones" de investigadores humanos de primer nivel. La automatización de la investigación y el desarrollo de la IA es, en opinión de los autores, el desencadenante más probable de una explosión de inteligencia, porque los sistemas de IA ya están contribuyendo a mejorar su propia tecnología, y los sistemas mejorados que ayudan a crear pueden implementarse rápidamente una vez construidos.

"Una explosión de inteligencia podría ser el desarrollo tecnológico más trascendental en la historia de la humanidad, comprimiendo años de progreso en meses o menos, amenazando el control humano sobre los sistemas de IA y erosionando gravemente los controles sobre el poder dentro y entre los estados, las empresas y las ramas del gobierno", dice el documento, según The Guardian.

Por qué los autores dicen que la ventana se está cerrando

La urgencia del informe se basa en una afirmación sobre el cronograma: los sistemas de inteligencia artificial que hoy parecen tener fallas podrían automatizar completamente los proyectos de I+D que actualmente llevan meses a los equipos humanos para 2028.

"Las ganancias de productividad derivadas de la automatización de la investigación y el desarrollo de la IA aún no han alcanzado el umbral necesario para desencadenar una explosión de inteligencia, pero las ganancias de los sistemas más nuevos probablemente se estén acercando a ese umbral", escriben los autores. "Una vez que comienza una explosión de inteligencia, la ventana para la acción puede cerrarse".

El documento añade que "las pruebas preliminares sugieren que es posible una explosión de inteligencia impulsada por software", que podría conducir al "desarrollo extremadamente rápido de sistemas de IA altamente capaces o sobrehumanos".

Los riesgos que señalan

Si bien una explosión de inteligencia podría producir avances médicos y rápidos avances tecnológicos, los autores describen tres peligros principales:

  • Amenazas desbocadas. Sistemas potentes podrían permitir que las amenazas biológicas y cibernéticas se desarrollen más rápido que las medidas necesarias para contrarrestarlas.
  • Perdió el control. A medida que los humanos se involucran menos en la investigación y el desarrollo de la IA, podrían perder la oportunidad de dirigir y limitar los sistemas que construyen.
  • Inestabilidad estratégica. Los Estados podrían utilizar una explosión de inteligencia para convertir una ventaja modesta (en el ciberespacio, por ejemplo) en una ventaja nacional decisiva.

El informe es sincero y afirma que estos impactos son "inciertos". La implementación de un avance tecnológico podría llevar tiempo, dadas las cadenas de suministro de materiales especializados o los requisitos regulatorios, y los sistemas de inteligencia artificial también podrían acelerar la velocidad a la que se mitigan los riesgos.

Qué deberían hacer los gobiernos

Los autores dicen que prepararse para una explosión de inteligencia "debería ser una prioridad urgente, incluso en los niveles más altos de liderazgo gubernamental", y exponen un conjunto de políticas candidatas:

  • Exigir informes de progreso transparentes sobre la I+D relacionada con la IA, incluida la incorporación de auditores independientes dentro de las empresas de IA.
  • Limitar la rapidez con la que un sistema de IA puede mejorar en un período de tiempo determinado.
  • Trabajar con centros de datos para permitir pausar ciertos proyectos de I+D de IA.
  • Garantizar que los sistemas automatizados de I+D de IA estén completamente aislados y no puedan escapar al control humano.
  • Crear "planes de respuesta de emergencia" para la variedad de escenarios que podría producir una explosión de inteligencia.

Las propuestas amplían ideas que ya están en marcha en la política occidental de IA (informes obligatorios de incidentes, evaluación de terceros y gobernanza informática), pero las aplican a un punto final específico: la automatización de la investigación en sí.

Por qué estos autores y por qué ahora

Los firmantes dan al documento un peso inusual. Hinton y Bengio son dos de los "padrinos" de la IA moderna, reconocidos por su trabajo fundamental en redes neuronales; Ambos se han convertido en voces destacadas que advierten sobre la tecnología que ayudaron a crear. Clark cofundó Anthropic y Pachocki es el científico jefe de OpenAI.

Su advertencia surge en medio de un movimiento industrial mensurable en esa dirección. Anthropic ha dicho que la IA ahora produce el 80% de su propio código, mientras que OpenAI utiliza agentes de IA autónomos en áreas como el entrenamiento de nuevos modelos, según The Guardian. Ambos laboratorios también acordaron que evaluadores independientes evaluaran sus modelos después de advertir que el desarrollo de la IA estaba alcanzando un punto crítico en términos de seguridad.

Si los gobiernos avanzarán al ritmo que los autores quieren es otra cuestión. Pero el argumento central del artículo (que el momento de construir los frenos es antes de que el automóvil los necesite) ahora cuenta con el respaldo de las personas más cercanas a la máquina.

---

Manténgase a la vanguardia de la IA

Obtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.

Leer más noticias sobre IA →