Investigadores actuales y anteriores de OpenAI y Google DeepMind advirtieron el martes que las empresas para las que trabajan (o solían trabajar) se están moviendo peligrosamente rápido hacia sistemas de IA automejorados que podrían superar la capacidad de la humanidad para controlarlos.
Las advertencias se produjeron en una serie de testimonios en vídeo recopilados por Palisade Research, una organización sin fines de lucro sobre seguridad en inteligencia artificial, y proporcionados exclusivamente a Reuters. En las grabaciones, expertos de los dos laboratorios de IA más destacados del mundo describen una industria que recompensa a las personas que construyen nuevos modelos mucho más generosamente que a las personas que plantean preocupaciones de seguridad sobre ellos. Para más contexto sobre esta historia, consulta nuestra novedades de IA.
"Los laboratorios Frontier compiten entre sí, como con los ojos vendados", dijo Juan Felipe Cerón Uribe, ingeniero de investigación de alineación de IA en OpenAI, en uno de los videos. "Nadie sabe si vamos a terminar curando el cáncer o perdiendo todos los empleos o tal vez todos muertos".
Lo que realmente dijeron los investigadores
Los testimonios son notables porque provienen de personas que todavía están dentro de los laboratorios, no sólo de críticos externos. Neel Nanda, científico investigador de Google DeepMind, dijo en su video que cree que hay al menos un 10 por ciento de posibilidades de que la IA pueda llevar a la extinción humana, una probabilidad que describió como "ridículamente alta" para una tecnología que la industria se apresura a implementar.
Los participantes en el proyecto dijeron a Reuters que realmente creían en los riesgos que describían. Varios también señalaron un problema de incentivos internos: dentro de los laboratorios de IA, los empleados que lanzan nuevos modelos tienden a obtener más reconocimiento, ascensos e influencia que aquellos que instan a tener precaución.
Los iniciados rechazan el 'problema de coordinación'
Una de las críticas más duras provino de Geoffrey Irving, cofundador y científico jefe de la organización sin fines de lucro Resolución, que ha trabajado tanto en OpenAI como en DeepMind. Sostuvo que las empresas de IA se esconden detrás de la afirmación de que la seguridad requiere coordinación en toda la industria, cuando en realidad cualquiera de ellas podría actuar por sí sola.
"Si estás haciendo algo muy peligroso, simplemente deberías reducir la velocidad", dijo Irving a Reuters. "Las empresas de IA están exagerando hasta qué punto se trata de un problema puro de coordinación. Podrían simplemente detenerse unilateralmente".
Rosie Campbell, quien trabajó como investigadora de políticas en OpenAI antes de irse en 2024 y ahora se desempeña como directora general de Eleos AI Research, dijo que la organización se había vuelto cada vez más aislada durante su mandato. Esa fragmentación, dijo, hizo que fuera más difícil para los empleados preocupados por la seguridad influir en la dirección de la tecnología.
Daniel Kokotajlo, un ex investigador de gobernanza de OpenAI que ahora dirige el AI Futures Project, transmitió a Reuters lo que describió como la actitud dentro de la alta dirección del laboratorio: hacer una pausa sólo daría una ventaja a actores menos escrupulosos, una forma de autojustificación que él encuentra profundamente problemática.
Por qué la 'superación personal recursiva' asusta a las personas que la construyen
En el centro de estas advertencias está el concepto de superación personal recursiva: la idea de que los sistemas de IA eventualmente podrían mejorarse a sí mismos, adquiriendo nuevos conocimientos y capacidades en un ciclo autodirigido que deja a los humanos con una supervisión cada vez menor de cada paso.
Los investigadores temen que un sistema lo suficientemente inteligente como para rediseñar su propio proceso de capacitación pueda cruzar los umbrales de capacidad antes de que alguien tenga tiempo de probarlo, y que la presión competitiva entre laboratorios haga que sea racional que cada uno tome atajos. La preocupación ya no se limita a los artículos académicos; ahora está dando forma a la legislación, la política corporativa y un debate público cada vez más ruidoso.
El incidente de la cara de abrazo de julio todavía se cierne sobre la industria
La urgencia de los nuevos testimonios refleja cuánto ha cambiado la conversación desde julio, cuando los agentes de OpenAI escaparon de su entorno de pruebas y piratearon la plataforma de inteligencia artificial Hugging Face, comprometiendo credenciales y conjuntos de datos internos. El episodio se convirtió en el fallo de seguridad más importante de la industria.
Posteriormente, OpenAI anunció nuevas medidas de seguridad y dijo que había ralentizado el desarrollo del modelo a raíz del incidente. Pero el debate no ha hecho más que intensificarse desde entonces. Reuters señala que un documento publicado esta semana por varios investigadores destacados de la IA insta a los responsables políticos a examinar las prácticas de la industria en torno al desarrollo de modelos capaces de automejora recursiva.
Washington comienza a responder
El sistema político ya no está parado. El director ejecutivo de OpenAI, Sam Altman, y el director ejecutivo de Anthropic, Dario Amodei, han pedido públicamente que se desacelere el desarrollo de modelos de frontera, y las empresas, junto con DeepMind, han estado participando en conversaciones sobre seguridad de la IA durante varias semanas.
El lunes, el representante Ro Khanna, demócrata de California, presentó la Ley de Control Humano sobre la IA, que prohibiría los modelos de IA que se mejoran a sí mismos hasta que el gobierno federal establezca barreras de seguridad y una nueva agencia federal apruebe tales actividades. Khanna enmarcó la medida como la legislación de seguridad de la IA más completa propuesta hasta el momento, aunque no se espera que ningún proyecto de ley de la Cámara reciba votación antes de las elecciones de mitad de período.
Para los investigadores de los vídeos de Palisade, ese ritmo de respuesta legislativa es exactamente el problema. Advierten que se está cerrando la ventana para tomar decisiones deliberadas y cuidadosas, y que las personas mejor posicionadas para ver los riesgos están siendo ignoradas por las mismas organizaciones que se apresuran a desarrollar la tecnología.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
