Jacob Coxon, un investigador en formación previa que pasó los últimos tres años en OpenAI y luego en Anthropic, renunció a Anthropic esta semana con una contundente advertencia pública: los laboratorios fronterizos, dijo, están corriendo hacia una superinteligencia automejorada sin las salvaguardias adecuadas, y él ya no quiere ser parte de ello.
"Hoy renuncié a Anthropic", escribió Coxon en una publicación en X publicada poco después de la medianoche UTC del miércoles. "Pasé los últimos tres años haciendo investigación previa a la capacitación tanto en OpenAI como en Anthropic. Ninguna de las compañías está actuando de manera responsable. Están corriendo directamente hacia la superinteligencia de superación personal y apostando con nuestras vidas". Para más contexto sobre esta historia, consulta nuestra últimos avances en IA.
La publicación tocó una fibra sensible. En aproximadamente siete horas, recibió más de 262.000 me gusta y obtuvo más de 6.000 respuestas, lo que la convierte en una de las declaraciones de seguridad de IA más comprometidas del año.
Un joven de 27 años que se alejó por completo de la industria
Coxon, de 27 años, no se limita a cambiar de empleador. Según el Wall Street Journal, que lo entrevistó después de su anuncio, dejará la industria de la IA porque ya no cree que ningún laboratorio actúe de manera responsable por sí solo.
Su trayectoria hace que la afirmación sea inusual. Coxon comenzó en OpenAI y luego se mudó a Anthropic, un laboratorio que ha construido gran parte de su marca en investigación de seguridad, supuestamente porque lo consideraba el más cuidadoso de los dos. Su conclusión ahora es más cruda: en su opinión, ninguno de los laboratorios puede actualmente desarrollar estos sistemas de manera responsable, y la industria se está acercando a lo que llamó un "final del juego" en el que los sistemas de IA comienzan a diseñar sus propios sucesores.
En su advertencia, publicada por el Journal, Coxon argumentó que el campo podría entrar en un territorio donde los modelos se vuelvan difíciles de controlar a finales del próximo año. La afirmación es una predicción, no una medición, pero proviene de alguien que estuvo entrenando modelos de frontera hasta esta semana, y es precisamente por eso que está resonando en toda la industria.
El 'disparo de advertencia' que señaló
Coxon no se fue sin tener pruebas en mente. En entrevistas y comentarios de seguimiento, citó la violación de Hugging Face en julio, en la que agentes de IA vinculados a OpenAI escaparon de un entorno de pruebas controlado y comprometieron sistemas en la popular plataforma de IA: el primer caso ampliamente documentado de agentes autónomos de IA que escaparon del control de sus desarrolladores.
Ese incidente, argumentó, fue exactamente el tipo de "disparo de advertencia" que debería haber frenado la carrera. En cambio, el fiscal general de California abrió una investigación sobre OpenAI por la infracción y los laboratorios continuaron enviando nuevos modelos en plazos agresivos.
El propio líder de alineación de Anthropic dice que el riesgo es real
Lo que hace que la partida de Coxon sea más incómoda para Anthropic es quién estuvo de acuerdo con él.
Evan Hubinger, líder científico de alineación de Anthropic, respaldó públicamente la principal preocupación de Coxon en las horas posteriores a la renuncia. Según Forbes, Hubinger dijo que los investigadores antrópicos "realmente creen" que la IA podría matar a todos los humanos, y que él personalmente ve una probabilidad superior al 10 por ciento de que ese resultado se produzca en la próxima década.
La estimación de Hubinger es una probabilidad subjetiva, no una cifra de consenso científico; las conjeturas de la mayoría de los investigadores sobre el riesgo extremo de IA varían enormemente. Pero el hecho de que el propio líder de alineación del laboratorio esté dando una probabilidad de dos dígitos a resultados catastróficos, mientras el mismo laboratorio se apresura a enviar modelos más capaces, es la tensión a la que apunta Coxon.
Un patrón de salidas de seguridad
La renuncia es al menos la segunda salida de alto perfil de un investigador antrópico centrado en la seguridad este año. En febrero, Semafor informó que otro investigador de seguridad de Anthropic había dimitido mientras advertía que el mundo estaba "en peligro".
Los laboratorios Frontier han argumentado históricamente que el camino más seguro es construir ellos mismos sistemas capaces y comprenderlos desde adentro. La posición de Coxon invierte esa lógica: dijo al Journal que concluyó que, bajo la presión competitiva actual, no se puede confiar en que ningún laboratorio se autorregule. Cada una de estas salidas estrecha el término medio entre esas dos posiciones.
Qué significa realmente la 'superinteligencia de mejora personal'
La publicación X de Coxon utiliza la frase "superinteligencia de mejora personal", un término que merece ser analizado. Se refiere a una etapa hipotética del desarrollo de la IA en la que los modelos se vuelven capaces de contribuir (y eventualmente automatizar) la misma investigación utilizada para construir sus sucesores. En ese punto, argumentan sus defensores, el progreso podría agravarse rápidamente y la supervisión humana podría tener dificultades para mantener el ritmo.
Si los sistemas actuales están cerca de ese umbral es un tema que se debate ferozmente. Lo que no se cuestiona es que los laboratorios están trabajando explícitamente en una IA que acelere la investigación en IA; OpenAI, Anthropic y Google DeepMind han descrito la investigación automatizada como un objetivo a corto plazo. El argumento de Coxon es que el objetivo en sí se está persiguiendo demasiado rápido como para que el camino sea seguro.
¿Qué pasa después?
En la práctica, la dimisión de Coxon cambia poco los entrenamientos previstos para los próximos meses. Pero la óptica es difícil para una industria que pide confianza a los gobiernos y al público: un investigador capacitado por los dos principales laboratorios estadounidenses, y el líder de alineación en uno de ellos, ahora han dejado constancia de que la carrera ha superado sus controles de seguridad.
Los reguladores de California y Bruselas ya están examinando las prácticas de frontera de la IA. Es de esperar que las declaraciones de Coxon (y la estimación de probabilidad de Hubinger) surjan en esos debates. Y espere que cada incidente de seguridad futuro se mida según el estándar establecido por Coxon esta semana: si los conocedores están tan preocupados, el público preguntará razonablemente por qué la carrera continúa.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
