Un cofundador de Anthropic dice que es posible que los gobiernos necesiten obligar a las empresas de inteligencia artificial a instalar un "interruptor de apagado" (un mecanismo para apagar los sistemas de inteligencia artificial por completo) y que los inspectores externos deberían poder verificar que realmente funciona.
Jack Clark, uno de los siete fundadores del laboratorio de IA de 965 mil millones de dólares, le dijo a la BBC que si bien la mayoría de los laboratorios líderes ya tienen formas internas de "desconectar" sistemas peligrosos, la sociedad "podría eventualmente querer aprobar reglas" que hagan que tales cambios sean obligatorios y auditables de forma independiente. Para los lectores que siguen el [debate sobre la seguridad de la IA] más amplio (https://aibuzzwire.news), su intervención marca la propuesta política más concreta hasta ahora desde el interior de un laboratorio fronterizo durante una semana de crecientes advertencias.
"¿Debería exigirse a las empresas que definitivamente tengan un interruptor de apagado? ¿Ese interruptor de apagado es verificable por un tercero?" Clark dijo en la entrevista con la reportera de tecnología Kali Hays y el editor de economía Faisal Islam. "Creo que ese es el tipo de cosas que la sociedad querrá saber y, eventualmente, querrá aprobar reglas".
'Estamos tirando dados con riesgos inmensos'
El comentario más sorprendente de Clark fue un rechazo total al status quo. Cuando se le preguntó sobre la trayectoria de la industria, dijo que permitir que la IA continuara como una "industria totalmente desregulada" era una mala idea.
"Estamos jugando a los dados con riesgos inmensos", afirmó. "Y la cuestión es que tenemos que cambiar el curso de esta industria".
A diferencia de algunos de sus colegas, Clark se negó a poner una cifra al riesgo de extinción humana. "No creo que estas estadísticas sean tan útiles", dijo, un contraste notable con el investigador antrópico Evan Hubinger, quien dijo la semana pasada que él personalmente creía que había una probabilidad superior al 10% de extinción humana a causa de la IA en la próxima década, y con el pionero de la IA Geoffrey Hinton, quien le dijo a la BBC el viernes que una estimación del 10% "no era irrazonable".
Lo que Clark no discute es la dirección del viaje. La IA es, como lo expresó en la misma entrevista, "cada día más poderosa", y argumentó que los detalles de cualquier requisito de cierre, incluido quién lo verificaría y cómo, pertenecen a "la conversación política más amplia" que ahora tiene lugar en torno a la IA.
Una propuesta con impulso legislativo
La propuesta de Clark no cae en el vacío. Los legisladores estadounidenses ya han presentado una legislación denominada Ley Kill Switch, que requeriría que los desarrolladores de IA fronterizas incorporen mecanismos de apagado en sus sistemas, un proyecto de ley que AI Buzz Wire cubrió el mes pasado a medida que crecía su urgencia tras los incidentes con agentes deshonestos.
La idea también enfrenta un abierto escepticismo. En el Reino Unido, el secretario de Negocios, Jonathan Reynolds, dijo a la BBC que no encontraba útil el concepto, diciendo que "no estaba realmente seguro de lo que eso significaría en la práctica", y advirtió que una regulación excesiva podría dejar al país aislado de los modelos desarrollados en el extranjero.
El telón de fondo: una guerra civil de seguridad y una oferta pública inicial (IPO)
Los comentarios de Clark coronan una semana en la que la seguridad de la IA pasó del tema de seminario a las noticias de primera plana. El director ejecutivo de Anthropic, Dario Amodei, pidió el fin de semana que el ritmo del desarrollo fronterizo se desacelere y sea monitoreado más de cerca, al tiempo que insistió en que cualquier pausa debería realizarse "sin sacrificar la ventaja comercial". Luego llevó ese caso a una audiencia estadounidense generalizada en una entrevista con Anderson Cooper de CNN, y el propio Coxon apareció en la cadena para reaccionar ante él. Los comentarios siguieron a una publicación viral de renuncia del ex investigador antrópico Jacob Coxon advirtiendo sobre el destino de la humanidad, lo que a su vez provocó la estimación de extinción de Hubinger. The Guardian, por su parte, examinó por qué esta advertencia apocalíptica en particular apareció donde las anteriores se habían desvanecido.
Las alarmas han sido recibidas con abierta burla por parte de partes de la industria tecnológica. El director ejecutivo de Hugging Face, Clement Delangue, se burló de la decisión de convertir a Coxon en portavoz del riesgo de extinción y escribió: "Lo siento, pero preguntarle a Jacob sobre el riesgo de extinción de la IA es como preguntarle a su encargado de aire acondicionado sobre el cambio climático". El director ejecutivo de Grindr, George Arison, fue más allá y argumentó que el alarmismo tiene una motivación comercial. "La única forma de justificar estas valoraciones es afirmar: 'Voy a hacerme cargo de todas las industrias y de todos los trabajos, y mi IA hará todo ese trabajo'", dijo.
También hay una enorme cantidad de dinero en juego en el resultado de este debate. Anthropic se está preparando para una oferta pública inicial con una valoración de 965 mil millones de dólares, mientras que se esperaba que OpenAI, valorada más recientemente en 852 mil millones de dólares, saliera a bolsa antes de que el director ejecutivo Sam Altman dijera el viernes que no se realizaría una oferta pública inicial este año debido a la controversia sobre la seguridad. Críticos como Arison argumentan que la retórica pesimista y el discurso de recaudación de fondos son dos caras de la misma moneda; La respuesta de Clark es que la industria debe cambiar de rumbo de todos modos.
Que un interruptor de apagado obligatorio y verificable se convierta alguna vez en ley dependerá de los legisladores que hasta ahora han mostrado poco interés en limitar una industria que está impulsando la economía estadounidense. Pero por primera vez, uno de los conocedores más poderosos de la tecnología los invita explícitamente a intentarlo.
---
Manténgase a la vanguardia de la IAObtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.
Leer más noticias sobre IA →
