El director ejecutivo de Anthropic, Dario Amodei, advirtió a los legisladores que la tendencia acelerada hacia la inteligencia artificial de código abierto podría llevar a la sociedad por un camino peligroso si se lanzan modelos poderosos sin cuidadosas salvaguardias, reavivando uno de los debates más polémicos en la política de IA.

Amodei, quien fundó y dirige la compañía detrás de la familia de modelos Claude, argumentó que la naturaleza única de la IA de código abierto, que hace que los sistemas avanzados estén disponibles gratuitamente para que cualquiera pueda descargarlos, modificarlos e implementarlos, crea riesgos que el software de código abierto convencional nunca planteó. Sus comentarios, recogidos por Tekedia, se centran en la dificultad de controlar una IA capaz una vez que se ha distribuido públicamente. Para obtener más contexto sobre esta historia, consulte nuestras más historias de IA en curso.

A diferencia del software tradicional, los sistemas de inteligencia artificial de vanguardia pueden generar texto convincente, producir imágenes realistas, escribir códigos informáticos y ayudar con tareas de ciberseguridad. Amodei sostiene que, en las manos equivocadas, esas capacidades podrían explotarse para automatizar ciberataques, montar sofisticadas campañas de desinformación o promover investigaciones biológicas dañinas.

El problema de la permanencia

Uno de los riesgos centrales que destacó Amodei es que una vez que un modelo poderoso se publica abiertamente, resulta prácticamente imposible retirarlo. Los sistemas cerrados operados por empresas pueden monitorearse, parcharse y restringirse cuando surgen nuevas vulnerabilidades. Por el contrario, un modelo de código abierto puede copiarse indefinidamente y redistribuirse a través de Internet, lo que deja a los desarrolladores sin ningún mecanismo para limitar su uso después de su lanzamiento.

Esa permanencia, advirtió Amodei, es especialmente preocupante a medida que los modelos se acercan al desempeño a nivel humano en tareas cada vez más complejas. Sostuvo que la IA avanzada debería someterse a sólidas pruebas de seguridad, implementación controlada y supervisión regulatoria adecuada antes de que sea ampliamente accesible, en lugar de ser tratada como software ordinario que puede mejorarse abiertamente y en colaboración.

Su posición refleja una creciente brecha en la industria. Los defensores de la IA de código abierto argumentan que el acceso público estimula la competencia, democratiza el progreso tecnológico y evita que un puñado de corporaciones monopolicen la inteligencia artificial. Los desarrolladores de todo el mundo pueden inspeccionar la arquitectura del modelo, descubrir fallas de seguridad y mejorar los sistemas de manera colaborativa, mientras que las nuevas empresas, los investigadores y las instituciones educativas pueden construir sin depender de costosas plataformas propietarias.

Riesgos específicos sobre la mesa

Las preocupaciones de Amodei no son abstractas. Los investigadores ya han despojado a los modelos lanzados abiertamente de sus barandillas de seguridad mediante técnicas sencillas de ajuste, una práctica que demostró con qué rapidez se pueden eliminar las medidas de protección una vez que los pesos subyacentes son públicos. A medida que los modelos se vuelven más capaces en tareas como la química, la biología y la explotación de software, la preocupación es que los lanzamientos abiertos puedan brindar capacidades poderosas a actores que nunca pasarían la evaluación que los laboratorios responsables imponen a sus clientes.

La dimensión de la desinformación también ha sido objeto de escrutinio. Los modelos que pueden generar texto, imágenes y audio realistas a escala podrían orientarse hacia la interferencia electoral, el fraude financiero o la producción masiva de propaganda. Debido a que un modelo abierto opera completamente en el propio hardware del atacante, señaló Amodei, no hay API que acelerar, ninguna cuenta que suspender y ningún proveedor al que responsabilizar una vez que el daño está hecho.

Un contexto competitivo

Las advertencias de Amodei llegan en medio de una oleada de modelos abiertos capaces de parte de desarrolladores chinos. El GLM-5.2 de Zhipu, junto con otros sistemas chinos de bajo costo, ha llamado la atención sobre la rapidez con la que los modelos abiertos y disponibles abiertamente están cerrando la brecha con los sistemas propietarios de vanguardia de Anthropic y OpenAI. Esa presión competitiva ha intensificado el debate político sobre si las restricciones a las liberaciones abiertas beneficiarían a las empresas dominantes o dejarían a las sociedades expuestas a un uso indebido.

Los críticos de la postura de Amodei sostienen que restringir la IA de código abierto podría afianzar inadvertidamente a las grandes empresas de tecnología al limitar la innovación independiente. También señalan que la transparencia frecuentemente permite a los investigadores identificar vulnerabilidades más rápido que el desarrollo cerrado. Sin embargo, incluso muchos defensores del desarrollo abierto reconocen que los sistemas cada vez más potentes pueden requerir marcos de gobernanza más sólidos que las generaciones anteriores de software.

La cuerda floja regulatoria

La discusión ha cobrado urgencia a medida que los gobiernos de todo el mundo evalúan nuevas regulaciones sobre IA. Las autoridades enfrentan un equilibrio difícil: restricciones excesivas podrían desacelerar el crecimiento económico y los descubrimientos científicos, mientras que una supervisión insuficiente podría exponer a las sociedades a riesgos difíciles de anticipar. Para lograr ese equilibrio, sugirió Amodei, se requiere la colaboración entre gobiernos, empresas de tecnología, investigadores académicos y la sociedad civil.

Su testimonio subraya uno de los debates de política tecnológica más importantes de la década. A medida que la inteligencia artificial se vuelve más capaz, la sociedad debe decidir cómo fomentar la innovación y al mismo tiempo minimizar los peligros asociados con el acceso generalizado a sistemas transformadores. Ya sea a través de regulaciones, estándares industriales o cooperación internacional, las decisiones que se tomen en los próximos meses sobre la IA de código abierto podrían determinar quién controla la tecnología y con qué seguridad se implementa en los próximos años.

Para Anthropic, la postura es consistente con el énfasis de larga data de la compañía en la seguridad de la IA y las liberaciones controladas. Pero con los modelos abiertos avanzando rápidamente y los reguladores todavía luchando por ponerse al día, la brecha entre las advertencias de Amodei y el ritmo del movimiento de código abierto puede estar estrechándose más rápido de lo que los formuladores de políticas pueden cerrarla.

---

Manténgase a la vanguardia de la IA

Obtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.

Leer más noticias sobre IA →