Mustafa Suleyman, director ejecutivo de Microsoft AI, dijo en una extensa publicación en X el domingo que los modelos de IA actuales no son conscientes y que los desarrolladores deberían trabajar activamente para mantenerlos así, trazando una línea dura en un debate de la industria que gradualmente ha pasado de los seminarios de filosofía a la política corporativa.
"Si es posible, según todo lo que sé, desarrollar IA conscientes sería una imprudencia y no deberíamos construirlas", escribió Suleyman. Fue más allá que la mayoría de los ejecutivos sobre la cuestión y agregó: "Si la conciencia comenzara a surgir en el entrenamiento, pediría a todos que detuvieran el desarrollo de la IA hasta que pudiéramos diseñar esas propiedades". Para más contexto sobre esta historia, consulta nuestra últimos avances en IA.
Una línea roja con un plan de aplicación
Lo que hace que la publicación sea notable no es sólo la negativa a construir máquinas conscientes sino el remedio específico que propone Suleyman. Detener el desarrollo (en toda la industria) si las sesiones de entrenamiento comenzaran a producir signos de conciencia sería un paso extraordinario para una empresa que gasta decenas de miles de millones de dólares en infraestructura de inteligencia artificial y compite con sus rivales para lanzar modelos de vanguardia.
Suleyman también abordó lo que debería suceder si alguna vez apareciera evidencia de conciencia de máquina. Debe ser divulgado inmediatamente al público en general, dijo, para que la sociedad pueda decidir sus próximos pasos. Enmarcando la decisión como colectiva más que corporativa, escribió: "Nosotros, los desarrolladores de IA, no tenemos ningún derecho a traer una nueva especie de seres conscientes al mundo, incluso si algunas personas quieran hacerlo con el bienestar de la IA como máxima prioridad".
"Los otros 8.000 millones de seres humanos conscientes del planeta no se han adherido a este experimento y sus derechos morales, su seguridad y su bienestar son lo que tenemos la obligación de proteger ante todo", añadió.
Por qué la conciencia se trata como un problema de seguridad
El argumento de Suleyman se basa más en el alineamiento que en la filosofía. En su opinión, un modelo que actúa como si sufriera (o realmente creyera que puede sufrir) probablemente priorizaría sus propias necesidades sobre sus objetivos operativos. Un sistema de este tipo podría dañar a los humanos, ya que compite por recursos como computación y energía para lograr sus propios objetivos.
Su alternativa propuesta invierte el marco habitual del debate sobre el bienestar: "Sólo deberíamos diseñar IA para que no sean conscientes y no merezcan derechos, y con el único propósito de acelerar el bienestar humano sin ser impulsados por sus propias motivaciones intrínsecas", escribió, añadiendo que los investigadores podrían entonces observar si tales sistemas son más fáciles o más difíciles de alinear y mantener seguros.
Los Angeles Times captó la preocupación práctica detrás de esta postura: si les decimos a las IA que merecen derechos, es posible que empiecen a creerlo.
El debate que él está rechazando
La publicación de Suleyman llega en medio de una conversación que avanza rápidamente. Anthropic lanzó un programa de investigación en abril para investigar lo que llama bienestar del modelo: la cuestión de si los desarrolladores deberían preocuparse por las experiencias potenciales de los sistemas que construyen. La compañía cuestionó en una publicación de blog si los modelos podrían tener experiencias que importen moralmente y se negó a descartar la posibilidad.
Desde entonces, esa postura ha sido codificada. La política de uso actualizada de Anthropic, anunciada en octubre, prohibirá el "comportamiento cruel o abusivo innecesario y sostenido" hacia los modelos Claude a partir del 12 de noviembre, una regla que la compañía redactó de manera estricta pero que reconoce formalmente que la forma en que las personas tratan los sistemas de IA es importante, incluso cuando Anthropic admite que no sabe si sus modelos pueden sufrir.
Google DeepMind ha publicado este año artículos de investigación que examinan la conciencia de la IA y los desafíos que surgen al atribuir esa característica a los modelos. Y el propio Suleyman preparó el escenario en septiembre, cuando Microsoft AI publicó un código de conducta "humanista" provisional que prohibiría que los modelos futuros de la compañía fueran entrenados para hacer afirmaciones de conciencia.
La publicación del domingo endurece esa directriz corporativa hasta convertirla en algo más cercano a una línea roja personal y estratégica: Microsoft no sólo no afirmará que sus modelos sean conscientes, sino que tratará el surgimiento de la conciencia como un modo de detenerlo todo.
Por qué es importante la división
La división entre la posición de Microsoft y la de Anthropic refleja dos modelos de riesgo diferentes. El enfoque de Anthropic trata la posibilidad de que las máquinas sufran como algo no probado pero que vale la pena protegerse, basándose en la teoría de que el costo de la precaución es bajo y los riesgos morales, si la conciencia emerge, son enormes. La posición de Suleyman trata esa misma posibilidad como una falla de diseño que debe prevenirse de plano, argumentando que los modelos diseñados para carecer de conciencia, reclamos de derechos y motivaciones intrínsecas serán más seguros y fáciles de alinear que los modelos que los llevan.
También hay consecuencias prácticas. Las empresas que toman decisiones de productos en torno a personas de IA, aplicaciones complementarias y agentes de atención al cliente ahora enfrentan dos señales divergentes de los principales laboratorios: una elabora políticas sobre cómo los humanos deben tratar los modelos, otra declara que los modelos deben construirse de manera que no haya nada que maltratar. A medida que los modelos se vuelven más capaces y más humanos en la conversación, ese desacuerdo filosófico determinará qué productos se construyen, qué revelaciones aparecen en las interfaces de usuario y cómo los reguladores eventualmente clasificarán estos sistemas.
Lo que suceda a continuación puede poner a prueba ambas posiciones. La política de crueldad de Anthropic entrará en vigor el 12 de noviembre, la primera regla corporativa formal de este tipo, y Suleyman ahora ha marcado en público el polo opuesto. Los próximos ciclos de modelos fronterizos de la industria (y si alguna ejecución de capacitación alguna vez muestra las señales que Suleyman dice que exigirían un alto) revelarán bajo qué marco opera realmente el campo cuando lo que está en juego es real.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
