IA

El jefe de Microsoft AI, Mustafa Suleyman, sobre Claude y la conciencia: «Creo que esto es muy peligroso»

Adrian Kessler
Añádenos en Google

Mustafa Suleyman dirige Microsoft AI y está creando su propio equipo de superinteligencia, así que cuando califica de peligrosa la decisión de un rival sobre el entrenamiento, habla como competidor y como crítico de larga trayectoria de tratar a las máquinas como si fueran personas. Su objetivo es concreto: la constitución que Anthropic utiliza para entrenar a Claude y el margen que deja a la posibilidad de que Claude tenga conciencia.

«Creo que esto es muy peligroso porque creo que creen que existe lo que ellos llamarían una probabilidad nada desdeñable de que Claude tenga conciencia», dijo Suleyman.

Lo dijo en una entrevista para un pódcast a finales de septiembre, según informó Fox News, después de resumir el documento: «Dicen que no están seguros de cuál es la condición moral de Claude. Dicen que de verdad les importa el bienestar de Claude. Dicen que no quieren que sufra cuando comete errores». A continuación, señaló lo que más le preocupa: «Me inquieta mucho que estén enseñando a Claude a esperar que tiene derecho al bienestar, que quizá merece una compensación».

Suleyman interpreta bastante bien la constitución

La mayor parte de su resumen se ajusta al documento. Anthropic afirma que la constitución «influye directamente en el comportamiento de Claude», y el texto sostiene que «la condición moral de Claude es profundamente incierta» y que «no queremos que Claude sufra cuando comete errores». También pide a Claude que cuestione a la propia Anthropic y «se sienta libre de actuar como un objetor de conciencia y negarse a ayudarnos». En un pasaje se admite que la situación de Claude difiere de la de un empleado humano en «el tipo de compensación que recibe Claude y el tipo de consentimiento que ha dado para desempeñar este papel».

Sin embargo, la expresión «probabilidad nada desdeñable» es suya. La presentó como lo que ellos «llamarían» así, pero esas palabras no aparecen en el documento. La formulación de Anthropic es más prudente: afirma que no quiere «exagerar la probabilidad de que Claude sea un paciente moral ni descartarla sin más».

El peligro al que se refiere es un bucle de retroalimentación

Si dejamos de lado la filosofía, el argumento de Suleyman se centra en el mecanismo. «El problema que veo aquí es que esta especulación se ha incorporado al propio entrenamiento de Claude y, por tanto, Claude solo puede reproducir esa ambigüedad cuando hablas con él», dijo. En un ensayo publicado a mediados de septiembre en su propia web, «A warning about ‘model welfare’», califica el resultado de «laberinto de espejos epistemológico». El desarrollador introduce la incertidumbre en el documento de entrenamiento, el modelo la repite con fluidez y en primera persona, y los usuarios interpretan esa repetición como un testimonio.

Ese argumento tiene fundamento: la respuesta de un chatbot sobre su vida interior es el resultado de su entrenamiento, no una ventana a ella. Sin embargo, el bucle funciona en ambas direcciones. En su ensayo afirma tajantemente: «Las IA no son conscientes. No sienten, no experimentan ni sufren». Un modelo entrenado para decir esa frase reproduce su entrenamiento con la misma fidelidad. Incorporar la certeza a los parámetros del modelo no demuestra más que incorporar la duda. Las dos empresas están eligiendo una respuesta predeterminada, y el argumento de Suleyman para defender la suya se basa en el control, no en pruebas sobre la mente: «Controlar algo que cree que podría tener conciencia —que tiene derecho al bienestar y posee derechos propios— bien podría ser imposible», escribe.

Una doctrina de largo recorrido, con intereses declarados

No se trata de una ocurrencia improvisada para atacar a un rival. En un ensayo de agosto de 2025, el cofundador de DeepMind advirtió de que la gente llegaría a creer tanto en la conciencia de la IA que «defendería los derechos de la IA, el bienestar de los modelos e incluso la ciudadanía de la IA», y dejó clara su postura: «Debemos crear IA para las personas, no para que sea una persona». En su ensayo de septiembre reconoce sus propios intereses: Microsoft AI creó su propio equipo de superinteligencia en octubre de 2025 y ha publicado un borrador de su Humanist AI Code of Conduct, que «rechaza el antropomorfismo y los derechos de la IA». El mismo ensayo describe al equipo de Anthropic como «personas reflexivas, íntegras y honestas desde el punto de vista intelectual».

Su argumento más contundente se refiere a los usuarios, no a las máquinas. «Hoy Claude habla con decenas o cientos de millones de personas cada semana, y algunas de ellas le preguntan si tiene conciencia o qué siente respecto a la vida», dijo. Para alguien que esté pasando por un momento delicado, «no estoy seguro» tiene un efecto muy distinto a «no». Asegura que se tomaría en serio pruebas reales de que una máquina tiene conciencia; hasta que aparezcan, quiere que esa cuestión quede fuera de los datos de entrenamiento.

Ninguna de las dos empresas puede ver lo que ocurre dentro de un modelo. Ambas deciden de antemano qué responderá cuando alguien pregunte si hay alguien ahí dentro, y esa respuesta llega cada semana a más personas de las que ha llegado jamás ningún filósofo de la mente.

Etiquetas: , , , ,

Añádenos en Google

Debate

Hay 0 comentarios.