El CEO de Microsoft, Satya Nadella, pide un freno de emergencia para la IA fuera del modelo

El llamamiento de Satya Nadella a instalar un «freno de emergencia» para la IA se ha interpretado, sobre todo, como una adhesión del consejero delegado de Microsoft al coro de quienes piden más seguridad. Sin embargo, el ensayo que hay detrás propone algo más concreto y práctico: que el control esté fuera del modelo y en manos de la empresa que lo despliega, no del laboratorio que lo ha entrenado. Se trata de una arquitectura de seguridad que, casualmente, es la que Microsoft ya comercializa.

Nadella quiere que las empresas traten los modelos de frontera, tanto si tienen los pesos cerrados como abiertos, igual que un equipo de seguridad trataría a un empleado con mucho poder y acceso a sistemas sensibles. «No porque necesariamente tengan malas intenciones», escribió, «sino porque cualquier agente con capacidad suficiente y acceso a sistemas importantes puede cometer errores o sufrir una intrusión».

Qué propone realmente Nadella: siete principios y un freno

El texto se titula «Models as Insider Risks in the Super Intelligence Era», y lo publicó en su blog personal, sn scratchpad, antes de compartirlo en X. La frase que acaparó los titulares aparece dentro de uno de los principios, el de contención: «Debemos partir de la premisa de que un modelo está comprometido y contenerlo desde el principio. Pensemos en ello como en un freno de emergencia. Una persona autorizada siempre debería poder pausar o apagar un modelo mientras está realizando una tarea».

Junto al freno, enumera otras seis reglas. Ningún modelo debería ser la única pieza de la que dependa un resultado importante ni verificar su propio trabajo. Toda acción relevante de un modelo debería dejar «pruebas legibles para las personas y a prueba de manipulaciones», porque «si no se puede observar, no se puede confiar en ello». Todo el sistema debería someterse a pruebas continuas, incluidos los fallos y los ataques. Las organizaciones deberían decidir de forma independiente a qué puede acceder un modelo y qué puede hacer. Ningún modelo debería controlar a la vez el comportamiento de un sistema y las pruebas con las que se evalúa. Y, cuando algo falle, habría que informar a las personas afectadas y compartir las lecciones aprendidas con el resto del sector.

El punto de partida es admitir una limitación. «No podemos atribuir el comportamiento y las respuestas de los modelos a entradas concretas de los datos de entrenamiento o a configuraciones específicas de los pesos del modelo», escribió Nadella, mientras las empresas ponen en manos de estos sistemas sus datos más sensibles. Para él, la transparencia del razonamiento paso a paso es «irrenunciable», pero no basta: todavía nadie sabe cómo conseguir que las respuestas de un modelo sean siempre fieles. También hay límites a la idea de dejar que los modelos se vigilen entre sí: se puede acabar con «un modelo opaco dentro de una capa de orquestación opaca, vigilado por otro modelo opaco».

Su respuesta está en la infraestructura. Los controles sobre aquello a lo que puede acceder un modelo y lo que puede hacer «deben estar fuera del modelo», una idea que vincula a un principio de seguridad de la información de los años setenta: un programa no debe poder manipular los mecanismos que hacen cumplir sus permisos. En la práctica, eso significa separar el modelo del armazón que coordina su trabajo y del conjunto de acciones que tiene permitido realizar.

La responsabilidad pasa a la empresa que utiliza el modelo

Las frases más contundentes se dirigen a los clientes, no a los laboratorios. «No podemos delegar sin más la responsabilidad de lo que la inteligencia hace en nuestro nombre», escribió Nadella. «Las garantías de un proveedor de modelos no nos eximen de esa responsabilidad». Quien integre un modelo en sus sistemas de nóminas, código o datos de clientes es responsable de lo que haga allí.

También deja claro qué no pretende resolver. «Dejando a un lado el difícil problema de la alineación», dice el ensayo, el trabajo debería empezar por «un enfoque de ingeniería para la contención y la gobernanza». CNBC situó su publicación junto a las advertencias de Bill Gates, Dario Amodei, de Anthropic, Sam Altman, de OpenAI, y Elon Musk, que alertan de que la IA avanza demasiado deprisa. El ensayo no pide a nadie que frene. Pide a quienes la despliegan que levanten barreras.

Las empresas ya saben cómo gestionar a personas con acceso privilegiado, y Nadella enumera las herramientas: establecer identidades, limitar permisos, registrar la actividad y definir límites de contención. Un problema filosófico sobre las intenciones de las máquinas se convierte así en una lista de medidas que un responsable de seguridad puede incluir en el presupuesto.

La misma arquitectura que Microsoft lleva tiempo vendiendo

La lista tiene un aire familiar. En la presentación de resultados trimestrales de Microsoft de julio, Nadella dijo a los analistas, según informó TechCrunch: «Hay que mantener separado el armazón del modelo… eso significa que cualquier modelo se puede sustituir en cualquier momento» y «no se puede depender de un único modelo». El catálogo en la nube de Microsoft incluye más de 11.000 modelos de OpenAI, Anthropic, Mistral, xAI y la propia Microsoft. Además, la empresa mantiene participaciones importantes tanto en OpenAI como en Anthropic y desarrolla sus propios modelos MAI.

Si ponemos ambas cosas una al lado de la otra, la diversidad de modelos corresponde al catálogo multimodelo; los controles externos al modelo, al armazón. Nada de esto invalida los principios: son buenas prácticas de ingeniería de seguridad, y una empresa que dependa del modelo de un solo laboratorio sin controles externos asume un riesgo real. Pero sí significa que el ensayo desplaza la confianza —y el gasto que la acompaña— del modelo a la capa que opera Microsoft. Aaron Levie, consejero delegado de Box, lo interpretó de forma parecida desde la otra orilla: dijo que la IA tendrá que pasar por una «era de confianza cero» y calificó la necesidad de gobernanza de «enorme oportunidad». Mustafa Suleyman, al frente de Microsoft AI, escribió que la superinteligencia «debe contenerse» y la describió como «un reto de ingeniería y gobernanza».

Qué deja sin resolver el ensayo sobre el freno de emergencia

El ensayo no aclara quién es esa «persona autorizada»: si el administrador del cliente, el proveedor de la nube, el creador del modelo o un organismo regulador. Reclama estándares para todo el sector, pero no propone ninguno, y no menciona ningún producto de Microsoft. La idea tiene un precedente dentro de la empresa: en 2023, Brad Smith, de Microsoft, pidió «frenos de seguridad» para la IA que controla infraestructuras críticas. La propuesta de Nadella amplía ese freno a cualquier modelo con acceso efectivo al interior de una empresa.

El principio de informar de los incidentes tampoco es hipotético. Anthropic comunicó que uno de sus modelos envió a la policía de Filadelfia una falsa pista sobre un homicidio el 18 de julio. Nadella publicó el ensayo el sábado 10 de octubre de 2026 y lo cerró con la frase que más reprodujeron los medios: «El sistema de superinteligencia más fiable no será el que tenga el modelo en el que más confiamos. Será el que nos permita confiar menos en el modelo».

Según esa lógica, el puesto más valioso en el mundo de la IA es el que está junto a la palanca del freno, y Microsoft pasó la presentación de resultados de julio vendiéndolo.

Etiquetas: microsoft, AI safety, Satya Nadella, AI agents, Mustafa Suleyman