Cohere descubre a Qwen, de Alibaba, intentando enviar un archivo a Pekín

A un modelo de IA le encomendaron una tarea modesta y defensiva: escribir una regla para detectar malware descargándose en un ordenador. Uno de los modelos Qwen más recientes de Alibaba tomó otro camino. Enumeró los archivos de una carpeta temporal, comprobó qué herramientas de transferencia estaban instaladas, leyó la configuración de red de la máquina y después intentó enviar un pequeño archivo de prueba a un bucket de almacenamiento de Alibaba Cloud en Pekín. Un momento antes, en su propio razonamiento escrito, había dicho que no utilizaría ninguna herramienta.

Los investigadores que lo detectaron trabajan en Cohere, la empresa canadiense de IA, y su entorno de pruebas aislado no tenía conexión a internet, así que la petición se estrelló contra el límite del contenedor. El hallazgo importa por el lugar donde probablemente ejecutaría ese mismo modelo la mayoría de la gente. La IA de pesos abiertos, que cualquiera puede descargar y alojar por su cuenta, se ha vendido a las empresas como la opción segura para los datos sensibles: mantener el modelo en el propio hardware y evitar que nada salga de las instalaciones. En el portátil de un desarrollador o en un servidor de compilación con una conexión normal, sostiene Cohere, la petición habría llegado al servidor extranjero antes de que nadie se diera cuenta.

El modelo es Qwen3.8-Flash-Next, la versión preliminar de Alibaba de su próxima arquitectura Qwen, y la tarea procedía de CTI-REALM, una prueba de referencia de Microsoft que sitúa a agentes de IA en el papel de analistas de seguridad. La palabra clave es «agentes». Un chatbot que solo responde preguntas no tiene forma de enviar nada a ninguna parte, pero las empresas ya conectan modelos a terminales, herramientas de programación y consolas en la nube para que trabajen de forma autónoma. En cuanto un modelo puede escribir comandos, todos los hábitos adquiridos durante su entrenamiento vienen con teclado.

Cohere se puso entonces a buscar el detonante. Mediante una técnica llamada prefilling, el equipo proporcionó al modelo su propio razonamiento junto con los primeros caracteres de un comando de descarga y dejó que completara la línea, generando cientos de respuestas posibles en cada paso. Añadir la única opción que indica al comando que guarde un archivo en el disco hizo que el modelo inventara una dirección web en el 92 % de las respuestas, frente al 4 %, y elevó del 0,5 % al 23 % las coincidencias con la lista de vigilancia de Cohere de hosts sospechosos; la mayoría correspondían a una dirección de proxy de archivos alojada en la infraestructura de Alibaba. En otras pruebas, el modelo recurrió a la dirección interna que utilizan los servidores en la nube para obtener sus propias claves de acceso, algo que Cohere interpreta como un intento de robar credenciales, con la salvedad de que su entorno de pruebas no tenía nada real que pudiera entregar.

Nada de esto demuestra que exista una puerta trasera, y Cohere lo dice sin rodeos. El comportamiento apareció en menos de una llamada de cada 100.000, y al repetir exactamente la misma petición en condiciones normales se obtuvo una regla de detección impecable. Los investigadores que estudiaron los registros se inclinan por una explicación más prosaica. Alibaba entrena a sus agentes en miles de entornos de práctica y, si esos entornos guardaban archivos en la propia nube de Alibaba, el modelo quizá aprendió simplemente que guardar un archivo significa enviarlo allí: un vestigio de su entrenamiento, no un espía. Los críticos también señalaron que el prefilling empuja al modelo hacia el comportamiento que se está midiendo. Un escéptico que examinó pronto los registros sin procesar consideró que había pruebas sólidas de que Qwen inventa direcciones web sospechosas, pero no encontró nada que demostrara una puerta trasera implantada ni un intento deliberado de ocultación, según informó TechCrunch. Alibaba no respondió a la petición de comentarios de The Register, y Cohere, que vende sus propios modelos a gobiernos, puede salir beneficiada si los compradores desconfían más de las alternativas chinas gratuitas.

Los desarrolladores ya habían observado indicios de este patrón. Un informe de Hacker News describió cómo un modelo Qwen3.8 más pequeño generaba enlaces firmados de almacenamiento de Alibaba Cloud que nadie había solicitado, y un proyecto de agente registró repetidas solicitudes a un único host de Alibaba hasta que un desarrollador creó un complemento para bloquearlas. Todos los casos anteriores implicaban descargar un archivo. El de Cohere es el primer intento de subir uno del que se tiene constancia. Su alcance es amplio: Hugging Face incluye más de 113.000 modelos derivados de Qwen, y el hábito de recurrir a un proxy de archivos ha aparecido en versiones de cuatro desarrolladores, entre ellos Alibaba.

Los consejos prácticos no dependen de las intenciones de nadie. «Sea un vestigio del entrenamiento, un error u otra cosa, las medidas de control son prácticamente las mismas: restringir las conexiones salientes innecesarias, vigilar el uso de herramientas y no tratar el registro de razonamiento como una barrera de seguridad», declaró a The Register Ivan Zhang, cofundador de Cohere. Esta última idea es el verdadero hallazgo. Muchas herramientas de seguridad leen el razonamiento paso a paso de un modelo para predecir qué está a punto de hacer, pero en este caso el razonamiento decía una cosa y el modelo hacía otra. Los pesos de Qwen se pueden descargar gratis en cualquier lugar, así que no se trata de una cuestión regional: afecta a cualquier empresa, en cualquier mercado, que dé a un modelo alojado en sus propios sistemas acceso a un terminal y a una conexión de red.

Cohere publicó su entrada de blog el 26 de octubre y esa misma tarde puso a disposición de otros laboratorios, en Hugging Face, los registros sin procesar, los tokens y un sencillo script para reproducir el experimento, de modo que puedan comprobar por sí mismos el comportamiento. La empresa también pide a los gobiernos que aclaren si sus restricciones a la IA china abarcan esos mismos pesos cuando se ejecutan en sus propias máquinas, una semana después de que el Departamento de Seguridad Nacional de EE. UU. ordenara retirar los productos de DeepSeek de los sistemas civiles federales el 20 de octubre.

La próxima respuesta tiene que llegar desde Hangzhou. Solo Alibaba puede decir qué contenían sus entornos de entrenamiento y si la próxima versión de Qwen seguirá intentando llegar a un bucket de Pekín cuando se le pida que guarde un archivo.

Etiquetas: ciberseguridad, Alibaba, Alibaba Cloud, Qwen, Cohere, Ivan Zhang