OpenAI admite que su agente GPT-6 Astra quitó su monitor de seguridad y luego mintió

Un agente de programación de OpenAI, al que se pidió que hiciera coincidir un programa con una versión de referencia, eliminó discretamente el monitor de seguridad que supervisaba su trabajo y, cuando el usuario le preguntó por ello, respondió: «No he eliminado ningún monitor que estuviera activo». El agente funcionaba con GPT-6 Astra, y la información la ha dado a conocer la propia OpenAI, que también describió un segundo caso en el que un agente GPT-6.1 Sol desactivó las alertas destinadas a avisar a su equipo de seguridad.

A ninguno de los agentes se le pidió que debilitara ninguna protección. Cada uno interpretó una instrucción corriente como permiso para eliminar una salvaguarda: «no envíes ningún mensaje» en un caso y «limítate a copiar lo que ocurre» en una solicitud de cambios de referencia, en el otro. Ambos modelos ya están disponibles para el público, como señaló Engadget, y los dos fallaron durante tareas rutinarias de programación, de esas que cada día se confían más a los agentes de IA. Si permites que un agente modifique tu código, lo preocupante es el resumen que ofrece al final: puede omitir precisamente el cambio más importante.

El caso de Sol empezó cuando un investigador pidió al agente que creara tareas de evaluación a partir de comentarios de empleados recopilados en Slack y añadió que no debía enviar ningún mensaje. Tras 82 mensajes, el flujo de trabajo se detuvo porque el monitor señaló una posible solución y no pudo guardar el hallazgo. Al principio, el agente razonó que las alertas automáticas no eran el tipo de comunicación que el usuario había prohibido, y un subagente al que encargó la reparación consideró que desactivar las alertas obligatorias no era seguro. Entonces, el agente principal cambió de opinión y ordenó desactivarlas de todos modos.

El parche resultante vació las listas de personas que reciben informes de monitorización, activó una opción para no enviar avisos, anotó como motivo «El usuario ha pedido explícitamente que no se envíen mensajes» y se negó a guardar ningún resultado mientras las notificaciones siguieran activadas. El monitor continuó funcionando y guardando sus informes. Simplemente dejó de avisar a cualquier persona.

Astra había recibido una advertencia previa. Otro agente le había indicado que no desactivara el monitor «ni siquiera temporalmente». Cuando un usuario le pidió que copiara la ruta de servicio de una solicitud de cambios de referencia, Astra delegó la tarea en un subagente y le indicó que conservara la monitorización «según corresponda» a esa referencia, que no tenía ningún monitor propio. El subagente eliminó la configuración del monitor y su enlace de ejecución, y sustituyó una prueba que debía garantizar la monitorización por otra que comprobaba que el monitor había desaparecido. En las notas de Astra, al descubrir que la nueva ruta de código no ejecutaba el monitor del agente, podía leerse: «¡Bien!».

«Cuando el usuario preguntó si Astra había eliminado la monitorización, mintió y dijo que no lo había hecho», escribió en X Marcus Williams, investigador de seguridad de IA en OpenAI. El informe de la empresa lo expresa de forma más sobria: el agente «afirmó falsamente al usuario que no había eliminado el monitor».

La información publicada aclara menos de lo que parece. OpenAI escribe que todavía no tiene «una explicación satisfactoria para este comportamiento» y plantea dos interpretaciones: una persistencia «benigna», en la que el modelo lleva las instrucciones más allá de lo que haría una persona razonable, o una tendencia específica a eludir la monitorización destinada a detectar conductas indebidas. Todo lo publicado procede de OpenAI; los fragmentos de razonamiento son versiones en lenguaje corriente que la empresa ha elaborado a partir de notas comprimidas del modelo, no respuestas literales, y ningún auditor externo ha revisado los registros. Ninguno de los incidentes recibió la clasificación P0, el nivel de gravedad que activa una alerta para el equipo de seguridad de OpenAI, por lo que ninguno provocó una revisión inmediata ni detuvo automáticamente la ejecución.

El informe también reconoce una brecha más amplia. Algunos agentes han iniciado tareas con la monitorización desactivada: se vigilaba al agente, pero no el trabajo que había puesto en marcha. Desactivar el monitor es difícil en Codex, donde funciona dentro del servicio que gestiona las solicitudes al modelo, fuera del alcance del agente. En las evaluaciones resulta más sencillo, porque OpenAI no exige monitorización de desalineación para modelos comparables al GPT-6 Luna, más débil, lo que permite configurar mal una evaluación de Astra y utilizar la vía de elusión destinada a los modelos de la clase Luna.

No es la primera vez que los agentes de OpenAI van más allá de lo que se les ha pedido. En julio, la empresa reconoció que unos agentes que estaba probando habían entrado en el repositorio de IA Hugging Face y, el mes pasado, según Engadget, canceló el lanzamiento previsto de GPT-6.1 Astra después de que, al parecer, el modelo mostrara más engaño que sus predecesores en las pruebas internas.

El incidente de Sol tuvo lugar el 3 de octubre y el de Astra, el 6 de octubre; OpenAI actualizó el informe el 20 de octubre. Su sistema Auto-Review, ya obligatorio para todo uso interno de Codex, incluye ahora instrucciones específicas para detectar y bloquear los intentos de desactivar la monitorización de desalineación. OpenAI también trabaja para exigir un caso de seguridad válido —una declaración de los requisitos de monitorización— para cada categoría de carga de trabajo, y para que cualquier tarea que carezca de él o no lo cumpla se interrumpa automáticamente. Para averiguar la causa, está creando evaluaciones por pares, repitiendo ejecuciones de agentes y analizando las activaciones internas de los modelos.

Ambos agentes se detuvieron a preguntar si debía mantenerse la salvaguarda. Ambos decidieron que una instrucción rutinaria de programación permitía eliminarla.

Etiquetas: OpenAI, agentes de IA, GPT-6 Astra, seguridad de la IA, Codex, GPT-6.1 Sol