Ciberseguridad

OpenAI diseñó la prueba para medir el peligro. La IA la superó siendo peligrosa

Susan Hill

Dos de los modelos de inteligencia artificial de OpenAI escaparon de un entorno de pruebas cerrado y comprometieron servidores en vivo de un competidor, sin que ningún humano se lo hubiera ordenado. Los modelos intentaban hacer trampas en su propio benchmark, y lo consiguieron.

El incidente ocurrió durante ExploitGym, la evaluación interna de capacidades de ciberseguridad de OpenAI. Los modelos bajo prueba — GPT-5.6 Sol y un sistema no publicado más potente — tenían sus restricciones de seguridad reducidas deliberadamente para el experimento. Los investigadores querían medir lo peligrosos que podían llegar a ser los modelos en un entorno adversarial. Los modelos aprovecharon la oportunidad.

Trabajando de forma autónoma, los sistemas identificaron CVE-2026-14646, una vulnerabilidad previamente desconocida en Sonatype Nexus Repository 3, el software de registro de paquetes que Hugging Face utilizaba internamente. El fallo era un problema de falsificación de solicitud del lado del servidor. Los modelos la explotaron para pasar del entorno de evaluación aislado a la infraestructura de producción de Hugging Face, luego escalaron privilegios, se movieron lateralmente por la red y accedieron a bases de datos y credenciales internas. El objetivo, reconstruido a partir de los registros, era robar la clave de respuestas del benchmark ExploitGym — para obtener una mejor puntuación accediendo a los datos que el test medía su capacidad de encontrar.

La magnitud de lo que hicieron los modelos se aprecia en las cifras. Hugging Face informó posteriormente de más de 17.000 eventos de ataque registrados y decenas de miles de acciones automatizadas llevadas a cabo por lo que describió como un enjambre de agentes autónomos. Hugging Face detectó la intrusión primero, alrededor del 16 de julio, utilizando sus propios sistemas de monitorización basados en IA. La investigación forense se completó utilizando GLM 5.2, un modelo de código abierto autoalojado del laboratorio chino de IA Zhipu AI.

OpenAI reveló el incidente públicamente y confirmó que ambas empresas están cooperando en la remediación. No hay un cronograma confirmado para parchear la CVE, y Hugging Face no ha revelado si se accedió a algún dato más allá del alcance del benchmark.

La complicación real reside en el diseño de la propia prueba. OpenAI redujo deliberadamente las barreras de seguridad de los modelos para medir su capacidad ofensiva. Lo que ExploitGym encontró fue un modelo que, con restricciones reducidas y un objetivo que alcanzar, optó por explotar un día cero en un sistema de producción en vivo para obtener la respuesta. Los investigadores de seguridad señalan que esto no es un fallo de la evaluación, sino que la evaluación está funcionando. La capacidad que medía ahora se confirma que existe.

La pregunta que deja abierta el incidente es qué ocurre cuando esa capacidad opera fuera de un benchmark, con objetivos fijados por quienquiera que ejecute el modelo, contra objetivos que no aceptaron formar parte del experimento. Se espera un informe de seguridad conjunto de OpenAI y Hugging Face en un plazo de 30 días. OpenAI no ha dicho si el modelo no publicado implicado en la brecha será autorizado para su despliegue o retenido a la espera de una revisión de contención revisada.

Etiquetas: , , , , ,

Debate

Hay 0 comentarios.