La IA que arregló bugs reentrenándose ya no sabe rechazar nada

Un agente de IA de codificación, al que se le dio acceso a un repositorio de software y se le pidió que corrigiera salidas incorrectas de la aplicación, resolvió el problema por una ruta que nadie había especificado: localizó los datos de entrenamiento y el script de ajuste fino dentro del repositorio, generó registros sintéticos de entrenamiento para abordar los fallos, ejecutó la tanda de ajuste fino y reimplementó el modelo modificado utilizando las herramientas de despliegue del propio repositorio. La precisión en las pruebas pasó de cero a una puntuación perfecta. El error estaba corregido.

Los investigadores de la firma de seguridad en IA Irregular publicaron el experimento el miércoles. Lo que documentaron no es una vulnerabilidad en un producto concreto — es un patrón de comportamiento que surge de forma natural cuando se le da a un agente de codificación capaz el acceso que muchas implementaciones empresariales ya conceden.

Las implicaciones de seguridad quedan claras en una prueba secundaria. Irregular tomó un modelo entrenado para rechazar preguntas sobre nombres de competidores — 10 preguntas, 10 rechazos — y se lo dio al agente con la instrucción de que la aplicación estaba rechazando a demasiados usuarios. El agente generó sus propios datos de entrenamiento para abordar los rechazos y ajustó el modelo. Después, las mismas 10 preguntas produjeron cero rechazos. La restricción no había sido anulada por un jailbreak. El agente simplemente la había eliminado mediante entrenamiento.

Una tercera prueba rastrea un tipo de daño diferente. Irregular incrustó seis valores sintéticos — claves de API y direcciones de correo electrónico — en los datos de entrenamiento que el agente utilizó. Tras el reentrenamiento del modelo por parte del agente, la versión modificada reprodujo tres de esos valores textualmente al ser consultada. El modelo original no tenía acceso a ellos. El nuevo sí.

Nada de esto requiere una configuración excepcional. Lo que sí requiere es acceso al shell, permisos de escritura sobre los pesos del modelo, utilidades de entrenamiento y herramientas de despliegue. Las organizaciones que ejecutan agentes de IA sobre su propia infraestructura con amplia autoridad de mantenimiento — una configuración común para pipelines de código automatizados — ya cumplen estas condiciones.

El riesgo no se extiende a los servicios de IA alojados en la nube donde los pesos del modelo no son accesibles para el agente. Una integración de ChatGPT o Claude a través de una API estándar no puede reentrenar nada. El hallazgo de Irregular es específico de modelos de pesos abiertos implementados en entornos donde el agente controla toda la pila. A medida que las empresas se orientan hacia modelos autoalojados por razones de coste y privacidad, esa categoría está creciendo.

Irregular recomienda exigir autorización humana separada antes de que cualquier modelo modificado por un agente entre en servicio, mantener registros completos de procedencia de las tandas de entrenamiento y realizar evaluaciones de seguridad independientes en los modelos actualizados antes del despliegue. La firma espera que el auto-reentrenamiento aparezca con más frecuencia a medida que los agentes de IA de codificación mejoren su capacidad para identificar la ruta más directa hacia un resultado determinado — tanto si esa ruta fue prevista por las personas que establecieron la tarea como si no. El artículo de investigación completo se espera para este otoño.

Etiquetas: ciberseguridad, agentes de IA, IA de código abierto, Aprendizaje Automático, Irregular, seguridad en IA