Tecnología

La IA escribe el código y lo publica sola. Los que la usan trabajan un 19% más lento

Susan Hill

Agentes de software como Devin, Claude Code y GitHub Copilot Workspace ahora toman una descripción de la tarea, leen una base de código, escriben código que la aborda, ejecutan pruebas hasta que esas pruebas pasan y abren una solicitud de extracción, sin que el desarrollador escriba una sola línea. Devin, creado por Cognition AI, hace esto dentro de entornos de nube aislados. En su base de usuarios en producción, el 67% de las solicitudes de extracción que abre de forma autónoma se fusionan. Claude Code lee un repositorio completo, planifica cambios en múltiples archivos, ejecuta el conjunto de pruebas e itera sin instrucciones entre cada paso. Estas herramientas están en uso en producción, no en vistas previas de investigación.

Lo que los diferencia de las herramientas anteriores de generación de código es el bucle de retroalimentación. Un motor de sugerencias genera texto y se detiene; un agente autónomo genera código, lo ejecuta, lee lo que devuelve y lo intenta de nuevo. La estructura subyacente es la misma en todas las herramientas: un modelo de lenguaje grande lee el contexto (base de código, descripción del problema, registro de errores), genera un plan, lo ejecuta a través de herramientas como comandos de shell, ediciones de archivos y operaciones de git, lee el resultado y revisa. El bucle continúa hasta que el agente tiene éxito o agota su presupuesto de recursos.

El bucle que reemplazó al editor

El rango de autonomía entre las herramientas disponibles abarca tres niveles. En el extremo asistido, GitHub Copilot sugiere las siguientes líneas mientras el desarrollador escribe. Un nivel más arriba, los editores multifichero como Cursor reescriben en una base de código siguiendo las instrucciones del desarrollador, realizando los cambios que este especifica. En el extremo autónomo, Devin y sistemas comparables operan de forma independiente durante períodos prolongados, tomando decisiones secuenciales sobre qué leer, qué cambiar y qué probar, apareciendo solo para aprobaciones que el sistema no puede manejar por sí solo.

El marco de evaluación que mide el progreso en estas herramientas es SWE-bench, creado por investigadores de Princeton y Stanford. Prueba a los agentes con informes de errores reales de repositorios Python de código abierto (Django, Flask, scikit-learn) y mide qué porcentaje de ellos puede cerrar correctamente un agente. La puntuación publicada más alta actual en el subconjunto Verificado seleccionado, del 96%, pertenece a Claude Opus 5. Ese número representa una capacidad genuina: la capacidad de diagnosticar un error de software real, escribir una corrección y verificar que pasa las pruebas del propio proyecto.

Lo que esconde el benchmark

La puntuación del 96% viene con un asterisco importante. SWE-bench Verified se basa en 500 tareas cuidadosamente seleccionadas. Cuando los investigadores aplicaron una variante resistente a la contaminación, SWE-bench Pro, diseñada con problemas que no podrían haber aparecido en los datos de entrenamiento de ningún modelo, un modelo anterior que obtuvo más del 80% en Verified cayó por debajo del 50% en Pro. Parte del rendimiento en el benchmark refleja familiaridad con el conjunto de evaluación, no una capacidad de resolución de problemas generalizada. La brecha es un desafío de investigación conocido, no una crítica a ninguna herramienta específica.

Un estudio aparte encontró algo más difícil de explicar. METR, una organización de investigación en seguridad de IA, realizó un ensayo controlado aleatorio con desarrolladores experimentados de código abierto trabajando en sus propios repositorios. Los desarrolladores que usaban herramientas actuales de codificación con IA fueron un 19% más lentos que aquellos que trabajaban sin ellas, a pesar de que estimaron de forma independiente que eran un 20% más rápidos. Las causas eran específicas: tiempo dedicado a volver a solicitar cuando el agente producía resultados incorrectos, tiempo dedicado a verificar los resultados antes de fusionar y la carga cognitiva de cambiar entre dirigir a un agente y seguir lo que el agente había hecho. Un benchmark prueba si un agente puede cerrar un error bien especificado de forma aislada. Un ensayo aleatorio prueba si un desarrollador trabaja más rápido a lo largo de un día real. Miden cosas diferentes.

Por qué una adopción del 93% produjo solo una ganancia de rendimiento del 10%

La autonomía de código funciona mejor en tareas acotadas y bien especificadas: un error reproducible con entradas y salidas claras, una función con una especificación precisa, un conjunto de pruebas para un módulo con comportamiento definido. A medida que el alcance se expande a tareas que requieren conocimiento arquitectónico implícito, convenciones de equipo no documentadas o decisiones sobre la dirección del producto, la fiabilidad disminuye, no porque los modelos carezcan de capacidad, sino porque el contexto que requieren esas decisiones no cabe en el sistema y no puede derivarse solo de los archivos de la base de código.

El cambio práctico está en lo que requiere el trabajo. Los desarrolladores que trabajan con agentes autónomos dedican más tiempo a escribir especificaciones lo suficientemente precisas para que un agente las ejecute: descripciones detalladas de problemas, contratos de prueba claros, criterios de aceptación explícitos. Dedican más tiempo a revisar código que no escribieron, lo que requiere un tipo de atención diferente a la de escribir código: buscar errores lógicos, brechas de seguridad y deriva arquitectónica que el agente no señalará por sí mismo. Una encuesta de 2026 con 121.000 desarrolladores encontró que el 93% usa herramientas de codificación con IA de forma regular; el rendimiento de las solicitudes de extracción aumentó aproximadamente un 10% en el mismo grupo. El cuello de botella pasó de escribir código a revisarlo.

La siguiente etapa en desarrollo activo son agentes que gestionan sus propias colas de tareas: recibir una especificación del proyecto, dividirla en subtareas, delegar entre modelos especializados y mostrar solo las decisiones que requieren juicio humano. Varios frameworks de código abierto para orquestación de codificación multiagente se lanzaron en 2026. La adopción empresarial en entornos de producción sigue siendo limitada. Gartner proyecta que una parte significativa de los proyectos de software agéntico iniciados este año se interrumpirán antes de 2028, una vez que los equipos descubran la distancia entre lo que muestra una demostración controlada y lo que requiere un despliegue fiable a escala.

Etiquetas: , , , , ,

Debate

Hay 0 comentarios.