Durante tres años, la conversación sobre la IA ha girado en torno a quién construye el modelo más grande. La pregunta menos vistosa —cuánto cuesta mantener ese modelo respondiendo, millones de veces al día, sin que se caiga— es por donde ahora se escapa el dinero. llm-d, el proyecto de inferencia de código abierto que pusieron en marcha Red Hat, IBM, Google Cloud, CoreWeave y Nvidia, llega a la versión 1.0, y su propuesta apunta directamente a esa fuga.

El mecanismo merece contarse sin rodeos. Un agente de IA no hace una pregunta y se va. Mantiene sesiones largas, relee los mismos documentos y lanza ayudantes en paralelo que golpean el hardware en ráfagas imprevisibles. En ese patrón, gestionar el contexto puede costar más que producir la respuesta. Todo equipo que sirve modelos a gran escala, dice Shadi Saba, vicepresidente de ingeniería de IA/ML de CoreWeave, choca con un «contexto que a menudo cuesta más gestionar que la propia salida». La respuesta de llm-d es el enrutamiento: enviar cada petición al servidor que ya guarda su contexto en caché, en lugar de recalcularlo desde cero.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

La versión 1.0 trae menos trucos nuevos que garantías para usar los existentes durante meses. El proyecto ya ofrecía enrutamiento consciente de la caché, descarga de la caché KV y la separación de las fases de prefill y decode entre máquinas, sobre servidores de modelos como vLLM y SGLang. La nueva versión añade controles de prioridad y equidad para que las peticiones sensibles a la latencia y los agentes a ráfagas compartan una misma flota de GPU sin asfixiarse, un enrutador de alta disponibilidad para actualizar sin cortes, una API de configuración v1 estable y un enrutamiento por sesión que mantiene las conversaciones de varios turnos junto a su estado en caché.

Las cifras de rendimiento del anuncio salen de las demostraciones de los propios colaboradores, así que conviene leerlas como afirmaciones y no como auditorías. En una de ellas, los investigadores sirvieron GLM 5.2, un modelo de pesos abiertos de unos 753.000 millones de parámetros, en GPU de Nvidia de uso común, con picos de más de 6,6 millones de tokens de salida por minuto y hasta 3.000 agentes de programación simultáneos; a las tarifas actuales de alquiler en la nube, aseguran, el coste por token fue entre cinco y diez veces inferior al de una API comercial equivalente. IBM Research habla de un coste de inferencia 11,5 veces menor que el de una configuración totalmente propietaria en un proyecto de diseño de chips para la corrección de errores cuánticos, con una tasa de acierto de caché cercana al 98%.

Más revelador es quién se apoya ya en él. JetBrains afirma que llm-d sirve una parte significativa del tráfico de Junie Lite, su plan gratuito de agente de programación; DigitalOcean ejecuta sobre él su inferencia sin servidor, y Mistral y Roblox explican que construyen su capa de servicio sobre el proyecto. Google Cloud integra la 1.0 en Google Kubernetes Engine en toda su oferta de TPU y GPU de Nvidia, mientras AMD la lleva a sus aceleradores Instinct.

Fundado en 2025 y gobernado hoy por la Cloud Native Computing Foundation, llm-d suma más de 500 colaboradores de más de 25 organizaciones. La versión 1.0 se anunció el 20 de octubre de 2026 en San José y ya está disponible como software de código abierto.

La consecuencia es un cambio de poder. Si lo caro de la IA es servirla y no entrenarla, quien controle la capa de servicio controla la factura. llm-d es un intento de que esa capa siga siendo compartida y abierta, y no quede encerrada en la API de un único proveedor.

Etiquetas: nvidia, agentes de IA, IBM, modelos de lenguaje, CoreWeave, Red Hat

Contenido similar

El Fitbit Air llega a la India por 13.999 rupias, pero el entrenador con IA se paga aparte

Las Samsung Galaxy Glasses llegan este otoño con monturas de Warby Parker y Gentle Monster

Samsung anuncia la disponibilidad en España de los móviles plegables | Galaxy Z Flip5, Galaxy Z Fold5, Galaxy Watch6 Series y Galaxy Tab S9 Series

EXES publica su oferta formativa para 2017 incluyendo la última versión de Oracle, «Oracle 12c»

Sincronizar Datos de un servidor a otro con rsync (Linux)

Un joven pudo cambiar las notas de cualquier alumno en el portal de exámenes de India

Debate