IA

Elon Musk atribuye el retraso de Grok 4.8 a reescribir desde cero su software en C/C++

El nuevo Grok llega tarde porque xAI descartó las herramientas de código abierto con las que entrenó y sirvió sus modelos. Musk califica el resultado como "aún no increíble" y apuesta a que la reescritura valga la pena en Grok 5.
Adrian Kessler
Añádenos en Google

Lo interesante de la última actualización de Elon Musk sobre Grok no es el lenguaje de programación. Es lo que reconoce entre líneas: el próximo modelo llega tarde porque el equipo que lo desarrolla descartó las herramientas de código abierto que utilizaba para entrenar y servir modelos, y escribió las suyas propias.

Leído como un anuncio previo al lanzamiento, el mensaje es optimista: entrenamiento terminado, evaluaciones al alza y un despliegue gradual antes de que acabe la semana. Leído como una historia sobre sistemas, apunta a algo más importante. xAI, que ahora forma parte de SpaceX, ha decidido que los marcos de trabajo compartidos la frenaban y apuesta este modelo, y el siguiente, a controlar todas las capas de software que separan a sus investigadores de sus GPU.

«Hemos dejado atrás JAX/SGLang y reescrito desde cero toda la pila de RL e inferencia en C/C++, lo que nos ha llevado algo más de tiempo», escribió Musk en X, al responder a un usuario que preguntaba cuándo estaría listo Grok 4.8. JAX es la biblioteca numérica basada en Python con la que había entrenado xAI; SGLang es un marco de trabajo de código abierto para servir modelos de lenguaje grandes. El preentrenamiento ha terminado, dijo, después de que «hiciera falta mucha limpieza en los datos de SFT», el conjunto de ajuste fino supervisado. «Ahora, 4.8 está en fase de RL y las evaluaciones empiezan a subir».

Ese comentario explica un retraso que el propio Musk había anunciado. A mediados de septiembre presentó el modelo como «un modelo de 2,5 billones entrenado con nuestra nueva pila de software en C++» que «terminaría de entrenarse esta semana y empezaría con RL». Por esas mismas fechas, según informó Analytics India Magazine, describió la parte de aprendizaje por refuerzo como «todavía una especie de pila heredada formada por muchos sistemas de software de terceros distintos», que se solucionaría «a su debido tiempo». A finales de octubre escribió: «Sé que está tardando más de lo previsto, pero Grok 4.8 no decepcionará». La solución resultó ser el propio retraso. El código de preentrenamiento ya era nuevo; antes de que el modelo pudiera avanzar, había que reconstruir la parte que le enseña a comportarse y la que responde a los usuarios.

La «reescritura en C++» de los titulares es, en su mayor parte, una reescritura en C. Al preguntarle por el lenguaje, Musk respondió: «C con un poco de C++, pero no demasiado». Según explica, la pila deriva del software que los ingenieros de SpaceX escribieron para Starlink («En SpaceX escribimos nuestras propias cabeceras y calculamos nuestros propios tiempos», añadió). En septiembre dijo que el equipo de Starlink había escrito el código de preentrenamiento y que «no lo había escrito una IA», porque «la IA aún no es lo bastante buena para crear software de rendimiento extremadamente alto (pero lo será)».

La justificación se conoce desde la primavera. A finales de mayo, Musk dijo que SpaceX casi había terminado una pila de entrenamiento propia en C que «se ajusta exactamente» a un clúster de 220.000 chips Nvidia GB300, y situó en «más de un orden de magnitud» la posible mejora de velocidad frente a JAX en grandes procesos de entrenamiento. A finales de junio prometió «mejoras realmente enormes» en unos tres meses, cuando se reescribiera toda la pila de entrenamiento e inferencia y «se eliminaran por completo la mayoría de las capas de software». Si se mide con ese calendario, la reescritura llegó con unas seis semanas de retraso. Ninguna de las afirmaciones sobre velocidad se ha verificado fuera de la empresa.

Controlar la pila tiene ventajas e inconvenientes. Abandonar JAX y SGLang libera a xAI de las abstracciones y los calendarios de lanzamiento de terceros, y permite a sus ingenieros adaptar el software directamente a un componente de hardware concreto. El precio es que todos los errores del ciclo de entrenamiento y de la vía de servicio pasan a ser responsabilidad exclusiva de xAI, en un código que ninguna comunidad externa ha utilizado antes de que llegue a los usuarios.

Musk también está rebajando mucho las expectativas. «Grok 4.8 no se parecerá en nada a 4.7 (por suerte)», escribió, en una crítica pública al modelo que xAI lanzó el 21 de septiembre. «Todavía no es increíble, pero esta vez los cimientos están bien construidos, así que espero que evolucione hasta convertirse en algo especial». Menos de una hora después, al preguntarle cómo se compararía 4.8 con Opus 5.5, de Anthropic, respondió: «No será tan bueno. Opus 5.5 es una obra maestra». Su verdadera promesa apunta más lejos: «Grok 5 debería superar a Opus 5.5, y quizá eso ocurra dentro de dos o tres meses».

Por ahora, sigue faltando todo lo demás. Según los rastreadores que las revisan, ni la página de noticias de xAI ni la documentación para desarrolladores incluyen información al respecto; no hay ficha del modelo, resultados de pruebas comparativas, precio ni listado en la API. La cifra de 2,5 billones de parámetros procede únicamente de Musk, igual que los resultados de las evaluaciones que, según dice, están subiendo. El despliegue gradual llegará a los usuarios de Grok Bot «más adelante esta semana», sin especificar el día, y en octubre Musk dijo que la mayoría de esas solicitudes las atendería «una versión ultrarrápida de Grok 4.8».

Eso convierte el despliegue de esta semana en una prueba de la infraestructura más que del modelo. Si el modelo resiste el tráfico real de Grok Bot, la reescritura se convertirá en la plataforma sobre la que se entrenará Grok 5. Si falla, ya no quedará ningún marco de trabajo externo al que echarle la culpa.

Etiquetas: , , , ,

Añádenos en Google

Debate

Hay 0 comentarios.