IA

El CEO de Google, Sundar Pichai, deja de contar el código de IA de Google y ve lejos la IA que se mejora sola

Adrian Kessler
Añádenos en Google

El consejero delegado de Google ha dejado de contar. Al preguntarle qué parte del código de la compañía escribe ahora la IA, Sundar Pichai dijo que la pregunta ya no tiene sentido, porque la IA interviene en todo. En esa misma conversación restó importancia a un escenario que tiene en vilo a buena parte del sector: una IA capaz de crear versiones mejores de sí misma sin intervención humana.

Puede que ambas afirmaciones sean ciertas. El problema es quién las verifica. La cifra que Pichai ha dejado de lado era el único dato que los observadores externos podían comparar con el de otras empresas. Lo que la sustituye, así como las pruebas que respaldan su visión más tranquilizadora de la automejora de la IA, procede de las mediciones que hace Google sobre Google.

Qué dijo Sundar Pichai sobre la IA y el código de Google

Pichai hablaba con Alex Kantrowitz en el pódcast Big Technology, grabado en la sede de Google en Mountain View y publicado también por Kantrowitz en formato de preguntas y respuestas. Cuando Kantrowitz mencionó la antigua afirmación de que una cuarta parte del código de Google procedía de la IA y le preguntó cuál era la cifra actual, Pichai la calificó de «carente de sentido», porque cada parte del código que Google toca ahora «está profundamente influida por la IA».

En su lugar, ofreció cifras de Gemini 4 Argon, el modelo más reciente de Google, que la empresa ha puesto en manos de sus propios ingenieros. En las cuatro semanas transcurridas desde su lanzamiento, dijo, Google había registrado un aumento del 30 % en los CL, su denominación interna para las propuestas de código, y una reducción de un tercio en las reversiones, es decir, los cambios que hay que deshacer después de publicarlos. «Ahora lo estamos siguiendo con métricas más recientes», dijo.

La antigua métrica no desapareció por sí sola. En una entrada de blog publicada en abril, Google situó en el 75 % la proporción de código nuevo generado por IA, frente al 25 % de 2024 y el 50 % del otoño anterior, según Semafor y ETV Bharat. Semafor señaló entonces que algunas de esas afirmaciones eran casi imposibles de verificar y las comparó con las de Snap, que alcanzaba el 65 %, y Meta, que aspiraba a niveles similares.

Por qué Pichai dice que la automejora de la IA aún queda lejos

Al hablar de la automejora recursiva, o RSI, Pichai presentó su respuesta como una aclaración de lo que había dicho su cofundador. Sergey Brin había calificado la RSI de factor decisivo para Argon, explicó, pero «estamos bastante lejos de llegar al estado final de la RSI». Después describió la situación actual de Google: «La forma adecuada de explicarlo es que hay ciclos de RSI junto con investigadores de IA en distintos aspectos del desarrollo de modelos. Diría que casi hay agentes que ayudan a los investigadores de IA, de alguna manera automatizada, a colaborar en la creación de estos modelos».

Brin había ido más lejos unos días antes. En una mesa redonda sobre Argon que Google compartió, dijo que la empresa «está empezando a subirse a esa cinta de la RSI» y que «ahora nuestros investigadores y el modelo trabajan codo con codo para crear la siguiente versión del modelo», según informó Business Insider. Un informe de Gladstone AI publicado este mes indicaba que la mayoría de los investigadores entrevistados en Anthropic, OpenAI y Google DeepMind espera que la RSI comience en un plazo de entre tres y doce meses.

El informe de seguridad de Google respalda a Pichai, según las pruebas de la propia Google

Sobre el papel, los datos respaldan a Pichai. El informe de seguridad de Google DeepMind sobre Argon concluye que no hay «una aceleración significativa de principio a fin de la I+D en IA, impulsada por la IA o de otro tipo» y califica ese riesgo de «actualmente bajo», según informó TNW. Los agentes de IA, señala, «redactan la mayoría del código de producción y de las correcciones de errores, aunque los cambios en el código siguen sujetos a revisión humana antes de su envío». Las solicitudes de incorporación de cambios totalmente delegadas pasaron del 7,5 % en abril al 11,9 % en septiembre; alrededor del 88 % todavía requiere indicaciones humanas reiteradas o código escrito por una persona.

Esos resultados proceden de los instrumentos de medición de Google. El umbral para determinar si la IA automatiza la investigación en IA se comprueba con una prueba interna de 74 tareas que nadie ajeno a la empresa puede ejecutar. Un análisis publicado en LessWrong señala una observación del propio informe: de las tareas originales que Google auditó, «alrededor de una cuarta parte contenía errores que impedían que cualquier envío superase la prueba». Como muchas ejecuciones agotaron el tiempo disponible, el informe no ofrece una estimación puntual para Argon, que resolvió aproximadamente la mitad de las pruebas completadas. Google afirma que su conclusión se mantiene incluso si todas las pruebas inconclusas hubieran tenido éxito.

La revisión humana es el filtro del que depende el argumento de seguridad. Un 30 % más de propuestas de código supone un 30 % más de cambios para quienes se encargan de ese filtro, y las métricas que eligió Pichai cuentan los resultados y las reversiones, no hasta qué punto se leyó cada cambio.

La propia solución de Pichai: auditores independientes

Pichai no restó importancia a la preocupación. La investigación sobre alineamiento sigue teniendo «carencias claras», dijo, y «es razonable estar preocupado». A su juicio, el siguiente paso son unas normas comunes para todo el sector, «incluida la posibilidad de evaluar con evaluadores independientes», inspiradas en las normas contables y en los auditores externos, junto con una regulación que «acabará desempeñando un papel».

Si se aplica ese criterio, ninguna de las dos afirmaciones de esta semana ha sido auditada. Google cuenta sus propias listas de cambios, evalúa sus propias reversiones y puntúa su propia prueba de investigación.

El porcentaje que calificó de carente de sentido era rudimentario, pero cualquiera podía compararlo con el de Snap. Las cifras que lo sustituyen solo se pueden consultar desde dentro de Google.

Etiquetas: , , , ,

Añádenos en Google

Debate

Hay 0 comentarios.