Robots.txt tendrá una línea para que Google y OpenAI no entrenen su IA con tu web

Quienes querían evitar que sus sitios web se usaran para entrenar modelos de IA tenían que escribir una regla distinta para cada empresa y aprenderse nombres como GPTBot, ClaudeBot y Google-Extended uno por uno. Google, OpenAI, Anthropic y Microsoft anuncian ahora que todas leerán la misma línea: un «token de política» compartido en robots.txt, el pequeño archivo de texto que desde los primeros tiempos de la web indica a los buscadores adónde no deben entrar. Bastará con escribir esa instrucción una vez para dar la misma respuesta a cuatro de los mayores desarrolladores de IA.

La idea es de Kevin Kelley, responsable técnico de estándares en Anthropic, que la presentó ante el Internet Engineering Task Force, el organismo encargado de redactar las normas técnicas de internet. Su ingeniosa ventaja es que no inventa una sintaxis nueva. El propietario de un sitio escribe un grupo de reglas corriente, pero en la línea User-Agent especifica un uso, no un rastreador: __usage_ai-training. Debajo, «Disallow: /» significa que no se debe entrenar con ningún contenido del sitio; una línea «Allow» permite establecer excepciones, como un dossier de prensa que a una empresa le gustaría que un modelo pudiera aprender.

Para un blog, una tienda o una redacción, el detalle más útil es lo que esta línea no modifica. Expresa una preferencia sobre el uso de los contenidos, no sobre quién puede visitar el sitio, así que las búsquedas siguen funcionando. Google afirma que, si un sitio se excluye mediante el token compartido y no menciona Google-Extended por separado, interpretará la instrucción como un bloqueo de Google-Extended, que abarca el entrenamiento de Gemini y mantiene la página en Google Search. Microsoft promete lo mismo para Bing: esta configuración no cambia la posibilidad de que una página aparezca en sus resultados.

Microsoft va un paso más allá que las demás. Además de la opción sobre el entrenamiento, incorpora una preferencia independiente de fundamentación, que se configura página por página mediante una metaetiqueta o una cabecera HTTP y determina si una página puede servir de base para las respuestas que Bing, Copilot y Microsoft 365 generan al instante. Un sitio podría rechazar el entrenamiento y permitir, aun así, la fundamentación, de modo que sus citas y enlaces siguieran apareciendo en las respuestas de IA. Microsoft advierte de que negarse a la fundamentación «reducirá significativamente» la visibilidad del sitio en esas experiencias y de que ninguna de las dos opciones garantiza aparecer en ellas, recibir tráfico o cobrar.

En el archivo que la mayoría de los sitios ya tiene se esconde una pega. El borrador de Kelley hace que la conocida regla comodín «User-agent: *» ignore deliberadamente el nuevo token, así que un robots.txt que hoy bloquea a todos los bots no expresa ninguna preferencia sobre el entrenamiento de IA. Quienes quieran excluirse tendrán que añadir el nuevo grupo por su nombre. La señal también solo sirve de cara al futuro: todo lo que las empresas rastrearon antes de que aparezca la línea ya forma parte de sus conjuntos de entrenamiento, y el borrador no obliga a ninguna empresa a respetarla. Es una petición que cuatro compañías se han comprometido a atender, no un cerrojo.

La ausencia más llamativa es Meta. Andy Stone, responsable de comunicación de la empresa, declaró a The Verge que una señal común que llegue a varios proveedores a la vez es «un paso importante», pero no dijo si Meta la respetará. El momento resulta incómodo. El mismo día en que las cuatro compañías anunciaron su apoyo, entraron en vigor las nuevas condiciones comerciales de Meta, que le permiten enviar rastreadores a sitios web vinculados a cuentas profesionales de Facebook, Instagram y WhatsApp y utilizar lo que recopilen para entrenar sus productos.

La implantación avanza a distintas velocidades. Anthropic ya ha empezado a implementar el token, aunque Kelley escribió que llevará tiempo aplicarlo a todos sus servicios. Microsoft lo respetará en los rastreos que realice a partir del 1 de febrero de 2027 y, después del 1 de marzo, dejará de interpretar sus antiguas etiquetas NoArchive y NoCache como señales de entrenamiento o fundamentación. Google prevé admitir el token en 2027 y promete informar de los avances, mientras que OpenAI solo se ha comprometido a hacerlo en los próximos meses. La propuesta aún debe pasar por el grupo de trabajo sobre preferencias de IA del IETF antes de convertirse en norma formal. Google señala, además, que encaja con el código de buenas prácticas de la UE para modelos de IA de propósito general, que ya considera robots.txt el principal medio para que los editores expresen preferencias legibles por máquinas.

Lo extraordinario de este momento es lo pequeña que es la solución. Tras años de demandas y disputas por las licencias sobre quién es dueño de la web abierta, la primera respuesta común consiste en unos pocos caracteres en un archivo de texto sin formato que cualquiera puede editar en un minuto. El alcance de la protección dependerá de quién se sume a continuación, y la empresa que tiene más páginas profesionales en sus plataformas todavía no ha dicho que sí.

Etiquetas: inteligencia artificial, Google, OpenAI, Anthropic, meta, microsoft