IA

Robots.txt tendrá una línea para que Google y OpenAI no entrenen su IA con tu web

Susan Hill
Añádenos en Google

Google, OpenAI, Anthropic y Microsoft han acordado leer un único token de robots.txt, __usage_ai-training, como la respuesta de un sitio web sobre el entrenamiento de IA. Es más sencillo que las listas actuales rastreador por rastreador, pero es voluntario, solo mira hacia delante y no significa exactamente lo mismo en todas las empresas.

Quien quería mantener su web fuera del entrenamiento de IA tenía que escribir una regla distinta para cada empresa, aprenderse uno por uno nombres como GPTBot, ClaudeBot y Google-Extended y actualizar la lista cada vez que otro desarrollador publicaba un rastreador. El viernes 30 de octubre, Google, OpenAI, Anthropic y Microsoft anunciaron que, en su lugar, todas leerán la misma línea: un «token de política» compartido en robots.txt, el pequeño archivo de texto que desde los primeros tiempos de la web indica a los buscadores adónde no deben entrar. Escrita una sola vez, esa instrucción dará la misma respuesta a cuatro de los mayores desarrolladores de IA.

La idea es de Kevin Kelley, responsable técnico de estándares en Anthropic, que la presentó como Internet-Draft ante el Internet Engineering Task Force (IETF), el organismo que redacta las normas técnicas de internet. Google publicó su apoyo en su blog Search Central con la firma de John Mueller, su Search Advocate; Microsoft lo hizo en el blog de Bing a través de Krishna Madhavan, director principal de producto, y OpenAI difundió un breve comunicado de la empresa. Kelley anunció el borrador esa misma tarde en la lista de correo del grupo de trabajo de Preferencias de IA del IETF, conocido como AIPREF, y escribió que Anthropic «ya ha empezado a implementar la compatibilidad» con él.

Cómo funciona la línea

Su ingeniosa ventaja es que no inventa una sintaxis nueva. El propietario de un sitio escribe un grupo de reglas corriente de robots.txt, pero la línea User-Agent nombra un uso en lugar de un rastreador: __usage_ai-training. Debajo, «Disallow: /» significa que no se entrene con nada de lo que hay ahí, y una línea «Allow» permite establecer excepciones. El propio ejemplo del borrador abre una carpeta /press-kit/, el tipo de material del que a una empresa le encantaría que aprendiera un modelo. La coincidencia sigue las reglas de rutas y la prioridad de la coincidencia más larga de RFC 9309, el Protocolo de Exclusión de Robots que el IETF formalizó en septiembre de 2022, casi tres décadas después de que Martijn Koster propusiera la convención en 1994.

El doble guion bajo inicial es deliberado. Algunos analizadores de robots.txt en uso comparan los nombres de los bots de forma laxa, y el prefijo hace improbable una coincidencia accidental con un rastreador real. Un mismo grupo puede incluir varios tokens de política, y estos pueden convivir con nombres de rastreadores corrientes. Kelley escribió que había dedicado mucho tiempo a estudiar cómo se comportan los analizadores desplegados y que diseñó el mecanismo para mantenerse lejos de los terrenos en los que discrepan, de modo que el software que no sabe nada del token simplemente se salta el grupo, como haría con cualquier grupo dirigido a un bot que no reconoce.

La definición de entrenamiento se toma prestada en lugar de inventarse. El borrador la extrae del documento de vocabulario del grupo de trabajo AIPREF, editado por Paul Keller, de Open Future, y Martin Thomson, de Mozilla: entrenar una IA significa usar un recurso «para modificar los parámetros aprendidos de un modelo de IA generativa». Los modelos que solo se usan para clasificar, ordenar o puntuar quedan fuera, aunque generen una explicación de su resultado. La preferencia que se aplica a una página es la que figuraba en el archivo robots.txt vigente en el momento en que se recuperó la página.

Las búsquedas siguen donde estaban

Para un blog, una tienda o una redacción, el detalle más útil es lo que esta línea no toca. El borrador dice claramente que el token «no es una directiva sobre el comportamiento de rastreo»: expresa una preferencia sobre cómo se usan los contenidos, no sobre quién puede visitar el sitio, así que las búsquedas siguen funcionando. Las reglas dirigidas a Googlebot, Bingbot o cualquier otro rastreador con nombre conservan exactamente el significado que tienen hoy. Un sitio que quiera que un bot no entre en absoluto sigue teniendo que decirlo en un grupo con el nombre de ese bot.

Microsoft afirma que la configuración no cambia la posibilidad de que una página aparezca en los resultados de Bing. Google asegura que, si un sitio se excluye con el token compartido y no menciona Google-Extended por separado, lo interpretará como un bloqueo de Google-Extended. Google-Extended, que Google ofrece desde 2023, no influye en la inclusión en Google Search, pero abarca algo más que el entrenamiento: según la documentación de rastreadores de Google, también decide si una página puede usarse para la fundamentación (grounding) en Gemini Apps y en Vertex AI, el proceso por el que se entregan al modelo páginas del índice de búsqueda mientras responde. Según el plan anunciado por Google, la exclusión compartida del entrenamiento también saca, por tanto, a un sitio de esas respuestas fundamentadas de Gemini, salvo que el sitio añada un grupo explícito de permiso para Google-Extended, que Google trata como la regla más específica. AI Overviews y AI Mode en Google Search son otro asunto: se rigen por las reglas de Googlebot y por un ajuste de Search Console que la compañía extendió a todos los sitios en agosto.

Microsoft separa el entrenamiento de las respuestas

Microsoft va un paso más allá que las demás. Además del entrenamiento, incorpora una preferencia independiente de fundamentación, que se configura página por página mediante una metaetiqueta o una cabecera HTTP y determina si una página puede alimentar las respuestas que Bing, Copilot y Microsoft 365 generan al instante. Admite tres valores: Allow, el predeterminado; Disallow, y un nuevo DisallowExtended, que mantiene la página disponible para las experiencias de IA de la propia Microsoft, pero fuera de los servicios de fundamentación que Microsoft vende a otras empresas, como Web IQ. Un sitio podría rechazar el entrenamiento y permitir, aun así, la fundamentación, de modo que sus citas y enlaces siguieran apareciendo en las respuestas de IA. Microsoft también permite fijar la preferencia de entrenamiento para una sola página, y ese ajuste a nivel de página prevalece sobre robots.txt.

Microsoft advierte de que restringir la fundamentación reducirá la visibilidad del sitio en esas experiencias y afirma que «ninguna de las dos opciones garantiza la inclusión, el tráfico ni el pago». La compañía también retira las etiquetas NoArchive y NoCache que introdujo en 2023 como controles de IA. Respetará las nuevas preferencias en sus rastreos a partir del 1 de febrero de 2027 y, después del 1 de marzo, dejará de interpretar las antiguas etiquetas como señales de entrenamiento o fundamentación. Los sitios que dependen de esas etiquetas para quedar fuera de la fundamentación podrán registrar una preferencia temporal en Bing Webmaster Tools a partir del 15 de diciembre. Microsoft añade que, en cuanto detecte cualquiera de las dos nuevas preferencias en un sitio, ignorará las etiquetas antiguas que sigan allí, de modo que un editor que solo añada la línea compartida de entrenamiento podría perder una restricción de fundamentación que había fijado antes.

La trampa del comodín

En el archivo que la mayoría de los sitios ya tiene se esconde una pega. El borrador de Kelley hace deliberadamente que la conocida regla comodín, «User-agent: *», no vea el nuevo token, y un archivo sin grupo __usage_ai-training no expresa ninguna preferencia, algo que, como señaló Kelley, se cumple en todos los archivos robots.txt publicados hasta ahora. Un sitio que hoy cierra la puerta a todos los bots no ha dicho nada, según el borrador, sobre el entrenamiento de IA. Los propietarios que quieran excluirse tienen que añadir el nuevo grupo por su nombre. Los tokens anteriores de cada proveedor tampoco se trasladan: un bloqueo de Google-Extended conserva su significado en Google, pero no se convierte en una exclusión compartida para OpenAI ni para Microsoft.

La señal, además, solo mira hacia delante. Todo lo que las empresas rastrearon antes de que aparezca la línea ya está en sus conjuntos de entrenamiento, y nada en el borrador obliga a ninguna compañía a obedecerla. Los acuerdos privados de licencia pueden prevalecer sobre ella, añade el borrador, de modo que un editor con un acuerdo de contenidos puede publicar una negativa general y que sea ese acuerdo el que siga rigiendo su relación con un desarrollador concreto. La propia OpenAI califica su participación de «esfuerzo voluntario». Es una petición que cuatro compañías han prometido respetar, no un cerrojo.

Quién falta

La ausencia más llamativa es Meta. Su responsable de comunicación, Andy Stone, declaró a The Verge que una señal común que llegue a varios proveedores a la vez es «un paso importante», pero no dijo si Meta la respetará. El momento resulta incómodo. Las condiciones comerciales revisadas de Meta, que le permiten enviar rastreadores a sitios web vinculados a cuentas profesionales de Facebook, Instagram y WhatsApp y usar lo que recopilen para entrenar sus productos, debían entrar en vigor inicialmente el 30 de octubre, el día del anuncio. Después de que los editores se quejaran ante las autoridades de competencia de la UE y del Reino Unido, Meta comunicó a Reuters el 23 de octubre que había trasladado esa fecha al 20 de noviembre.

Meta no es la única gran empresa que queda fuera de los compromisos. Amazon no figuraba entre las cuatro, y tampoco Apple, cuyo token Applebot-Extended aparece en muchas de las listas de exclusión actuales. Sí aparecen empleados de Meta y Amazon en la extensa tabla de agradecimientos del borrador, junto a personas de Google, Microsoft y OpenAI, editores como News Corp, el Financial Times y la BBC, y organizaciones como la Electronic Frontier Foundation, Creative Commons, Internet Archive y Common Crawl. El borrador precisa que esas afiliaciones figuran solo a efectos de identificación, ya que los participantes del IETF contribuyen a título individual.

Un borrador todavía sin rango oficial

La implantación avanza a distintas velocidades. Anthropic ha empezado a implementar el token, aunque Kelley escribió que cubrir todos sus servicios llevará tiempo y que la forma en que la compañía interpreta estas señales puede cambiar a medida que evolucionen los estándares; sus controles actuales de ClaudeBot, Claude-User y Claude-SearchBot se mantienen. El calendario de Microsoft es el único cerrado. La entrada del blog de Google apunta a 2027 y su documentación de rastreadores habla de principios de 2027, mientras que OpenAI solo se ha comprometido a «los próximos meses» y dice que la nueva señal no sustituirá a los controles de robots.txt que ya ofrece, como GPTBot. La publicación de OpenAI describe además la señal como aplicable al «entrenamiento fundacional de IA generativa», y la empresa no ha aclarado si esa palabra restringe la definición más amplia del borrador de vocabulario.

El token tampoco tiene todavía un estatus formal. El datatracker del IETF registra el texto de Kelley como una contribución individual, no como un documento del grupo de trabajo, y caduca el 3 de mayo de 2027 salvo que lo sustituya una nueva versión. Kelley lo ha ofrecido como aportación al borrador independiente del grupo de trabajo sobre cómo asociar preferencias a los contenidos, del que es coautor Gary Illyes, de Google, uno de los autores de RFC 9309. Google señala que el plan encaja con el código de buenas prácticas de la UE para modelos de IA de uso general, publicado en julio de 2025, que ya considera robots.txt el principal medio para que los editores expresen preferencias legibles por máquinas y pide a los firmantes que utilicen rastreadores que lo respeten.

Lo extraordinario de este momento es el tamaño de la solución. Tras años de demandas y disputas por licencias sobre quién es dueño de la web abierta, la primera respuesta común son unos pocos caracteres en un archivo de texto sin formato que cualquiera puede editar en un minuto. Para la mayoría de los propietarios de sitios, el paso práctico es corto: añadir un grupo para __usage_ai-training, mantener las reglas de rastreadores existentes y comprobar qué hace la traducción de Google con las citas de Gemini antes de confiar en ella. Cuánto protege la línea dependerá de quién se sume después, y la empresa con más páginas profesionales en sus plataformas todavía no ha dicho que sí.

Etiquetas: , , , , ,

Añádenos en Google

Debate

Hay 0 comentarios.