robots.txt: una señal común para el entrenamiento de IA, y las decisiones que impone a los comerciantes

El 30 de octubre de 2026 cayeron tres anuncios el mismo día. En su blog Search Central, Google indicó que admitirá un control común del entrenamiento de IA en robots.txt; OpenAI publicó una entrada en la misma línea; Microsoft detalló su calendario para Bing. El punto en común: un mismo token, definido en un borrador de la IETF redactado en Anthropic y publicado ese mismo día, que cada proveedor participante se compromete a leer de la misma manera.

Qué cambia en la práctica

Hasta ahora, un comerciante que quisiera mantener sus contenidos fuera del entrenamiento de los modelos tenía que mantener una lista de tokens propietarios: Google-Extended en Google desde 2023, GPTBot en OpenAI, las etiquetas NoArchive y NoCache en Microsoft, y una línea más con cada nuevo actor. El borrador de la IETF propone en su lugar un único token de política, __usage_ai-training, que se escribe como un grupo robots.txt ordinario:

• User-Agent: __usage_ai-training
• Disallow: /
• Allow: /prensa/

Leído por un proveedor participante, ese grupo expresa una preferencia contra el entrenamiento en todo el sitio, salvo la carpeta de prensa. La gramática es la del RFC 9309: las mismas reglas de ruta, la misma prioridad a la coincidencia más larga, ninguna directiva nueva que aprender.

Tres precisiones importan a un arquitecto.

• No es una regla de rastreo. El token nunca aparece en la cabecera de petición de un robot; describe un uso, no un acceso. Para limitar el rastreo, los grupos Googlebot, Bingbot o GPTBot siguen siendo la capa adecuada.
• El grupo comodín no cuenta. Un robots.txt que solo bloquea el carrito y la cuenta de cliente bajo el asterisco no expresa ninguna preferencia de entrenamiento. Hay que nombrar el token.
• Sin token, no hay preferencia. Los proveedores aplican entonces sus reglas habituales, y un token propietario conserva su propio significado.

Entrenamiento no es visibilidad

Es la trampa principal para un comerciante online. El token cubre una sola cosa: el entrenamiento, que la IETF define como el uso de un contenido para modificar los parámetros aprendidos de un modelo generativo. No dice nada de la búsqueda clásica, de las respuestas generadas a partir de la web (lo que los proveedores llaman grounding) ni de los agentes de compra que leen tu catálogo en directo.

Sin embargo, los proveedores vinculan ambas cosas, cada uno a su manera. Google precisa que un sitio que rechace el entrenamiento mediante el token común sin mencionar Google-Extended será tratado como si hubiera bloqueado Google-Extended; y solo los sitios que autorizan explícitamente Google-Extended siguen siendo elegibles para las respuestas y los clics procedentes del grounding en las aplicaciones Gemini. Rechazar el entrenamiento en Google puede costar, por tanto, presencia en Gemini. Microsoft, en cambio, separa los dos usos: el entrenamiento se ajusta en robots.txt o página por página, el grounding solo página por página, con una opción intermedia, DisallowExtended, que reserva tus contenidos a las experiencias de Microsoft (Copilot, AI Mode, Microsoft 365) y los retira de los servicios de terceros. Microsoft advierte de que rechazar el grounding reducirá la visibilidad de la marca en sus experiencias de IA, sin afectar a los resultados clásicos de Bing.

Para un comerciante, la pregunta no es «bloquear o no la IA», sino: qué contenidos tienen un valor de entrenamiento que no quieres ceder (guías de compra, comparativas, fotos, reseñas) y qué presencia en los asistentes no quieres perder (fichas de producto, stock, precios).

El calendario

• Google apunta a una compatibilidad en 2027, junto con los demás proveedores; Google-Extended sigue funcionando en paralelo.
• OpenAI anuncia un despliegue en los próximos meses y confirma que sus controles existentes se siguen respetando.
• Microsoft aplica las nuevas preferencias a partir del 1 de febrero de 2027. El 1 de marzo de 2027, NoArchive y NoCache dejarán de leerse como preferencias de entrenamiento o grounding: los sitios que se apoyaban en ellas deben publicar preferencias página por página antes de esa fecha, y un ajuste transitorio para el grounding se abrirá en Bing Webmaster Tools el 15 de diciembre de 2026. Ambas preferencias valen Permitir por defecto.
• En el plano normativo, el texto sigue siendo un borrador que expira el 3 de mayo de 2027, y las discusiones sobre el resto del vocabulario de la IETF continúan. Google subraya que el enfoque es coherente con el código de buenas prácticas europeo para los modelos de IA de propósito general, que reconoce robots.txt como medio preferente para expresar estas preferencias.

Qué hacer en una tienda Magento o Adobe Commerce

1. Inventariar lo existente. En Magento 2 y Adobe Commerce, robots.txt se edita en la administración, a escala de sitio web, en la configuración del diseño; en multisitio, cada dominio tiene el suyo. Anota también las etiquetas meta robots y las cabeceras X-Robots-Tag que ponen el tema, los módulos SEO y el CDN: a menudo se contradicen.
2. Decidir por zona, no por sitio. Catálogo, contenido editorial, espacio B2B, medios: cada zona merece su propia respuesta, redactada con marketing y legal, y después versionada con el código.
3. No retirar nada antes de 2027. Las líneas Google-Extended, GPTBot y compañía siguen siendo válidas; el token común se añade, no sustituye nada, y un proveedor puede tratar su propio token como más específico.
4. Tratar las tiendas desacopladas. En un front headless, Edge Delivery o Next.js, robots.txt ya no lo sirve Magento: el archivo y las cabeceras dependen del equipo front y del CDN. Hace falta un único responsable.
5. Medir. Registra los pasos de los robots de IA antes y después, y sigue las visitas que llegan desde los asistentes; es la única forma de estimar el coste real de un rechazo.

El token común simplifica la escritura de la preferencia; no decide por ti. El arbitraje entre proteger los contenidos y estar presente en los asistentes es una decisión de arquitectura y de dirección, que hay que tomar ahora, mientras los proveedores dejan tiempo para prepararla.