robots.txt: um sinal comum para o treino de IA, e as decisões que impõe aos comerciantes

A 30 de outubro de 2026, caíram três anúncios no mesmo dia. No seu blogue Search Central, a Google indicou que vai suportar um controlo comum do treino de IA no robots.txt; a OpenAI publicou um artigo no mesmo sentido; a Microsoft detalhou o seu calendário para o Bing. O ponto comum: um mesmo token, definido num rascunho do IETF redigido na Anthropic e publicado nesse mesmo dia, que cada fornecedor participante se compromete a ler da mesma forma.

O que muda na prática

Até agora, um comerciante que quisesse manter os seus conteúdos fora do treino dos modelos tinha de manter uma lista de tokens proprietários: Google-Extended na Google desde 2023, GPTBot na OpenAI, as etiquetas NoArchive e NoCache na Microsoft, e mais uma linha a cada novo interveniente. O rascunho do IETF propõe, em vez disso, um único token de política, __usage_ai-training, que se escreve como um grupo robots.txt comum:

User-Agent: __usage_ai-training
Disallow: /
Allow: /imprensa/

Lido por um fornecedor participante, esse grupo exprime uma preferência contra o treino em todo o site, exceto a pasta de imprensa. A gramática é a do RFC 9309: as mesmas regras de caminho, a mesma prioridade à correspondência mais longa, nenhuma diretiva nova para aprender.

Três precisões contam para um arquiteto.

Não é uma regra de rastreio. O token nunca aparece no cabeçalho de pedido de um robô; descreve uma utilização, não um acesso. Para limitar o rastreio, os grupos Googlebot, Bingbot ou GPTBot continuam a ser a camada certa.
O grupo genérico não conta. Um robots.txt que apenas bloqueia o carrinho e a conta de cliente sob o asterisco não exprime nenhuma preferência de treino. É preciso nomear o token.
Sem token, não há preferência. Os fornecedores aplicam então as suas regras habituais, e um token proprietário mantém o seu próprio significado.

Treino não é visibilidade

É a principal armadilha para quem vende online. O token cobre uma única coisa: o treino, que o IETF define como a utilização de um conteúdo para modificar os parâmetros aprendidos de um modelo generativo. Nada diz sobre a pesquisa clássica, sobre as respostas geradas a partir da web (o que os fornecedores chamam grounding) nem sobre os agentes de compra que leem o seu catálogo em direto.

Os fornecedores ligam, no entanto, as duas coisas, cada um à sua maneira. A Google precisa que um site que recuse o treino através do token comum sem mencionar o Google-Extended será tratado como se tivesse bloqueado o Google-Extended; ora, só os sites que autorizam explicitamente o Google-Extended continuam elegíveis para as respostas e os cliques vindos do grounding nas aplicações Gemini. Recusar o treino na Google pode, portanto, custar presença no Gemini. A Microsoft, pelo contrário, separa as duas utilizações: o treino define-se no robots.txt ou página a página, o grounding apenas página a página, com uma opção intermédia, DisallowExtended, que reserva os seus conteúdos às experiências Microsoft (Copilot, AI Mode, Microsoft 365) e os retira dos serviços de terceiros. A Microsoft avisa que recusar o grounding reduzirá a visibilidade da marca nas suas experiências de IA, sem tocar nos resultados clássicos do Bing.

Para um comerciante, a questão não é, portanto, «bloquear ou não a IA», mas: que conteúdos têm um valor de treino que não quer ceder (guias de compra, comparativos, fotografias, avaliações) e que presença nos assistentes não quer perder (fichas de produto, stock, preços)?

O calendário

A Google aponta para um suporte em 2027, ao lado dos outros fornecedores; o Google-Extended continua a funcionar em paralelo.
A OpenAI anuncia uma implementação nos próximos meses e confirma que os seus controlos existentes continuam a ser respeitados.
A Microsoft aplica as novas preferências a partir de 1 de fevereiro de 2027. A 1 de março de 2027, NoArchive e NoCache deixam de ser lidas como preferências de treino ou de grounding: os sites que se apoiavam nelas têm de publicar preferências página a página antes dessa data, e uma definição transitória para o grounding abre nas Bing Webmaster Tools a 15 de dezembro de 2026. Ambas as preferências valem Permitir por defeito.
No plano das normas, o texto continua a ser um rascunho que expira a 3 de maio de 2027, e as discussões sobre o resto do vocabulário do IETF continuam. A Google sublinha que a abordagem é coerente com o código de boas práticas europeu para os modelos de IA de finalidade geral, que reconhece o robots.txt como meio privilegiado para exprimir estas preferências.

O que fazer numa loja Magento ou Adobe Commerce

Inventariar o existente. No Magento 2 e no Adobe Commerce, o robots.txt edita-se na administração, à escala do website, na configuração do design; em multi-site, cada domínio tem o seu. Registe também as etiquetas meta robots e os cabeçalhos X-Robots-Tag colocados pelo tema, pelos módulos SEO e pelo CDN: contradizem-se com frequência.
Decidir por zona, não por site. Catálogo, conteúdo editorial, área B2B, media: cada zona merece a sua própria resposta, escrita com o marketing e o jurídico, depois versionada com o código.
Não retirar nada antes de 2027. As linhas Google-Extended, GPTBot e companhia continuam válidas; o token comum acrescenta-se, não substitui nada, e um fornecedor pode tratar o seu próprio token como mais específico.
Tratar as montras desacopladas. Num front headless, Edge Delivery ou Next.js, o robots.txt já não é servido pelo Magento: o ficheiro e os cabeçalhos dependem da equipa de front e do CDN. É preciso um único responsável.
Medir. Registe as passagens dos robôs de IA antes e depois, e acompanhe as visitas vindas dos assistentes; é a única forma de estimar o custo real de uma recusa.

O token comum simplifica a escrita da preferência; não decide por si. A arbitragem entre a proteção dos conteúdos e a presença nos assistentes é uma decisão de arquitetura e de direção, a tomar agora, enquanto os fornecedores deixam tempo para a preparar.