robots.txt: un segnale comune per l’addestramento delle IA, e le decisioni che impone ai merchant

Il 30 ottobre 2026 sono arrivati tre annunci nello stesso giorno. Sul suo blog Search Central, Google ha indicato che supporterà un controllo comune dell’addestramento delle IA in robots.txt; OpenAI ha pubblicato un post nella stessa direzione; Microsoft ha dettagliato il suo calendario per Bing. Il punto in comune: uno stesso token, definito in una bozza dell’IETF redatta in Anthropic e pubblicata quello stesso giorno, che ogni fornitore partecipante si impegna a leggere allo stesso modo.

Cosa cambia in concreto

Finora un merchant che volesse tenere i propri contenuti fuori dall’addestramento dei modelli doveva mantenere un elenco di token proprietari: Google-Extended da Google dal 2023, GPTBot da OpenAI, i tag NoArchive e NoCache da Microsoft, e una riga in più a ogni nuovo attore. La bozza dell’IETF propone invece un unico token di policy, __usage_ai-training, che si scrive come un normale gruppo robots.txt:

User-Agent: __usage_ai-training
Disallow: /
Allow: /stampa/

Letto da un fornitore partecipante, quel gruppo esprime una preferenza contro l’addestramento su tutto il sito, tranne la cartella stampa. La grammatica è quella dell’RFC 9309: stesse regole di percorso, stessa priorità alla corrispondenza più lunga, nessuna nuova direttiva da imparare.

Tre precisazioni contano per un architetto.

Non è una regola di crawling. Il token non compare mai nell’header di richiesta di un bot; descrive un uso, non un accesso. Per limitare la scansione, i gruppi Googlebot, Bingbot o GPTBot restano il livello giusto.
Il gruppo jolly non conta. Un robots.txt che blocca solo carrello e account cliente sotto l’asterisco non esprime alcuna preferenza di addestramento. Il token va nominato.
Senza token, nessuna preferenza. I fornitori applicano allora le loro regole abituali, e un token proprietario conserva il proprio significato.

Addestramento non significa visibilità

È la trappola principale per chi vende online. Il token copre una sola cosa: l’addestramento, che l’IETF definisce come l’uso di un contenuto per modificare i parametri appresi di un modello generativo. Non dice nulla della ricerca classica, delle risposte generate a partire dal web (quello che i fornitori chiamano grounding) né degli agenti di acquisto che leggono il tuo catalogo in tempo reale.

I fornitori però collegano le due cose, ciascuno a modo suo. Google precisa che un sito che rifiuta l’addestramento tramite il token comune senza menzionare Google-Extended sarà trattato come se avesse bloccato Google-Extended; e solo i siti che autorizzano esplicitamente Google-Extended restano idonei alle risposte e ai clic provenienti dal grounding nelle app Gemini. Rifiutare l’addestramento da Google può quindi costare presenza in Gemini. Microsoft, al contrario, separa i due usi: l’addestramento si imposta in robots.txt o pagina per pagina, il grounding solo pagina per pagina, con un’opzione intermedia, DisallowExtended, che riserva i tuoi contenuti alle esperienze Microsoft (Copilot, AI Mode, Microsoft 365) e li ritira dai servizi terzi. Microsoft avverte che rifiutare il grounding ridurrà la visibilità del brand nelle sue esperienze IA, senza toccare i risultati classici di Bing.

Per un merchant la domanda non è quindi «bloccare o no le IA», ma: quali contenuti hanno un valore di addestramento che non vuoi cedere (guide all’acquisto, confronti, foto, recensioni), e quale presenza negli assistenti non vuoi perdere (schede prodotto, disponibilità, prezzi)?

Il calendario

Google punta a un supporto nel 2027, insieme agli altri fornitori; Google-Extended continua a funzionare in parallelo.
OpenAI annuncia un rilascio nei prossimi mesi e conferma che i suoi controlli esistenti restano rispettati.
Microsoft applica le nuove preferenze dal 1º febbraio 2027. Il 1º marzo 2027 NoArchive e NoCache non saranno più letti come preferenze di addestramento o grounding: i siti che vi si appoggiavano devono pubblicare preferenze pagina per pagina prima di quella data, e un’impostazione transitoria per il grounding si aprirà in Bing Webmaster Tools il 15 dicembre 2026. Entrambe le preferenze valgono Consenti per impostazione predefinita.
Sul fronte degli standard, il testo resta una bozza che scade il 3 maggio 2027, e le discussioni sul resto del vocabolario IETF continuano. Google sottolinea che l’approccio è coerente con il codice di buone pratiche europeo per i modelli di IA per finalità generali, che riconosce robots.txt come mezzo privilegiato per esprimere queste preferenze.

Cosa fare su un negozio Magento o Adobe Commerce

Inventariare l’esistente. Su Magento 2 e Adobe Commerce, robots.txt si modifica dall’amministrazione, a livello di sito web, nella configurazione del design; in multisito ogni dominio ha il suo. Rileva anche i meta tag robots e gli header X-Robots-Tag impostati da tema, moduli SEO e CDN: spesso si contraddicono.
Decidere per zona, non per sito. Catalogo, contenuti editoriali, area B2B, media: ogni zona merita la propria risposta, scritta con marketing e legale, poi versionata con il codice.
Non togliere nulla prima del 2027. Le righe Google-Extended, GPTBot e simili restano valide; il token comune si aggiunge, non sostituisce nulla, e un fornitore può trattare il proprio token come più specifico.
Gestire le vetrine disaccoppiate. Su un front headless, Edge Delivery o Next.js, robots.txt non è più servito da Magento: file e header dipendono dal team front e dal CDN. Serve un unico responsabile.
Misurare. Registra i passaggi dei bot IA prima e dopo, e segui le visite provenienti dagli assistenti; è l’unico modo per stimare il costo reale di un rifiuto.

Il token comune semplifica la scrittura della preferenza; non decide al posto tuo. L’arbitrato tra protezione dei contenuti e presenza negli assistenti è una decisione di architettura e di direzione, da prendere ora, mentre i fornitori lasciano il tempo di prepararla.