robots.txt: één gedeeld signaal voor AI-training, en de keuzes die het webwinkeliers oplegt

Op 30 oktober 2026 kwamen drie aankondigingen op dezelfde dag. Op zijn Search Central-blog liet Google weten dat het in robots.txt een gedeelde regeling voor AI-training gaat ondersteunen; OpenAI publiceerde een bericht in dezelfde lijn; Microsoft zette zijn tijdlijn voor Bing uiteen. De gemene deler: één en hetzelfde token, vastgelegd in een IETF-ontwerp dat bij Anthropic is geschreven en dezelfde dag is gepubliceerd, en dat elke deelnemende aanbieder op dezelfde manier belooft te lezen.

Wat er concreet verandert

Tot nu toe moest een webwinkelier die zijn content buiten de training van modellen wilde houden een lijst eigen tokens bijhouden: Google-Extended bij Google sinds 2023, GPTBot bij OpenAI, de tags NoArchive en NoCache bij Microsoft, en bij elke nieuwe speler een regel extra. Het IETF-ontwerp stelt in plaats daarvan één beleidstoken voor, __usage_ai-training, dat u schrijft als een gewone robots.txt-groep:

User-Agent: __usage_ai-training
Disallow: /
Allow: /pers/

Gelezen door een deelnemende aanbieder drukt die groep een voorkeur uit tegen training op de hele site, behalve de persmap. De grammatica is die van RFC 9309: dezelfde padregels, dezelfde voorrang voor de langste overeenkomst, geen nieuwe richtlijn om te leren.

Drie punten zijn voor een architect van belang.

Het is geen crawlregel. Het token verschijnt nooit in de request-header van een bot; het beschrijft een gebruik, geen toegang. Om het crawlen te beperken blijven de groepen Googlebot, Bingbot of GPTBot de juiste laag.
De wildcard-groep telt niet. Een robots.txt die onder de ster alleen winkelwagen en klantaccount blokkeert, drukt geen enkele trainingsvoorkeur uit. Het token moet bij naam worden genoemd.
Zonder token geen voorkeur. De aanbieders passen dan hun gebruikelijke regels toe, en een eigen token houdt zijn eigen betekenis.

Training is geen zichtbaarheid

Dit is de grootste valkuil voor een webwinkel. Het token dekt één ding: training, door de IETF gedefinieerd als het gebruik van content om de geleerde parameters van een generatief model te wijzigen. Het zegt niets over klassiek zoeken, over antwoorden die uit het web worden gegenereerd (wat aanbieders grounding noemen) of over shoppingagents die uw catalogus live lezen.

Toch koppelen de aanbieders beide, elk op hun manier. Google stelt dat een site die training via het gedeelde token weigert zonder Google-Extended te noemen, wordt behandeld alsof hij Google-Extended had geblokkeerd; en alleen sites die Google-Extended uitdrukkelijk toestaan, blijven in aanmerking komen voor antwoorden en klikken via grounding in de Gemini-apps. Training weigeren bij Google kan dus aanwezigheid in Gemini kosten. Microsoft scheidt de twee toepassingen juist: training regelt u in robots.txt of per pagina, grounding alleen per pagina, met een tussenoptie, DisallowExtended, die uw content voorbehoudt aan Microsoft-ervaringen (Copilot, AI Mode, Microsoft 365) en uit diensten van derden haalt. Microsoft waarschuwt dat grounding weigeren de zichtbaarheid van het merk in zijn AI-ervaringen vermindert, zonder de klassieke Bing-resultaten te raken.

Voor een webwinkelier is de vraag dus niet „AI blokkeren of niet”, maar: welke content heeft een trainingswaarde die u niet wilt weggeven (koopgidsen, vergelijkingen, foto’s, reviews), en welke aanwezigheid in assistenten wilt u niet verliezen (productpagina’s, voorraad, prijzen)?

De tijdlijn

Google streeft naar ondersteuning in 2027, samen met de andere aanbieders; Google-Extended blijft parallel werken.
OpenAI kondigt een uitrol in de komende maanden aan en bevestigt dat zijn bestaande regelingen gerespecteerd blijven.
Microsoft past de nieuwe voorkeuren toe vanaf 1 februari 2027. Op 1 maart 2027 worden NoArchive en NoCache niet langer gelezen als trainings- of groundingvoorkeur: sites die erop vertrouwden, moeten vóór die datum voorkeuren per pagina publiceren, en een overgangsinstelling voor grounding opent op 15 december 2026 in Bing Webmaster Tools. Beide voorkeuren staan standaard op Toestaan.
Aan de normenkant blijft de tekst een ontwerp dat op 3 mei 2027 verloopt, en de discussies over de rest van het IETF-vocabulaire gaan door. Google benadrukt dat de aanpak aansluit bij de Europese praktijkcode voor AI-modellen voor algemene doeleinden, die robots.txt erkent als voornaamste middel om deze voorkeuren uit te drukken.

Wat te doen in een Magento- of Adobe Commerce-winkel

Inventariseer wat er is. In Magento 2 en Adobe Commerce bewerkt u robots.txt in de beheeromgeving, op websiteniveau, in de designconfiguratie; bij meerdere websites heeft elk domein zijn eigen bestand. Noteer ook de meta-robots-tags en X-Robots-Tag-headers die thema, SEO-modules en CDN plaatsen: ze spreken elkaar vaak tegen.
Beslis per zone, niet per site. Catalogus, redactionele content, B2B-omgeving, media: elke zone verdient een eigen antwoord, opgesteld met marketing en juridische zaken en daarna meegeversioneerd met de code.
Verwijder niets vóór 2027. De regels Google-Extended, GPTBot en consorten blijven geldig; het gedeelde token komt erbij, vervangt niets, en een aanbieder mag zijn eigen token als specifieker behandelen.
Regel de ontkoppelde storefronts. Op een headless, Edge Delivery- of Next.js-front wordt robots.txt niet meer door Magento geserveerd: het bestand en de headers vallen onder het frontteam en het CDN. Er is één eigenaar nodig.
Meet. Log de bezoeken van AI-bots voor en na, en volg de bezoeken die uit assistenten komen; alleen zo schat u de werkelijke kosten van een weigering.

Het gedeelde token maakt het schrijven van de voorkeur eenvoudiger; het beslist niet voor u. De afweging tussen het beschermen van content en aanwezig zijn in assistenten is een architectuur- en directiebeslissing, nu te nemen, zolang de aanbieders tijd laten om haar voor te bereiden.