robots.txt: ein gemeinsames Signal für KI-Training, und die Entscheidungen, die es Händlern abverlangt

Am 30. Oktober 2026 kamen drei Ankündigungen am selben Tag. Google erklärte in seinem Search-Central-Blog, dass es in robots.txt eine gemeinsame Steuerung des KI-Trainings unterstützen wird; OpenAI veröffentlichte einen Beitrag in dieselbe Richtung; Microsoft legte seinen Zeitplan für Bing vor. Der gemeinsame Nenner ist ein einziges Token, definiert in einem Internet-Draft der IETF, der bei Anthropic verfasst und am selben Tag veröffentlicht wurde und den jeder teilnehmende Anbieter auf dieselbe Weise lesen will.

Was sich konkret ändert

Bisher musste ein Händler, der seine Inhalte vom Modelltraining fernhalten wollte, eine Liste proprietärer Tokens pflegen: Google-Extended bei Google seit 2023, GPTBot bei OpenAI, die Tags NoArchive und NoCache bei Microsoft, und mit jedem neuen Akteur eine Zeile mehr. Der IETF-Entwurf schlägt stattdessen ein einziges Policy-Token vor, __usage_ai-training, das wie eine gewöhnliche robots.txt-Gruppe geschrieben wird:

• User-Agent: __usage_ai-training
• Disallow: /
• Allow: /presse/

Von einem teilnehmenden Anbieter gelesen, drückt diese Gruppe eine Präferenz gegen Training auf der gesamten Website aus, mit Ausnahme des Presseordners. Die Grammatik ist die von RFC 9309: dieselben Pfadregeln, derselbe Vorrang der längsten Übereinstimmung, keine neue Direktive zu lernen.

Drei Punkte sind für einen Architekten entscheidend.

• Es ist keine Crawl-Regel. Das Token erscheint nie im Request-Header eines Bots; es beschreibt eine Nutzung, keinen Zugriff. Um das Crawling zu begrenzen, bleiben die Gruppen Googlebot, Bingbot oder GPTBot die richtige Ebene.
• Die Wildcard-Gruppe zählt nicht. Eine robots.txt, die unter dem Stern nur Warenkorb und Kundenkonto sperrt, drückt keinerlei Trainingspräferenz aus. Das Token muss genannt werden.
• Ohne Token keine Präferenz. Die Anbieter wenden dann ihre üblichen Regeln an, und ein proprietäres Token behält seine eigene Bedeutung.

Training ist nicht Sichtbarkeit

Das ist die größte Falle für einen Onlinehändler. Das Token deckt genau eine Sache ab: das Training, von der IETF definiert als Nutzung eines Inhalts, um die gelernten Parameter eines generativen Modells zu verändern. Es sagt nichts über die klassische Suche, über aus dem Web generierte Antworten (von den Anbietern Grounding genannt) oder über Einkaufsagenten, die Ihren Katalog live lesen.

Die Anbieter verknüpfen beides dennoch, jeder auf seine Weise. Google stellt klar, dass eine Website, die das Training über das gemeinsame Token ablehnt, ohne Google-Extended zu nennen, so behandelt wird, als hätte sie Google-Extended gesperrt; nur Websites, die Google-Extended ausdrücklich erlauben, bleiben aber für Antworten und Klicks über Grounding in den Gemini-Apps zugelassen. Wer das Training bei Google ablehnt, kann also Präsenz in Gemini verlieren. Microsoft trennt die beiden Nutzungen dagegen: Training wird in robots.txt oder pro Seite festgelegt, Grounding nur pro Seite, mit einer Zwischenoption, DisallowExtended, die Ihre Inhalte den Microsoft-Erlebnissen (Copilot, AI Mode, Microsoft 365) vorbehält und aus Drittdiensten herausnimmt. Microsoft warnt, dass eine Ablehnung des Groundings die Sichtbarkeit der Marke in seinen KI-Erlebnissen verringert, ohne die klassischen Bing-Ergebnisse zu berühren.

Für einen Händler lautet die Frage also nicht „KI blockieren oder nicht“, sondern: Welche Inhalte haben einen Trainingswert, den Sie nicht abgeben wollen (Kaufratgeber, Vergleiche, Fotos, Bewertungen), und welche Präsenz in den Assistenten wollen Sie nicht verlieren (Produktseiten, Bestand, Preise)?

Der Zeitplan

• Google strebt die Unterstützung für 2027 an, gemeinsam mit den anderen Anbietern; Google-Extended funktioniert parallel weiter.
• OpenAI kündigt eine Einführung in den kommenden Monaten an und bestätigt, dass seine bestehenden Steuerungen weiterhin respektiert werden.
• Microsoft wendet die neuen Präferenzen ab dem 1. Februar 2027 an. Am 1. März 2027 werden NoArchive und NoCache nicht mehr als Trainings- oder Grounding-Präferenzen gelesen: Websites, die sich darauf stützen, müssen vorher seitenweise Präferenzen veröffentlichen, und eine Übergangseinstellung für Grounding öffnet am 15. Dezember 2026 in den Bing Webmaster Tools. Beide Präferenzen stehen standardmäßig auf Erlauben.
• Auf Normenseite bleibt der Text ein Entwurf, der am 3. Mai 2027 abläuft, und die Diskussionen über den Rest des IETF-Vokabulars gehen weiter. Google betont, dass der Ansatz mit dem europäischen Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck vereinbar ist, der robots.txt als bevorzugtes Mittel zum Ausdruck dieser Präferenzen anerkennt.

Was auf einem Magento- oder Adobe-Commerce-Shop zu tun ist

1. Bestand aufnehmen. Auf Magento 2 und Adobe Commerce wird robots.txt im Admin bearbeitet, auf Website-Ebene, in der Design-Konfiguration; bei mehreren Websites hat jede Domain ihre eigene. Erfassen Sie auch die Meta-Robots-Tags und X-Robots-Tag-Header, die Theme, SEO-Module und CDN setzen: Sie widersprechen sich oft.
2. Pro Bereich entscheiden, nicht pro Website. Katalog, redaktionelle Inhalte, B2B-Bereich, Medien: Jeder Bereich verdient seine eigene Antwort, gemeinsam mit Marketing und Rechtsabteilung formuliert und anschließend mit dem Code versioniert.
3. Vor 2027 nichts entfernen. Die Zeilen Google-Extended, GPTBot und Co. bleiben gültig; das gemeinsame Token kommt hinzu, ersetzt nichts, und ein Anbieter darf sein eigenes Token als spezifischer behandeln.
4. Entkoppelte Storefronts klären. Auf einem Headless-, Edge-Delivery- oder Next.js-Frontend liefert nicht mehr Magento die robots.txt aus: Datei und Header gehören dem Frontend-Team und dem CDN. Es braucht einen einzigen Verantwortlichen.
5. Messen. Protokollieren Sie die Besuche der KI-Bots vorher und nachher und verfolgen Sie die Besuche aus den Assistenten; nur so lassen sich die tatsächlichen Kosten einer Ablehnung abschätzen.

Das gemeinsame Token macht es leichter, die Präferenz zu formulieren; es entscheidet nicht für Sie. Die Abwägung zwischen dem Schutz der Inhalte und der Präsenz in den Assistenten ist eine Architektur- und Führungsentscheidung, die jetzt zu treffen ist, solange die Anbieter Zeit zur Vorbereitung lassen.