robots.txt: إشارة مشتركة لتدريب الذكاء الاصطناعي، والقرارات التي تفرضها على التجّار

في 30 أكتوبر 2026 صدرت ثلاثة إعلانات في يوم واحد. على مدونة Search Central أعلنت Google أنها ستدعم أداة تحكّم مشتركة في تدريب الذكاء الاصطناعي داخل robots.txt؛ ونشرت OpenAI تدوينة في الاتجاه نفسه؛ وفصّلت Microsoft جدولها الزمني لمحرّك Bing. القاسم المشترك: رمز واحد، معرّف في مسوّدة من IETF كُتبت في Anthropic ونُشرت في اليوم ذاته، ويتعهّد كل مزوّد مشارك بقراءته بالطريقة نفسها.

ما الذي يتغيّر عملياً

حتى الآن، كان على التاجر الذي يريد إبعاد محتواه عن تدريب النماذج أن يحتفظ بقائمة من الرموز الخاصة بكل شركة: Google-Extended لدى Google منذ 2023، وGPTBot لدى OpenAI، ووسمَا NoArchive وNoCache لدى Microsoft، وسطر إضافي مع كل لاعب جديد. تقترح مسوّدة IETF بدلاً من ذلك رمز سياسة واحداً، __usage_ai-training، يُكتب كأي مجموعة عادية في robots.txt:

• User-Agent: __usage_ai-training
• Disallow: /
• Allow: /press/

عندما يقرأ مزوّد مشارك هذه المجموعة، يفهمها على أنها تفضيل ضد التدريب على الموقع كله، باستثناء مجلد الصحافة. القواعد هي قواعد RFC 9309 نفسها: الأحكام ذاتها للمسارات، والأولوية ذاتها للمطابقة الأطول، ولا توجيهات جديدة يلزم تعلّمها.

ثلاث نقاط تهمّ المهندس المعماري.

• ليست قاعدة زحف. لا يظهر الرمز أبداً في ترويسة طلب أي روبوت؛ فهو يصف استخداماً وليس صلاحية وصول. لتقييد الزحف تبقى مجموعات Googlebot وBingbot وGPTBot هي الطبقة الصحيحة.
• المجموعة العامة لا تُحتسب. ملف robots.txt الذي يحظر سلة المشتريات وحساب العميل فقط تحت علامة النجمة لا يعبّر عن أي تفضيل بشأن التدريب. يجب تسمية الرمز صراحةً.
• لا رمز، لا تفضيل. يطبّق المزوّدون عندئذ قواعدهم المعتادة، ويحتفظ كل رمز خاص بمعناه.

التدريب ليس هو الظهور

هذا هو الفخّ الأكبر لتاجر التجزئة الإلكترونية. يغطي الرمز أمراً واحداً: التدريب، الذي تعرّفه IETF بأنه استخدام محتوى لتعديل المعاملات المتعلَّمة لنموذج توليدي. ولا يقول شيئاً عن البحث التقليدي، ولا عن الإجابات المولَّدة من الويب (ما يسمّيه المزوّدون grounding أو التأسيس)، ولا عن وكلاء الشراء الذين يقرؤون كتالوجكم مباشرة.

غير أن المزوّدين يربطون بين الأمرين، كلٌّ بطريقته. توضح Google أن الموقع الذي يرفض التدريب عبر الرمز المشترك دون ذكر Google-Extended سيُعامل كما لو حظر Google-Extended؛ في حين أن المواقع التي تسمح صراحةً بـGoogle-Extended هي وحدها التي تبقى مؤهّلة للظهور في الإجابات والنقرات الناتجة عن التأسيس في تطبيقات Gemini. رفض التدريب لدى Google قد يكلّف إذن حضوراً في Gemini. أما Microsoft فتفصل بين الاستخدامَين: يُضبط التدريب في robots.txt أو صفحةً بصفحة، والتأسيس صفحةً بصفحة فقط، مع خيار وسيط هو DisallowExtended الذي يقصر استخدام محتواكم على تجارب Microsoft (Copilot وAI Mode وMicrosoft 365) ويسحبه من خدمات الأطراف الثالثة. وتحذّر Microsoft من أن رفض التأسيس سيقلّل ظهور العلامة التجارية في تجاربها الذكية، دون المساس بنتائج Bing التقليدية.

بالنسبة إلى التاجر، السؤال إذن ليس «نحظر الذكاء الاصطناعي أم لا»، بل: أيّ محتوى يحمل قيمة تدريبية لا تريدون التنازل عنها (أدلة الشراء، المقارنات، الصور، التقييمات)، وأيّ حضور في المساعدين لا تريدون خسارته (صفحات المنتجات، المخزون، الأسعار)؟

الجدول الزمني

• Google تستهدف الدعم في 2027 إلى جانب المزوّدين الآخرين؛ ويستمر Google-Extended في العمل بالتوازي.
• OpenAI تعلن عن نشر الدعم خلال الأشهر المقبلة وتؤكّد أن أدوات التحكّم الحالية ستبقى محترمة.
• Microsoft تطبّق التفضيلات الجديدة ابتداءً من 1 فبراير 2027. وفي 1 مارس 2027 لن يُقرأ NoArchive وNoCache بعد ذلك كتفضيلَين للتدريب أو التأسيس: على المواقع التي كانت تعتمد عليهما نشر تفضيلات على مستوى الصفحة قبل ذلك التاريخ، وسيُفتح إعداد انتقالي للتأسيس في Bing Webmaster Tools يوم 15 ديسمبر 2026. والقيمة الافتراضية للتفضيلَين هي السماح.
• على مستوى المعايير، يبقى النص مسوّدة تنتهي صلاحيتها في 3 مايو 2027، والمناقشات حول بقية مفردات IETF مستمرة. وتشير Google إلى أن هذا النهج متوافق مع مدوّنة قواعد الممارسة الأوروبية لنماذج الذكاء الاصطناعي ذات الأغراض العامة، التي تعترف بـrobots.txt كوسيلة رئيسية للتعبير عن هذه التفضيلات.

ما العمل في متجر Magento أو Adobe Commerce

1. حصر الوضع الحالي. في Magento 2 وAdobe Commerce يُعدَّل robots.txt من لوحة الإدارة، على مستوى الموقع الإلكتروني، ضمن إعدادات التصميم؛ وفي البيئات متعددة المواقع لكل نطاق ملفه الخاص. ارصدوا أيضاً وسوم meta robots وترويسات X-Robots-Tag التي يضيفها القالب ووحدات SEO وشبكة CDN: فهي كثيراً ما تتناقض.
2. القرار حسب المنطقة لا حسب الموقع. الكتالوج، المحتوى التحريري، مساحة B2B، الوسائط: كل منطقة تستحق إجابتها الخاصة، تُكتب مع التسويق والشؤون القانونية ثم تُحفظ بإصداراتها مع الكود.
3. لا تحذفوا شيئاً قبل 2027. تبقى أسطر Google-Extended وGPTBot وأشباهها صالحة؛ فالرمز المشترك يُضاف ولا يحلّ محلّ شيء، ويجوز للمزوّد أن يعامل رمزه الخاص بوصفه الأكثر تحديداً.
4. معالجة الواجهات المنفصلة. في واجهة headless أو Edge Delivery أو Next.js لم يعد Magento هو من يقدّم robots.txt: الملف والترويسات من مسؤولية فريق الواجهة وشبكة CDN. لا بدّ من مسؤول واحد.
5. القياس. سجّلوا زيارات روبوتات الذكاء الاصطناعي قبل التغيير وبعده، وتابعوا الزيارات الآتية من المساعدين؛ فهذه هي الطريقة الوحيدة لتقدير التكلفة الحقيقية للرفض.

يبسّط الرمز المشترك كتابة التفضيل، لكنه لا يقرّر بدلاً منكم. فالموازنة بين حماية المحتوى والحضور في المساعدين قرار معماري وإداري، يُتّخذ الآن، ما دام المزوّدون يتركون وقتاً للتحضير له.