زاحف البحث وزاحف التدريب منتجان مختلفان
كل شركة تنشر وكيلين أو ثلاثة. واحد يجلب الصفحات حتى تُقتبس في إجابة. وآخر يجمع النص للتدريب. وثالث يجلب صفحة فقط عندما يلصق شخص رابطاً. OpenAI وجوجل وAnthropic وآبل يوثّقون هذا الفصل. الإعدادات مستقلة.
| الشركة | أبقِه للاقتباس | يمكن منعه (تدريب) | التوثيق |
|---|---|---|---|
| OpenAI | OAI-SearchBot, ChatGPT-User | GPTBot | OpenAI bots |
| Googlebot | Google-Extended | Google crawlers | |
| Anthropic | Claude-SearchBot, Claude-User | ClaudeBot | Anthropic |
| Apple | Applebot | Applebot-Extended | Applebot |
| Perplexity | PerplexityBot, Perplexity-User | لا يوجد بوت تدريب منفصل | Perplexity bots |
Perplexity لا ينشر زاحف تدريب يمكن منعه مع البقاء في إجاباته. منع PerplexityBot يخرجك من فهرسه. القائمة الكاملة، بما فيها Common Crawl وMeta، في قائمة الزواحف.
ملف robots.txt يمنع التدريب ويبقي البحث
حسب RFC 9309، الزاحف يستخدم المجموعة التي تحمل اسمه إن وُجدت، ويتجاهل مجموعة *. لذلك بوتات التدريب في مجموعة واحدة، وهذه المجموعة هي المكان الوحيد الذي يظهر فيه Disallow: /. OAI-SearchBot ليست له مجموعة، فيتبع * ويبقى مسموحاً.
User-agent: *
Allow: /
# زواحف التدريب. هذا لا يؤثر في البحث الذكي ولا في بحث جوجل
User-agent: Google-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /
Sitemap: https://example.com/sitemap.xml
بدّل رابط خريطة الموقع. الملف نفسه هو ما يبنيه مولد robots.txt في وضع «اسمح للبحث وامنع التدريب». لا تضف لاحقاً مجموعة User-agent: GPTBot بقاعدة مختلفة: المجموعة الأخص تطابقًا تفوز، ومجموعة ثانية تستبدل هذه لهذا البوت.
ما الذي لا يفعله المنع
- لا يحذف صفحات تدرّب عليها نموذج صدر فعلاً. robots.txt يوقف الجلب القادم. لا يعدّل نموذجاً منشوراً.
- لا يخفي صفحة عن شخص يستخدم ChatGPT. ChatGPT-User يجلب رابطاً سأل عنه أحد. المحتوى الخاص يحتاج تسجيل دخول.
- لا يصلح حجب الـ CDN. إذا كان الجدار يتحدى كل وكيل غير المتصفح، فـ OAI-SearchBot لن يرى الصفحة حتى لو سمح robots.txt.
- ليس رفعاً للترتيب. السماح لـ GPTBot ليس عامل ترتيب موثّقاً لجوجل ولا لبحث ChatGPT.
كيف تتحقق من النتيجة
- انشر الملف على
/robots.txtلنفس المضيف الذي يخدم الصفحات. - تأكد أن GPTBot ممنوع، وأن OAI-SearchBot وPerplexityBot وClaude-SearchBot وGooglebot مسموحون للرابط الذي يهمك.
- اطلب الرابط بهذه الوكلاء. 403 أو تحدٍ جافاسكربت يعني أن الحاجز هو الجدار الناري لا الملف.
الفحص المجاني يفعل الاثنين: يحلّل robots.txt حسب RFC 9309 ويعرض السطر المطابق، ويرسل طلباً حياً بكل زاحف. الطلب الحي من سيرفر الفحص إشارة فقط، لأن الزواحف الحقيقية تأتي من نطاقات IP منشورة. معظم الفحوص تنتهي خلال 20 ثانية، بحد 20 فحصاً كل 10 دقائق. جوجل يتوقف عن قراءة robots.txt بعد 500 كيلوبايت.