قائمة زواحف الذكاء الاصطناعي: كل وكيل وماذا يفعل

شركات الذكاء الاصطناعي تشغّل ثلاثة أنواع من البوتات: زواحف بحث تقرر إن كان يمكن اقتباسك، ووكلاء بطلب المستخدم يجلبون صفحة عندما يسأل أحد عنها، وزواحف تدريب تجمع بيانات لنماذج لاحقة. يمكنك السماح لنوع ومنع آخر. هذه كل الوكلاء، مرتبة حسب ما تفعله.

آخر تحديث 2026-10-20

زواحف البحث والاقتباس

منع هؤلاء يزيل صفحاتك من نتائج ذلك المنتج ومن إجاباته. معظم المواقع ينبغي أن تسمح لهم.

الوكيل	الشركة	ماذا يفعل	التوثيق
`Googlebot`	Google	زاحف بحث جوجل	رسمي
`Bingbot`	Microsoft	زاحف بحث Bing	رسمي
`OAI-SearchBot`	OpenAI	فهرسة واقتباسات بحث ChatGPT	رسمي
`PerplexityBot`	Perplexity	فهرسة بحث Perplexity والإجابات الموثقة	رسمي
`Claude-SearchBot`	Anthropic	فهرسة بحث Claude	رسمي
`Applebot`	Apple	زاحف بحث آبل وSpotlight	رسمي
`Amazonbot`	Amazon	زاحف أمازون للمنتجات والمواقع	رسمي

زواحف الجلب بطلب المستخدم

هؤلاء يجلبون صفحة محددة لأن مستخدماً لصق رابطاً أو طلب من المساعد قراءتها. ليسوا زواحف جمع بالجملة.

الوكيل	الشركة	ماذا يفعل	التوثيق
`Google-CloudVertexBot`	Google	جلب الصفحات بطلب مستخدم عبر Vertex AI	رسمي
`ChatGPT-User`	OpenAI	جلب الصفحات بطلب مستخدم من ChatGPT	رسمي
`Perplexity-User`	Perplexity	جلب الصفحات بطلب مستخدم من Perplexity	رسمي
`Claude-User`	Anthropic	جلب الصفحات بطلب مستخدم من Claude	رسمي

زواحف تدريب النماذج

هؤلاء يجمعون محتوى قد يُستخدم لتدريب النماذج. منعهم لا يؤثر في ظهور البحث.

الوكيل	الشركة	ماذا يفعل	التوثيق
`Google-Extended`	Google	التحكم في تدريب وتأريض Gemini وذكاء جوجل	رسمي
`GPTBot`	OpenAI	زاحف تدريب نماذج OpenAI (ليس للبحث)	رسمي
`ClaudeBot`	Anthropic	زاحف Anthropic لتدريب النماذج	رسمي
`Applebot-Extended`	Apple	التحكم في تدريب وتأريض Apple Intelligence	رسمي
`CCBot`	Common Crawl	زاحف Common Crawl المفتوح (يُستخدم غالبًا في بيانات التدريب)	رسمي
`meta-externalagent`	Meta	زاحف تدريب ذكاء Meta	رسمي

وكلاء متقاعدون

ما زالوا يظهرون في ملفات robots.txt قديمة. القواعد الخاصة بهم لا تفعل شيئاً للزواحف الحالية.

Claude-Web — وكيل Anthropic قديم — استُبدل بـ Claude-User و Claude-SearchBot

وصفات robots.txt

تُقتبس في البحث الذكي وتخرج من التدريب

User-agent: *
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /

الخروج من ChatGPT بالكامل

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Disallow: /

تذكّر أن الزاحف المذكور في مجموعته يتجاهل قواعد User-agent: *. ابنِ ملفاً كاملاً في مولد robots.txt.

عندما لا يكفي robots.txt

الـ CDN أو الجدار الناري يرد قبل قراءة robots.txt. Cloudflare يحجب زواحف الذكاء الاصطناعي المعروفة افتراضياً على النطاقات الجديدة منذ يوليو 2025، وكثير من الاستضافات تحدّ معدل البوتات غير المألوفة. إذا كان الزاحف مسموحاً في الملف وسجلاتك تعرض 403 أو 429، غيّر قاعدة الـ CDN. فاحص الزواحف يعرض الطبقتين معاً.

الأسئلة الشائعة

أي زواحف الذكاء الاصطناعي أسمح لها؟

اسمح لزواحف البحث في المنتجات التي تريد أن تُقتبس فيها: OAI-SearchBot لبحث ChatGPT، وPerplexityBot، وClaude-SearchBot، وGooglebot وBingbot للبحث العادي وAI Overviews. السماح لزواحف التدريب مثل GPTBot وClaudeBot وGoogle-Extended قرار عمل منفصل.

ما الفرق بين GPTBot وOAI-SearchBot؟

GPTBot يجمع بيانات قد تُستخدم لتدريب نماذج OpenAI. OAI-SearchBot يفهرس الصفحات حتى تُعرض وتُربط في بحث ChatGPT. OpenAI يوثّقهما كإعدادين مستقلين.

هل الوكلاء بطلب المستخدم مثل ChatGPT-User يتبعون robots.txt؟

هؤلاء يجلبون صفحة لأن شخصاً طلبها، لذلك تعاملهم الشركات بشكل مختلف عن الزواحف الآلية. Perplexity يوثّق أن Perplexity-User يتجاهل robots.txt عادة لهذا السبب. إذا كان يجب إبعاد المحتوى عنهم، استخدم تسجيل الدخول لا robots.txt.

كيف أعرف أن الطلب جاء فعلاً من زاحف ذكاء اصطناعي؟

سلاسل الوكيل سهلة التزييف. جوجل وبينج وOpenAI وPerplexity وغيرهم ينشرون نطاقات IP أو طريقة reverse-DNS للتحقق. طابق عنوان الطلب مع قائمة الشركة قبل أن تثق بالوكيل.

هل منع زواحف الذكاء الاصطناعي يضر ترتيب جوجل؟

لا. بحث جوجل يستخدم Googlebot. منع GPTBot أو ClaudeBot أو حتى Google-Extended لا يؤثر في ترتيب بحث جوجل. منع Googlebot نفسه يزيلك من بحث جوجل، بما فيه AI Overviews.