رانكاوي
تسجيل الدخولابدأ مجاناًEN

هل يمنع robots.txt موقعك من الظهور في إجابات محركات الذكاء الاصطناعي؟

منع زواحف بحث الذكاء الاصطناعي في robots.txt قد يقلّل ظهور موقعك مصدراً في إجابات مساعدات مثل ChatGPT و Claude و Perplexity. تعرّف كيف تسمح لها وتمنع التدريب وحده.

درجة الخطورة: تحذيرسهلةالمدة التقريبية بالدقائق: 10آخر تحديث: 2026-11-02

WordPressShopifyسلةزدكيف تصلحها
في هذا الدليل

ما المشكلة؟

شركات الذكاء الاصطناعي تستخدم أكثر من زاحف، ولكل زاحف دور. زواحف البحث (ومنها OAI-SearchBot و Claude-SearchBot و PerplexityBot و MistralAI-Index و Amzn-SearchBot و DuckAssistBot) تقرأ موقعك لتذكره مصدراً في الإجابات. وزواحف المستخدم (ومنها ChatGPT-User و Claude-User و Perplexity-User و MistralAI-User و Amzn-User) تفتح صفحتك حين يطلب مستخدم ذلك داخل المحادثة. وجدنا في ملف robots.txt قاعدة تمنع واحداً منها أو أكثر من قراءة صفحتك الرئيسية. هذه الزواحف غير زواحف التدريب، ومنع التدريب له مقال مستقل.

لماذا تهمّ؟

حين تمنع زاحف البحث، لا تستطيع تلك الخدمة قراءة صفحاتك، فقد يقلّ ظهور موقعك مصدراً في إجاباتها وروابطها، وإن لم يختفِ بالضرورة من كلها.

يحدث المنع أحياناً دون قصد: قالب جاهز أو إضافة حماية تضيف قائمة طويلة تمنع كل زواحف الذكاء الاصطناعي معاً، فتمنع البحث مع التدريب.

المنع هنا قرار مشروع إن كان مقصوداً. اختر في رانكاوي «هذا المنع مقصود»، فنستبعده من صحة موقعك ومهام الإصلاح ونسألك مجدداً إن مُنعت شركة أخرى.

كيف تكتشفها بنفسك

  1. افتح الرابط https://موقعك/robots.txt في المتصفح.
  2. ابحث عن زواحف البحث والمستخدم، مثل OAI-SearchBot و ChatGPT-User و Claude-SearchBot و PerplexityBot و MistralAI-Index و Amzn-SearchBot و DuckAssistBot.
  3. إن وجدت تحت أحدها السطر Disallow: /، فهو ممنوع من موقعك كله.
  4. راجع أيضاً قسم User-agent: * إن كان فيه Disallow: /، فهو يمنع كل الزواحف التي لا قسم خاصاً بها.

كيف تصلحها

WordPress
  1. افتح Yoast ← Tools ← File editor، أو Rank Math ← General Settings ← Edit robots.txt.
  2. احذف قواعد المنع الخاصة بزواحف البحث والمستخدم التي تريد السماح لها، واحفظ.
  3. إن لم يتغير الملف، فقد يكون هناك ملف robots.txt فعلي في جذر الاستضافة، فعدّله من مدير ملفات الاستضافة أو اطلب ذلك من مطوّرك.
Shopify
  1. من لوحة Shopify: Online Store ← Themes ← Edit code ← Add a new template ← robots، أو افتح ملف robots.txt.liquid إن كان موجوداً.
  2. احذف قواعد المنع الخاصة بزواحف البحث والمستخدم التي تريد السماح لها، ثم اضغط Save.
  3. راجع التعديل بعناية، لأن الخطأ في هذا الملف قد يمنع Google نفسه.
سلة
  1. من لوحة سلة: أدوات التسويق ← تحسين محركات البحث ← ملف robots.
  2. احذف قواعد المنع الخاصة بزواحف البحث التي تريد السماح لها، ثم احفظ.
زدقيد في منصة الموقع

قيد في منصة الموقع: تعديل ملف robots.txt غير متاح عادةً من لوحة زد. اطلب من دعم زد حذف قواعد المنع الخاصة بزواحف البحث التي تريد السماح لها، واذكر أسماءها كما تظهر في فحص رانكاوي.

أي موقع
  1. قرّر أولاً: هل تريد الظهور في إجابات خدمات الذكاء الاصطناعي؟ إن كان المنع مقصوداً، فلا تغيّر شيئاً، واختر «هذا المنع مقصود» تحت المشكلة.
  2. إن أردت الظهور، فافتح ملف robots.txt في جذر موقعك.
  3. احذف أقسام Disallow الخاصة بزواحف البحث والمستخدم التي تريد السماح لها.
  4. إن أردت منع التدريب فقط، فأبقِ المنع لزواحف التدريب مثل GPTBot و ClaudeBot و Google-Extended، واسمح لزواحف البحث.
  5. احفظ الملف، ثم افتح robots.txt في المتصفح لتتأكد أن التعديل ظهر.

مثال

قبل
User-agent: OAI-SearchBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: PerplexityBot
Disallow: /
بعد
# اسمح لزواحف البحث، وامنع التدريب فقط
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

كيف تتأكد من الإصلاح

  1. افتح https://موقعك/robots.txt وتأكد أن قواعد المنع التي حذفتها اختفت.
  2. هذه المشكلة على مستوى الموقع كله، فأعد الفحص في رانكاوي بعد التعديل لنقرأ robots.txt من جديد.

أخطاء شائعة

  • حذف كل القواعد دفعة واحدة، ومنها قواعد كانت تمنع صفحات خاصة مثل السلة أو لوحة الحساب.
  • الظن أن منع GPTBot يُخرج موقعك من ChatGPT. GPTBot للتدريب، وOAI-SearchBot هو زاحف البحث.
  • نسخ قائمة منع جاهزة من الإنترنت دون قراءة دور كل زاحف فيها.
  • تعديل robots.txt مع بقاء حجب آخر في الجدار الناري أو في Cloudflare؛ فيبقى الزاحف ممنوعاً.

جهّز الإصلاح مع مساعدك الذكي

اربط مساعدك الذكي برانكاوي في أي خطة، ثم انسخ هذا الطلب إليه. سيقرأ الصفحات المتأثرة وخطوات منصتك ويجهّز لك التعليمات لتراجعها.

استخدم أدوات رانكاوي لقراءة مشكلة ai-search-blocked في موقعي وأسماء الزواحف الممنوعة. اشرح لي دور كل زاحف ممنوع (بحث أو مستخدم)، وما الذي أخسره بمنعه. ثم اكتب لي نسخة مقترحة من قواعد robots.txt تسمح لزواحف البحث وتمنع زواحف التدريب، مع الإبقاء على أي قواعد أخرى أذكرها لك، حتى أراجعها وألصقها بنفسي. لا تغيّر أي شيء في موقعي.

كيف تربط مساعدك الذكي

أسئلة شائعة

هل يؤثر هذا في ظهوري في Google وفي AI Overviews؟

لا. هذه الزواحف لا تخص Google. ميزات الذكاء الاصطناعي في بحث Google تتبع قواعد Googlebot العادية حسب ما يوثّقه Google، ومنع Googlebot شأن آخر يؤثر في ظهورك في Google بالكامل.

هل السماح لزواحف البحث يعني أن محتواي سيُستخدم في التدريب؟

الشركات التي نفحص زواحفها توثّق زاحفاً منفصلاً للتدريب. يمكنك السماح لزواحف البحث ومنع زواحف التدريب في الملف نفسه، كما في المثال أعلاه.

هل السماح يضمن ظهور موقعي في الإجابات؟

لا. السماح شرط للقراءة فقط. الظهور يعتمد على محتواك ومدى فائدته للسؤال، وإجابات الذكاء الاصطناعي تختلف من مرة لأخرى.

أدلة مرتبطة