هل يمنع robots.txt محركات الذكاء الاصطناعي من فتح صفحاتك عند الطلب؟
درجة الخطورة: معلومةسهلةالمدة التقريبية بالدقائق: 10آخر تحديث: 2026-11-02



كيف تصلحهافي هذا الدليل
ما المشكلة؟
لكل مساعد ذكاء اصطناعي زاحف يفتح الصفحات حين يطلب المستخدم ذلك داخل المحادثة، ومنها ChatGPT-User و Claude-User و Perplexity-User و MistralAI-User و Amzn-User. هذه الزواحف غير زواحف البحث التي تقرأ المواقع لتذكرها مصادر، وغير زواحف التدريب. وجدنا في ملف robots.txt قاعدة تمنع واحداً منها أو أكثر من قراءة صفحتك الرئيسية.
لماذا تهمّ؟
حين يلصق مستخدم رابط صفحتك ويطلب تلخيصها أو المقارنة بها، قد يعتذر المساعد لأنه لا يستطيع فتحها.
هذا المنع وحده لا يتحكم عادةً في ذكر موقعك مصدراً في الإجابات، فذلك عمل زواحف البحث، ولذلك لا يُنقص صحة موقعك.
قد يكون المنع مقصوداً، مثل صفحات مدفوعة أو محتوى لا تريد أن يُقرأ داخل المحادثات. إن كان كذلك، فاختر «هذا المنع مقصود».
كيف تكتشفها بنفسك
- افتح الرابط https://موقعك/robots.txt في المتصفح.
- ابحث عن ChatGPT-User و Claude-User و Perplexity-User و MistralAI-User و Amzn-User.
- إن وجدت تحت أحدها السطر Disallow: /، فهو ممنوع من موقعك كله.
- راجع أيضاً قسم User-agent: * إن كان فيه Disallow: /، فهو يمنع كل الزواحف التي لا قسم خاصاً بها.
كيف تصلحها
WordPress
- افتح Yoast ← Tools ← File editor، أو Rank Math ← General Settings ← Edit robots.txt.
- احذف قواعد المنع الخاصة بزواحف المستخدم (مثل ChatGPT-User و Claude-User و Perplexity-User و MistralAI-User و Amzn-User) التي تريد السماح لها، واحفظ.
- إن لم يتغير الملف، فقد يكون هناك ملف robots.txt فعلي في جذر الاستضافة، فعدّله من مدير ملفات الاستضافة أو اطلب ذلك من مطوّرك.
Shopify
- من لوحة Shopify: Online Store ← Themes ← Edit code، ثم افتح ملف robots.txt.liquid إن كان موجوداً.
- احذف قواعد المنع الخاصة بالزواحف التي تريد السماح لها، ثم اضغط Save.
- راجع التعديل بعناية، لأن الخطأ في هذا الملف قد يمنع Google نفسه.
سلة
- من لوحة سلة: أدوات التسويق ← تحسين محركات البحث ← ملف robots.
- احذف قواعد المنع الخاصة بالزواحف التي تريد السماح لها، ثم احفظ.
زدقيد في منصة الموقع
قيد في منصة الموقع: تعديل ملف robots.txt غير متاح عادةً من لوحة زد. اطلب من دعم زد حذف قواعد المنع الخاصة بالزواحف التي تريد السماح لها، واذكر أسماءها كما تظهر في فحص رانكاوي.
أي موقع
- قرّر أولاً: هل تريد أن تفتح محركات الذكاء الاصطناعي صفحاتك حين يطلب المستخدم ذلك؟ إن كان المنع مقصوداً، فلا تغيّر شيئاً، واختر «هذا المنع مقصود» تحت المشكلة.
- إن أردت السماح، فافتح ملف robots.txt في جذر موقعك.
- احذف أقسام Disallow الخاصة بالزواحف التي تريد السماح لها، أو أضف لكل منها Allow: /.
- احفظ الملف، ثم افتح robots.txt في المتصفح لتتأكد أن التعديل ظهر.
مثال
User-agent: ChatGPT-User Disallow: / User-agent: Claude-User Disallow: /
# اسمح للمساعدات بفتح الصفحات عند الطلب، وامنع التدريب فقط User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: * Allow: /
كيف تتأكد من الإصلاح
- افتح https://موقعك/robots.txt وتأكد أن قواعد المنع التي حذفتها اختفت.
- هذه المشكلة على مستوى الموقع كله، فأعد فحص الموقع في رانكاوي بعد التعديل لنقرأ robots.txt من جديد.
أخطاء شائعة
- الظن أن منع ChatGPT-User وحده يُخرج موقعك من إجابات ChatGPT. ذكر المصادر عمل OAI-SearchBot، زاحف البحث.
- نسخ قائمة منع جاهزة تمنع كل زواحف الذكاء الاصطناعي معاً دون قراءة دور كل زاحف فيها.
- تعديل robots.txt مع بقاء حجب آخر في الجدار الناري أو في Cloudflare، فيبقى الزاحف ممنوعاً.
جهّز الإصلاح مع مساعدك الذكي
اربط مساعدك الذكي برانكاوي في أي خطة، ثم انسخ هذا الطلب إليه. سيقرأ الصفحات المتأثرة وخطوات منصتك ويجهّز لك التعليمات لتراجعها.
استخدم أدوات رانكاوي لقراءة مشكلة ai-user-blocked في موقعي وأسماء الزواحف الممنوعة. اشرح لي ماذا يحدث حين يطلب مستخدم من المساعد فتح صفحة من موقعي وهذا الزاحف ممنوع، وهل يؤثر ذلك في ذكر موقعي مصدراً. ثم اكتب لي نسخة مقترحة من قواعد robots.txt تسمح بهذه الزواحف وتُبقي أي قواعد أخرى أذكرها لك، حتى أراجعها وألصقها بنفسي. لا تغيّر أي شيء في موقعي.
كيف تربط مساعدك الذكيأسئلة شائعة
هل يؤثر هذا المنع في صحة موقعي في رانكاوي؟
لا. نذكره لتعرف أثره، لأنه لا يتحكم عادةً في ذكر موقعك مصدراً. منع زواحف البحث هو الذي يدخل في صحة الموقع.
هل تحترم هذه الزواحف robots.txt دائماً؟
توثّق الشركات أن زواحف البحث والتدريب تتبع robots.txt. أما زواحف الطلب فقد تتعامل بعض الشركات مع طلب المستخدم معاملة مختلفة، فراجع توثيق كل شركة إن كان المنع مهماً لك.
أدلة مرتبطة
هل يمنع robots.txt موقعك من الظهور في إجابات محركات الذكاء الاصطناعي؟
منع زواحف بحث الذكاء الاصطناعي في robots.txt قد يقلّل ظهور موقعك مصدراً في إجابات مساعدات مثل ChatGPT و Claude و Perplexity. تعرّف كيف تسمح لها وتمنع التدريب وحده.
هل أمنع زحف التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة في robots.txt؟
تجمع هذه الملاحظة زواحف التدريب وضوابط إعادة الاستخدام وزاحف الأرشيف المفتوح. راجع أثر كل رمز وكيف تغيّر القاعدة إذا لم تكن مقصودة.
هل يحجب Cloudflare زواحف الذكاء الاصطناعي عن موقعك؟ وكيف تتحقق؟
يستطيع Cloudflare حجب زواحف الذكاء الاصطناعي قبل وصولها إلى موقعك، والحجب لا يظهر في robots.txt. تعرّف أين تراجع الإعداد وتختار ما يناسبك.

