ملف robots.txt لا يُفتح: كيف تُصلحه قبل أن يوقف Google الزحف إلى موقعك؟
درجة الخطورة: تحذيرمتوسطةالمدة التقريبية بالدقائق: 15آخر تحديث: 2026-10-11



كيف تصلحهافي هذا الدليل
ما المشكلة؟
ملف robots.txt هو ملف نصي في جذر موقعك (example.com/robots.txt)، يقرؤه كل زاحف قبل أي صفحة ليعرف ما يُسمح له بزيارته. في هذا الفحص لم نستطع قراءته: ردّ الخادم بخطأ من نوع 5xx أو بالرمز 429، أو لم يرد أصلاً. أما الرد 404 فلا يدخل هنا، لأنه يعني أن الملف غير موجود، وهذا مقبول. حين يتعذّر الملف نُكمل الفحص، لكن بمعدل طلب واحد كل ثانيتين حتى لا نُثقل على خادم قد يكون مُرهَقاً.
لماذا تهمّ؟
تقول Google إنها حين تجد خطأ خادم عند طلب robots.txt توقف الزحف إلى موقعك مؤقتاً، ثم تعتمد آخر نسخة حفظتها من الملف. إذا استمر الخطأ، تتأخر قراءة صفحاتك الجديدة والمعدّلة.
الخطأ في ملف صغير كهذا يكون غالباً علامة على مشكلة أوسع: خادم مُثقَل، أو قاعدة حماية تحظر الزواحف، أو إعداد خاطئ بعد نقل الموقع.
حين يتعذّر الملف نفحص موقعك أبطأ، فيطول الفحص.
كيف تكتشفها بنفسك
- افتح رابط الملف في المتصفح: اكتب نطاق موقعك ثم /robots.txt، مثل example.com/robots.txt.
- إن ظهرت صفحة خطأ أو صفحة تحقق من جدار الحماية أو لم تُفتح الصفحة، فالمشكلة قائمة.
- في Search Console، افتح "الإعدادات" ثم تقرير robots.txt، وانظر إلى حالة آخر قراءة للملف وتاريخها.
- إن فُتح الملف عندك، فقد يكون جدار الحماية يرفض الزواحف وحدها: راجع سجل الأحداث فيه.
كيف تصلحها
WordPress
- WordPress يولّد robots.txt تلقائياً إن لم يوجد ملف فعلي، فإن فشل فغالباً بسبب إضافة أو خطأ في الخادم.
- افتح محرر الملف في Yoast ← Tools ← File editor، أو Rank Math ← General Settings ← Edit robots.txt، وتأكد أن المحتوى سليم ثم احفظ.
- إن كانت إضافة حماية مثل Wordfence أو Sucuri تحظر الزواحف، فأضف قاعدة سماح لـ RankawyBot.
- إن استمر الخطأ، اطلب من دعم الاستضافة مراجعة سجل أخطاء الخادم عند طلب /robots.txt.
Shopifyقيد في منصة الموقع
قيد في منصة الموقع: ملف robots.txt في Shopify تخدمه المنصة نفسها، وخطأ الخادم فيه نادر وليس من إعداد متجرك. أعد فحص الموقع بعد ساعة، وإن تكرر الخطأ فراسل دعم Shopify. وإن عدّلت قالب robots.txt.liquid، فتأكد أن آخر تعديل لا يفسده.
سلةقيد في منصة الموقع
قيد في منصة الموقع: ملف robots.txt في سلة تخدمه المنصة نفسها، وخطأ الخادم فيه لا ينتج من إعداد متجرك. أعد الفحص بعد ساعة، وإن تكرر الخطأ فَراسِل دعم سلة، أو راسلنا من صفحة الدعم لنتابع الأمر مع المنصة.
زدقيد في منصة الموقع
قيد في منصة الموقع: ملف robots.txt في زد تخدمه المنصة نفسها، وخطأ الخادم فيه ليس من إعداد متجرك. أعد فحص الموقع بعد ساعة، وإن تكرر الخطأ فراسل دعم زد، أو راسلنا من صفحة الدعم ونتابع الأمر مع المنصة.
أي موقع
- تأكد أن الملف موجود في جذر النطاق نفسه، وأنه يرجع الرمز 200 ونوع المحتوى text/plain.
- إن كان الخادم يرد بخطأ 5xx، راجع سجلات الخادم مع مطوّرك أو دعم الاستضافة، فالملف الثابت لا يُفترض أن يفشل.
- إن كان جدار الحماية يرد بالرمز 429 أو بصفحة تحقق على robots.txt، فاستثنِ مسار /robots.txt من قواعد الحماية، أو اسمح لزاحف RankawyBot كما في rankawy.com/bot.
- إن كان الملف يُولَّد ديناميكياً من نظام إدارة المحتوى، فتأكد من أن الإضافة أو الكود الذي يُولّده لا يتعطل.
- إن لم تكن تحتاج قواعد خاصة، فملف بسيط فيه سطران يكفي (انظر المثال).
مثال
User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml
كيف تتأكد من الإصلاح
- افتح example.com/robots.txt (بنطاق موقعك) في نافذة خاصة، وتأكد أنه يُفتح نصاً عادياً.
- أعد فحص الموقع في رانكاوي، وتأكد أن هذه المشكلة اختفت.
- في Search Console، اطلب إعادة قراءة الملف من تقرير robots.txt، وتأكد أن آخر قراءة له أصبحت ناجحة.
أخطاء شائعة
- إعادة توجيه robots.txt إلى صفحة HTML أو إلى الصفحة الرئيسية.
- حماية الملف بصفحة تحقق من الروبوتات، مع أنه الملف المخصص للروبوتات أصلاً.
- حذف الملف ظناً أن ذلك يصلح المشكلة، ثم نسيان سطر Sitemap الذي كان فيه.
جهّز الإصلاح مع مساعدك الذكي
اربط مساعدك الذكي برانكاوي في أي خطة، ثم انسخ هذا الطلب إليه. سيقرأ الصفحات المتأثرة وخطوات منصتك ويجهّز لك التعليمات لتراجعها.
استخدم أدوات رانكاوي (get_site_overview ثم get_issue_pages) لمعرفة منصة موقعي وتفاصيل مشكلة robots-unreachable. ثم ساعدني في تشخيص سبب فشل robots.txt: اكتب قائمة فحص مرتبة (الخادم، جدار الحماية، الإضافة التي تولّد الملف، إعادة التوجيه)، واقترح محتوى ملف robots.txt سليماً وبسيطاً يناسب موقعي مع سطر Sitemap، ورسالة قصيرة لدعم الاستضافة إن احتجتها.
كيف تربط مساعدك الذكيأسئلة شائعة
هل غياب الملف (404) مشكلة؟
لا. تعني استجابة 404 أن الموقع لا يضع قيوداً، وأن الزواحف تفحص كل الصفحات. المشكلة هنا هي خطأ خادم أو عدم وجود رد، وهما يختلفان عن غياب الملف.
الملف يُفتح عندي في المتصفح، فلماذا ظهرت المشكلة؟
قد يكون الخطأ مؤقتاً وقت الفحص، أو قد يكون جدار الحماية يرد على الزواحف بخلاف ما يرده على المتصفح. أعد فحص الموقع، وإن تكررت المشكلة فراجع سجل جدار الحماية.
أدلة مرتبطة
كيف تسمح لزاحف رانكاوي بفحص موقعك إذا منعه جدار الحماية؟
جدار الحماية أو الاستضافة ردّا على زاحف رانكاوي برفض (401 أو 403 أو صفحة تحقّق). تعرّف كيف تسمح لـ RankawyBot في Cloudflare و Vercel و Shopify وغيرها.
كيف تصلح أخطاء الخادم 500 و502 و503 في صفحات موقعك؟
الصفحة تُرجِع خطأ 5xx، فلا يستطيع الزوار ولا Google فتحها. تعرّف كيف تجد السبب في سجلات الخادم وتُصلحه على WordPress وغيره.
لماذا توقف فحص موقعك قبل أن يكتمل، وكيف تكمله؟
قرأنا جزءاً من صفحات موقعك ثم رفض جدار الحماية طلباتنا مرات متتالية فتوقفنا. اسمح لـ RankawyBot ثم أعد الفحص لتكتمل بقية الصفحات.
هل يمنع robots.txt موقعك من الظهور في إجابات محركات الذكاء الاصطناعي؟
منع زواحف بحث الذكاء الاصطناعي في robots.txt قد يقلّل ظهور موقعك مصدراً في إجابات مساعدات مثل ChatGPT و Claude و Perplexity. تعرّف كيف تسمح لها وتمنع التدريب وحده.

