# ملف robots.txt لا يُفتح: كيف تُصلحه قبل أن يوقف Google الزحف إلى موقعك؟

حين يرد ملف robots.txt بخطأ خادم أو لا يرد، قد يوقف Google الزحف إلى موقعك كله مؤقتاً. تعرّف كيف تجعله يُفتح ويُرجع الرمز 200.

آخر مراجعة: 2026-10-11

## ما المشكلة؟

ملف robots.txt هو ملف نصي في جذر موقعك (example.com/robots.txt)، يقرؤه كل زاحف قبل أي صفحة ليعرف ما يُسمح له بزيارته. في هذا الفحص لم نستطع قراءته: ردّ الخادم بخطأ من نوع 5xx أو بالرمز 429، أو لم يرد أصلاً. أما الرد 404 فلا يدخل هنا، لأنه يعني أن الملف غير موجود، وهذا مقبول. حين يتعذّر الملف نُكمل الفحص، لكن بمعدل طلب واحد كل ثانيتين حتى لا نُثقل على خادم قد يكون مُرهَقاً.

## لماذا تهم؟

تقول Google إنها حين تجد خطأ خادم عند طلب robots.txt توقف الزحف إلى موقعك مؤقتاً، ثم تعتمد آخر نسخة حفظتها من الملف. إذا استمر الخطأ، تتأخر قراءة صفحاتك الجديدة والمعدّلة.

الخطأ في ملف صغير كهذا يكون غالباً علامة على مشكلة أوسع: خادم مُثقَل، أو قاعدة حماية تحظر الزواحف، أو إعداد خاطئ بعد نقل الموقع.

حين يتعذّر الملف نفحص موقعك أبطأ، فيطول الفحص.

## كيف تفحصها؟

1. افتح رابط الملف في المتصفح: اكتب نطاق موقعك ثم /robots.txt، مثل example.com/robots.txt.
2. إن ظهرت صفحة خطأ أو صفحة تحقق من جدار الحماية أو لم تُفتح الصفحة، فالمشكلة قائمة.
3. في Search Console، افتح "الإعدادات" ثم تقرير robots.txt، وانظر إلى حالة آخر قراءة للملف وتاريخها.
4. إن فُتح الملف عندك، فقد يكون جدار الحماية يرفض الزواحف وحدها: راجع سجل الأحداث فيه.

## طريقة الإصلاح

### أي موقع

1. تأكد أن الملف موجود في جذر النطاق نفسه، وأنه يرجع الرمز 200 ونوع المحتوى text/plain.
2. إن كان الخادم يرد بخطأ 5xx، راجع سجلات الخادم مع مطوّرك أو دعم الاستضافة، فالملف الثابت لا يُفترض أن يفشل.
3. إن كان جدار الحماية يرد بالرمز 429 أو بصفحة تحقق على robots.txt، فاستثنِ مسار /robots.txt من قواعد الحماية، أو اسمح لزاحف RankawyBot كما في rankawy.com/bot.
4. إن كان الملف يُولَّد ديناميكياً من نظام إدارة المحتوى، فتأكد من أن الإضافة أو الكود الذي يُولّده لا يتعطل.
5. إن لم تكن تحتاج قواعد خاصة، فملف بسيط فيه سطران يكفي (انظر المثال).

### wordpress

1. WordPress يولّد robots.txt تلقائياً إن لم يوجد ملف فعلي، فإن فشل فغالباً بسبب إضافة أو خطأ في الخادم.
2. افتح محرر الملف في Yoast ← Tools ← File editor، أو Rank Math ← General Settings ← Edit robots.txt، وتأكد أن المحتوى سليم ثم احفظ.
3. إن كانت إضافة حماية مثل Wordfence أو Sucuri تحظر الزواحف، فأضف قاعدة سماح لـ RankawyBot.
4. إن استمر الخطأ، اطلب من دعم الاستضافة مراجعة سجل أخطاء الخادم عند طلب /robots.txt.

### shopify

ملاحظة المنصة: ملف robots.txt في Shopify تخدمه المنصة نفسها، وخطأ الخادم فيه نادر وليس من إعداد متجرك. أعد فحص الموقع بعد ساعة، وإن تكرر الخطأ فراسل دعم Shopify. وإن عدّلت قالب robots.txt.liquid، فتأكد أن آخر تعديل لا يفسده.

### salla

ملاحظة المنصة: ملف robots.txt في سلة تخدمه المنصة نفسها، وخطأ الخادم فيه لا ينتج من إعداد متجرك. أعد الفحص بعد ساعة، وإن تكرر الخطأ فَراسِل دعم سلة، أو راسلنا من صفحة الدعم لنتابع الأمر مع المنصة.

### zid

ملاحظة المنصة: ملف robots.txt في زد تخدمه المنصة نفسها، وخطأ الخادم فيه ليس من إعداد متجرك. أعد فحص الموقع بعد ساعة، وإن تكرر الخطأ فراسل دعم زد، أو راسلنا من صفحة الدعم ونتابع الأمر مع المنصة.

## مثال

### بعد

```robots
User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml
```

## كيف تتحقق؟

1. افتح example.com/robots.txt (بنطاق موقعك) في نافذة خاصة، وتأكد أنه يُفتح نصاً عادياً.
2. أعد فحص الموقع في رانكاوي، وتأكد أن هذه المشكلة اختفت.
3. في Search Console، اطلب إعادة قراءة الملف من تقرير robots.txt، وتأكد أن آخر قراءة له أصبحت ناجحة.

## أخطاء شائعة

- إعادة توجيه robots.txt إلى صفحة HTML أو إلى الصفحة الرئيسية.
- حماية الملف بصفحة تحقق من الروبوتات، مع أنه الملف المخصص للروبوتات أصلاً.
- حذف الملف ظناً أن ذلك يصلح المشكلة، ثم نسيان سطر Sitemap الذي كان فيه.

## أسئلة شائعة

### هل غياب الملف (404) مشكلة؟

لا. تعني استجابة 404 أن الموقع لا يضع قيوداً، وأن الزواحف تفحص كل الصفحات. المشكلة هنا هي خطأ خادم أو عدم وجود رد، وهما يختلفان عن غياب الملف.

### الملف يُفتح عندي في المتصفح، فلماذا ظهرت المشكلة؟

قد يكون الخطأ مؤقتاً وقت الفحص، أو قد يكون جدار الحماية يرد على الزواحف بخلاف ما يرده على المتصفح. أعد فحص الموقع، وإن تكررت المشكلة فراجع سجل جدار الحماية.

## طلب جاهز لمساعدك الذكي

استخدم أدوات رانكاوي (get_site_overview ثم get_issue_pages) لمعرفة منصة موقعي وتفاصيل مشكلة robots-unreachable. ثم ساعدني في تشخيص سبب فشل robots.txt: اكتب قائمة فحص مرتبة (الخادم، جدار الحماية، الإضافة التي تولّد الملف، إعادة التوجيه)، واقترح محتوى ملف robots.txt سليماً وبسيطاً يناسب موقعي مع سطر Sitemap، ورسالة قصيرة لدعم الاستضافة إن احتجتها.
