ملف قواعد الزحف
robots.txt ملف نصي على جذر الموقع يحدد المسارات التي يُسمح لزواحف معيّنة بطلبها أو تُمنع منها.
إعداد ومراجعة محمد زكريا (كيف نكتب)آخر مراجعة 2026-10-27المراجع (2)
التعريف
تقرأ الزواحف مجموعات User-agent وقواعد Allow و Disallow، وقد تجد فيه عناوين خريطة الموقع. تتحكم القواعد في الزحف وفق التزام كل زاحف بالبروتوكول، ولا تجعل الصفحة خاصة أو محمية بكلمة مرور. يمكن أن يظهر عنوان محجوب في النتائج إذا عرفه محرك البحث من الروابط الخلفية من دون قراءة محتواه.[1][2]
لماذا يهم موقعاً عربياً؟
قد تحتوي المتاجر العربية على آلاف روابط التصفية والبحث وفرز المنتجات، فيساعد الملف على توجيه الزحف بعيداً عن أنماط لا تضيف صفحات مستقلة مفيدة. ينبغي كتابة المسارات كما تظهر فعلاً، مع مراعاة الحروف العربية وترميزها، واختبار القاعدة على رابط كامل قبل النشر حتى لا يشمل الحظر تصنيفاً أو منتجاً مهماً.
تعلن خدمات البحث والذكاء الاصطناعي وكلاء مستخدم مختلفين لأدوار البحث أو التدريب أو فتح الصفحة بطلب المستخدم. اختر سياسة واعية لكل دور، ودوّن سببها، ولا تفترض أن اسماً واحداً يمثل جميع المنتجات. الملف عام ويمكن لأي شخص قراءته، لذلك لا تضع فيه مسارات سرية أو بيانات داخلية.
متجر يمنع روابط فرز المنتجات
يسمح المثال بالصفحات العادية، ويمنع معاملات البحث الداخلي والفرز من Googlebot، ويعلن خريطة الموقع. إذا كان المتجر يستخدم مساراً مختلفاً للفلاتر، يجب تعديل النمط بعد تجربة روابط حقيقية. لا يضيف المثال noindex ولا يحمي حساب العميل.
User-agent: Googlebot Disallow: /search Disallow: /*?sort= Disallow: /*&sort= Sitemap: https://example.com/sitemap.xml
التباسات شائعة
- noindex
- حظر الزحف يمنع قراءة الصفحة، أما noindex فيحتاج وصول الزاحف ثم يطلب استبعادها من الفهرس.
- جدار الحماية
- جدار الحماية يرفض الاتصال أو يطلب تحققاً تقنياً، بينما robots.txt تعليمات منشورة تعتمد على التزام الزاحف بها.
- llms.txt
- robots.txt يعبّر عن سياسة الزحف، أما llms.txt فهو فهرس اختياري للمحتوى ولا يمنح إذناً يتجاوز قواعد الوصول.
أدلة مرتبطة
المراجع2
اعتمدنا في الحقائق والأرقام والسياسات على الوثائق الرسمية التالية. أمّا النصائح والأمثلة فمبنية على خبرة رانكاوي.
- [1]مقدمة إلى robots.txt(يفتح في تبويب جديد)Google Search Central — Robots.txt Introduction
- [2]معيار بروتوكول استبعاد الزواحف(يفتح في تبويب جديد)IETF — RFC 9309 Robots Exclusion Protocol
إعداد ومراجعة محمد زكريا · آخر مراجعة 2026-10-27