# ملف قواعد الزحف

robots.txt ملف نصي على جذر الموقع يحدد المسارات التي يُسمح لزواحف معيّنة بطلبها أو تُمنع منها.

آخر مراجعة: 2026-10-27

## التعريف

تقرأ الزواحف مجموعات User-agent وقواعد Allow و Disallow، وقد تجد فيه عناوين خريطة الموقع. تتحكم القواعد في الزحف وفق التزام كل زاحف بالبروتوكول، ولا تجعل الصفحة خاصة أو محمية بكلمة مرور. يمكن أن يظهر عنوان محجوب في النتائج إذا عرفه محرك البحث من الروابط الخلفية من دون قراءة محتواه.[1][2]

## لماذا يهم موقعاً عربياً؟

قد تحتوي المتاجر العربية على آلاف روابط التصفية والبحث وفرز المنتجات، فيساعد الملف على توجيه الزحف بعيداً عن أنماط لا تضيف صفحات مستقلة مفيدة. ينبغي كتابة المسارات كما تظهر فعلاً، مع مراعاة الحروف العربية وترميزها، واختبار القاعدة على رابط كامل قبل النشر حتى لا يشمل الحظر تصنيفاً أو منتجاً مهماً.

تعلن خدمات البحث والذكاء الاصطناعي وكلاء مستخدم مختلفين لأدوار البحث أو التدريب أو فتح الصفحة بطلب المستخدم. اختر سياسة واعية لكل دور، ودوّن سببها، ولا تفترض أن اسماً واحداً يمثل جميع المنتجات. الملف عام ويمكن لأي شخص قراءته، لذلك لا تضع فيه مسارات سرية أو بيانات داخلية.

## متجر يمنع روابط فرز المنتجات

يسمح المثال بالصفحات العادية، ويمنع معاملات البحث الداخلي والفرز من Googlebot، ويعلن خريطة الموقع. إذا كان المتجر يستخدم مساراً مختلفاً للفلاتر، يجب تعديل النمط بعد تجربة روابط حقيقية. لا يضيف المثال noindex ولا يحمي حساب العميل.

```robots
User-agent: Googlebot
Disallow: /search
Disallow: /*?sort=
Disallow: /*&sort=

Sitemap: https://example.com/sitemap.xml
```

## كيف تراه في رانكاوي

تفحص أداة robots.txt الملف و llms.txt وتختبر وصول Googlebot ومحركات الذكاء الاصطناعي إلى رابط تختاره، بينما يسجل فحص الموقع حالات الحجب المؤثرة.

## التباسات شائعة

### noindex

حظر الزحف يمنع قراءة الصفحة، أما noindex فيحتاج وصول الزاحف ثم يطلب استبعادها من الفهرس.

### جدار الحماية

جدار الحماية يرفض الاتصال أو يطلب تحققاً تقنياً، بينما robots.txt تعليمات منشورة تعتمد على التزام الزاحف بها.

### llms.txt

robots.txt يعبّر عن سياسة الزحف، أما llms.txt فهو فهرس اختياري للمحتوى ولا يمنح إذناً يتجاوز قواعد الوصول.

## المصادر

1. [مقدمة إلى robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro)

2. [معيار بروتوكول استبعاد الزواحف](https://www.rfc-editor.org/rfc/rfc9309)
