# هل يمنع robots.txt محركات الذكاء الاصطناعي من فتح صفحاتك عند الطلب؟

حين يطلب مستخدم من ChatGPT أو Claude أو Perplexity فتح صفحة من موقعك، يجلبها زاحف خاص. منعه في robots.txt قد يمنع المساعد من فتحها، ولا يتحكم عادةً في ذكرك مصدراً.

آخر مراجعة: 2026-11-02

## ما المشكلة؟

لكل مساعد ذكاء اصطناعي زاحف يفتح الصفحات حين يطلب المستخدم ذلك داخل المحادثة، ومنها ChatGPT-User و Claude-User و Perplexity-User و MistralAI-User و Amzn-User. هذه الزواحف غير زواحف البحث التي تقرأ المواقع لتذكرها مصادر، وغير زواحف التدريب. وجدنا في ملف robots.txt قاعدة تمنع واحداً منها أو أكثر من قراءة صفحتك الرئيسية.

## لماذا تهم؟

حين يلصق مستخدم رابط صفحتك ويطلب تلخيصها أو المقارنة بها، قد يعتذر المساعد لأنه لا يستطيع فتحها.

هذا المنع وحده لا يتحكم عادةً في ذكر موقعك مصدراً في الإجابات، فذلك عمل زواحف البحث، ولذلك لا يُنقص صحة موقعك.

قد يكون المنع مقصوداً، مثل صفحات مدفوعة أو محتوى لا تريد أن يُقرأ داخل المحادثات. إن كان كذلك، فاختر «هذا المنع مقصود».

## كيف تفحصها؟

1. افتح الرابط https://موقعك/robots.txt في المتصفح.
2. ابحث عن ChatGPT-User و Claude-User و Perplexity-User و MistralAI-User و Amzn-User.
3. إن وجدت تحت أحدها السطر Disallow: /، فهو ممنوع من موقعك كله.
4. راجع أيضاً قسم User-agent: * إن كان فيه Disallow: /، فهو يمنع كل الزواحف التي لا قسم خاصاً بها.

## طريقة الإصلاح

### أي موقع

1. قرّر أولاً: هل تريد أن تفتح محركات الذكاء الاصطناعي صفحاتك حين يطلب المستخدم ذلك؟ إن كان المنع مقصوداً، فلا تغيّر شيئاً، واختر «هذا المنع مقصود» تحت المشكلة.
2. إن أردت السماح، فافتح ملف robots.txt في جذر موقعك.
3. احذف أقسام Disallow الخاصة بالزواحف التي تريد السماح لها، أو أضف لكل منها Allow: /.
4. احفظ الملف، ثم افتح robots.txt في المتصفح لتتأكد أن التعديل ظهر.

### wordpress

1. افتح Yoast ← Tools ← File editor، أو Rank Math ← General Settings ← Edit robots.txt.
2. احذف قواعد المنع الخاصة بزواحف المستخدم (مثل ChatGPT-User و Claude-User و Perplexity-User و MistralAI-User و Amzn-User) التي تريد السماح لها، واحفظ.
3. إن لم يتغير الملف، فقد يكون هناك ملف robots.txt فعلي في جذر الاستضافة، فعدّله من مدير ملفات الاستضافة أو اطلب ذلك من مطوّرك.

### shopify

1. من لوحة Shopify: Online Store ← Themes ← Edit code، ثم افتح ملف robots.txt.liquid إن كان موجوداً.
2. احذف قواعد المنع الخاصة بالزواحف التي تريد السماح لها، ثم اضغط Save.
3. راجع التعديل بعناية، لأن الخطأ في هذا الملف قد يمنع Google نفسه.

### salla

1. من لوحة سلة: أدوات التسويق ← تحسين محركات البحث ← ملف robots.
2. احذف قواعد المنع الخاصة بالزواحف التي تريد السماح لها، ثم احفظ.

### zid

ملاحظة المنصة: تعديل ملف robots.txt غير متاح عادةً من لوحة زد. اطلب من دعم زد حذف قواعد المنع الخاصة بالزواحف التي تريد السماح لها، واذكر أسماءها كما تظهر في فحص رانكاوي.

## مثال

### قبل

```robots
User-agent: ChatGPT-User
Disallow: /

User-agent: Claude-User
Disallow: /
```

### بعد

```robots
# اسمح للمساعدات بفتح الصفحات عند الطلب، وامنع التدريب فقط
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /
```

## كيف تتحقق؟

1. افتح https://موقعك/robots.txt وتأكد أن قواعد المنع التي حذفتها اختفت.
2. هذه المشكلة على مستوى الموقع كله، فأعد فحص الموقع في رانكاوي بعد التعديل لنقرأ robots.txt من جديد.

## أخطاء شائعة

- الظن أن منع ChatGPT-User وحده يُخرج موقعك من إجابات ChatGPT. ذكر المصادر عمل OAI-SearchBot، زاحف البحث.
- نسخ قائمة منع جاهزة تمنع كل زواحف الذكاء الاصطناعي معاً دون قراءة دور كل زاحف فيها.
- تعديل robots.txt مع بقاء حجب آخر في الجدار الناري أو في Cloudflare، فيبقى الزاحف ممنوعاً.

## أسئلة شائعة

### هل يؤثر هذا المنع في صحة موقعي في رانكاوي؟

لا. نذكره لتعرف أثره، لأنه لا يتحكم عادةً في ذكر موقعك مصدراً. منع زواحف البحث هو الذي يدخل في صحة الموقع.

### هل تحترم هذه الزواحف robots.txt دائماً؟

توثّق الشركات أن زواحف البحث والتدريب تتبع robots.txt. أما زواحف الطلب فقد تتعامل بعض الشركات مع طلب المستخدم معاملة مختلفة، فراجع توثيق كل شركة إن كان المنع مهماً لك.

## طلب جاهز لمساعدك الذكي

استخدم أدوات رانكاوي لقراءة مشكلة ai-user-blocked في موقعي وأسماء الزواحف الممنوعة. اشرح لي ماذا يحدث حين يطلب مستخدم من المساعد فتح صفحة من موقعي وهذا الزاحف ممنوع، وهل يؤثر ذلك في ذكر موقعي مصدراً. ثم اكتب لي نسخة مقترحة من قواعد robots.txt تسمح بهذه الزواحف وتُبقي أي قواعد أخرى أذكرها لك، حتى أراجعها وألصقها بنفسي. لا تغيّر أي شيء في موقعي.
