هل يحجب Cloudflare زواحف الذكاء الاصطناعي عن موقعك؟ وكيف تتحقق؟
درجة الخطورة: معلومةسهلةالمدة التقريبية بالدقائق: 10آخر تحديث: 2026-10-11
في هذا الدليل
ما المشكلة؟
موقعك يعمل خلف Cloudflare، وملف robots.txt عندك لا يمنع زواحف البحث التابعة للذكاء الاصطناعي. لكن Cloudflare يستطيع حجب هذه الزواحف عند حدوده قبل أن تصل إلى موقعك، وتختلف الإعدادات الافتراضية بحسب تاريخ إضافة النطاق: منذ 15 سبتمبر 2026 تُسمح زواحف البحث افتراضياً في النطاقات الجديدة، وتُحجب زواحف التدريب والوكلاء على الصفحات التي تعرض إعلانات، وتحتفظ النطاقات الأقدم بإعداداتها. لا نستطيع رؤية هذا الإعداد من الخارج دون انتحال اسم زاحف آخر، ونحن لا نفعل ذلك. لذا نعرض هذه الملاحظة لتتحقق بنفسك من لوحة Cloudflare.
لماذا تهمّ؟
إن كان الحجب مفعّلاً لزواحف البحث مثل OAI-SearchBot و Claude-SearchBot و PerplexityBot، فلن تستطيع تلك الخدمات قراءة صفحاتك، وقد يقلّ ظهور موقعك مصدراً في إجاباتها، حتى لو سمح robots.txt بذلك.
حجب زواحف التدريب وحدها قرار مشروع، ولا يمسّ ظهورك في البحث. المهم أن تعرف ما هو مفعّل وتختاره عن قصد.
كيف تكتشفها بنفسك
- سجّل الدخول إلى لوحة Cloudflare، واختر نطاق موقعك.
- افتح AI Crawl Control.
- راجع حالة كل زاحف: هل هو مسموح أم محجوب؟ وانظر خصوصاً إلى زواحف البحث مثل OAI-SearchBot و Claude-SearchBot و PerplexityBot.
- إن لم تكن صاحب حساب Cloudflare، فاسأل من يدير النطاق أو مطوّرك.
كيف تصلحها
أي موقع
- قرّر أولاً: هل تريد الظهور في إجابات خدمات الذكاء الاصطناعي؟ وهل تقبل استخدام محتواك في التدريب؟
- في لوحة Cloudflare، افتح AI Crawl Control لنطاق موقعك.
- اسمح لزواحف البحث والمستخدمين التي تريد الظهور في إجاباتها، مثل OAI-SearchBot و ChatGPT-User و Claude-SearchBot و Claude-User و PerplexityBot.
- اترك زواحف التدريب محجوبة إن كان هذا قرارك، مثل GPTBot و ClaudeBot.
- احفظ التغييرات. إن كانت هناك قواعد في الجدار الناري (WAF) تحجب الزواحف أيضاً، فراجعها مع من يدير النطاق.
كيف تتأكد من الإصلاح
- راجع AI Crawl Control بعد أيام، وتأكد أن زواحف البحث التي سمحت لها تصل إلى موقعك.
- أعد الفحص في رانكاوي إن عدّلت robots.txt. أما إعداد Cloudflare فلا نراه من الخارج، فستبقى هذه الملاحظة للتذكير ما دام موقعك خلف Cloudflare.
أخطاء شائعة
- تعديل robots.txt وحده وانتظار النتيجة، بينما Cloudflare يحجب الزواحف قبل أن تقرأ الملف.
- حجب كل زواحف الذكاء الاصطناعي دفعة واحدة، ومنها زواحف البحث، بقصد منع التدريب فقط.
- الظن أن هذا الإعداد يؤثر في Googlebot. هو خاص بزواحف الذكاء الاصطناعي، و Googlebot يتبع إعداداً آخر.
جهّز الإصلاح مع مساعدك الذكي
اربط مساعدك الذكي برانكاوي في أي خطة، ثم انسخ هذا الطلب إليه. سيقرأ الصفحات المتأثرة وخطوات منصتك ويجهّز لك التعليمات لتراجعها.
استخدم أدوات رانكاوي لقراءة ملاحظة cloudflare-ai-check في موقعي، ثم تحقق من نتيجة robots.txt لزواحف الذكاء الاصطناعي في الفحص نفسه. اشرح لي الفرق بين زواحف البحث والمستخدم وزواحف التدريب، واكتب لي قائمة تحقق قصيرة أراجع بها إعداد AI Crawl Control في لوحة Cloudflare: أي الزواحف أسمح لها وأيها أحجب حسب أهدافي. لا تغيّر أي شيء في موقعي.
كيف تربط مساعدك الذكيأسئلة شائعة
لماذا لا يكتشف رانكاوي الحجب بنفسه؟
الطريقة الوحيدة لاكتشافه من الخارج أن نرسل طلباً باسم زاحف آخر مثل OAI-SearchBot، وهذا انتحال لا نقبله. نقرأ ما ينشره موقعك فقط، ونترك لك الإعداد الذي لا يظهر إلا في لوحتك.
هل هذه الملاحظة تقلل نقاط الرصيد لموقعي؟
لا. هذه ملاحظة للعلم، ولا تدخل في صحة الموقع ولا في Rankawy Score. يمكنك تجاهلها بعد أن تتحقق من الإعداد.
هل يحجب Cloudflare زاحف رانكاوي أيضاً؟
قد يحجبه إعداد الحماية من الزواحف. إذا فشل الفحص لهذا السبب، فستجد في رانكاوي رسالة تشرح كيف تسمح لـ RankawyBot.
أدلة مرتبطة
هل يمنع robots.txt موقعك من الظهور في إجابات محركات الذكاء الاصطناعي؟
منع زواحف بحث الذكاء الاصطناعي في robots.txt قد يقلّل ظهور موقعك مصدراً في إجابات مساعدات مثل ChatGPT و Claude و Perplexity. تعرّف كيف تسمح لها وتمنع التدريب وحده.
هل أمنع زحف التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة في robots.txt؟
تجمع هذه الملاحظة زواحف التدريب وضوابط إعادة الاستخدام وزاحف الأرشيف المفتوح. راجع أثر كل رمز وكيف تغيّر القاعدة إذا لم تكن مقصودة.
ما معنى سطر Content-Signal في robots.txt؟ وكيف تختار قيمه؟
سطر Content-Signal يعلن تفضيلاتك لاستخدام محتواك: البحث وإجابات الذكاء الاصطناعي والتدريب. تعرّف على قيمه الثلاث وأثر كل واحدة.
كيف تسمح لزاحف رانكاوي بفحص موقعك إذا منعه جدار الحماية؟
جدار الحماية أو الاستضافة ردّا على زاحف رانكاوي برفض (401 أو 403 أو صفحة تحقّق). تعرّف كيف تسمح لـ RankawyBot في Cloudflare و Vercel و Shopify وغيرها.

