رانكاوي
تسجيل الدخولابدأ مجاناًEN
أداة مجانية · دون تسجيل

فحص ملف robots.txt ومن يستطيع الزحف إلى موقعك

اكتب نطاق موقعك أو رابط صفحة، وسنقرأ ملف robots.txt كما يقرؤه Google، ونخبرك أيَّ الزواحف مسموح لها وأيَّها ممنوع، من Googlebot إلى زواحف ChatGPT وClaude وPerplexity، مع فحص ملف llms.txt.

  • مجانية ودون تسجيل
  • Google و18 زاحفاً للذكاء الاصطناعي
  • نتيجة فورية بالعربية

اكتب النطاق أو رابط صفحة لتعرف هل يسمح الملف بالزحف إليها.

ما الذي نفحصه في ملف robots.txt؟

  • كل زاحف على حدة

    Googlebot وزواحف الذكاء الاصطناعي: من يُسمح له بالوصول إلى صفحتك الرئيسية ورابطك.

  • أخطاء الملف

    الأسطر غير المعروفة أو المكتوبة بصيغة خاطئة، مع موضعها في الملف.

  • Content-Signal والحماية من الوصول

    إشارات استخدام المحتوى، وشبكة توزيع المحتوى التي تحمي موقعك.

  • ملف llms.txt

    هل يوجد في موقعك، وما الذي يحتوي عليه.

إعداد ومراجعة محمد زكريا (كيف نكتب)آخر مراجعة 2026-11-02المراجع (25)

ما هو ملف robots.txt؟

ملف نصي صغير في جذر موقعك، على الرابط /robots.txt، يقرؤه كل زاحف محترم قبل أن يزور صفحاتك. يخبر الزواحف بالمسارات التي يمكنها زيارتها والمسارات الممنوعة، ويعلن رابط خريطة موقعك. الغرض الأساسي منه تنظيم الزحف، كي لا يضيع Googlebot وقته في صفحات السلة والبحث الداخلي، ولا يُثقل على خادمك.[1]

مثال على ملف لمتجر:

# متجر تجريبيUser-agent: *Disallow: /cartDisallow: /checkoutDisallow: /searchAllow: /search/guideUser-agent: GPTBotDisallow: /Sitemap: https://example.com/sitemap_index.xml
User-agent:
اسم الزاحف الذي تخصه القواعد التالية. والنجمة * تعني كل الزواحف التي لا تملك مجموعة باسمها.
Disallow:
مسار ممنوع، ويشمل كل ما يبدأ به. مثلاً: Disallow: /cart تمنع /cart و/cart/items أيضاً.
Allow:
مسار مسموح داخل مسار ممنوع، مثل صفحة دليل داخل قسم البحث.
Sitemap:
الرابط الكامل لخريطة الموقع. يمكن تكراره لأكثر من خريطة، ولا يتبع أي مجموعة.

كيف يقرأ Google هذا الملف

يتبع Google معيار RFC 9309، ويطبّق القواعد التالية على كل رابط بالترتيب:[2]

  1. 1مجموعة واحدة لكل زاحفيختار الزاحف المجموعة التي تحمل اسمه الأكثر دقة، ويتجاهل غيرها. فإن وُجدت مجموعة لـ Googlebot، فلن يقرأ Googlebot مجموعة النجمة إطلاقاً.
  2. 2القاعدة الأطول تفوزإذا انطبقت على الرابط قاعدتان، فالحكم للقاعدة ذات المسار الأطول. وإذا تساوتا في الطول، تفوز Allow.
  3. 3المسارات حساسة لحالة الأحرفDisallow: /Shop لا تمنع /shop. والرمز * يطابق أي أحرف، بينما يعني الرمز $ نهاية الرابط، مثل Disallow: /*.pdf$.
  4. 4500 كيبيبايت فقطيقرأ Google أول 500 كيبيبايت من الملف، ويتجاهل ما بعد ذلك، ويحفظ نسخةً منه عادةً لمدة تصل إلى 24 ساعة.
  5. 5لكل نطاق ملفهيخص هذا الملف البروتوكول والنطاق والمنفذ الذي يقع عليه. لذلك، فإن ملف www.example.com لا يسري على shop.example.com.
مثال: أي قاعدة تنطبق على هذا الرابط؟
/shop/sale/abaya
  • Disallow: /shopطول المسار 5
  • Allow: /shop/saleطول المسار 10تفوز
  • Disallow: /*.pdf$لا تنطبق

القاعدتان الأوليان تنطبقان على الرابط، وقاعدة Allow أطول (10 أحرف مقابل 5)، فالرابط مسموح. والقاعدة الثالثة لا تنطبق أصلاً لأن الرابط لا ينتهي بـ .pdf.

ماذا يفعل Google بحسب رمز الاستجابة

2xxيقرأ الملف ويطبّق قواعده.
3xxيتبع التحويل حتى 5 مرات، ثم يعامل الملف كأنه غير موجود.
4xxيعامل الموقع كأنه بلا قيود ويزحف إلى كل الصفحات (عدا 429).
5xx أو خطأ شبكةيوقف Google الزحف خلال أول 12 ساعة. وخلال 30 يوماً بعدها يستخدم آخر نسخة سليمة إن وجدت؛ وإن لم توجد، يفترض غالباً عدم وجود قيود. وبعد 30 يوماً يتوقف الحكم على مدى إتاحة الموقع عامةً.
429يعامل Google الرمز 429 بصورة مختلفة عن بقية أخطاء 4xx، ويبطّئ طلباته؛ فلا تعتمد عليه لتحديد قواعد الزحف.

robots.txt يمنع الزحف، ولا يمنع الظهور في نتائج البحث

أشهر خطأ في هذا الملف: منع صفحة باستخدام Disallow لإخراجها من نتائج البحث. قد تظهر الصفحة الممنوعة في النتائج إذا أشارت إليها روابط من مواقع أخرى، فتظهر برابطها دون وصف. ولإخراج صفحة من الفهرس فعلاً، اتركها مفتوحة للزحف وضع فيها وسم noindex ليقرأه Google ويحذفها. أما إذا منعتها في robots.txt فلن يرى Google الوسم أبداً.[1]

<meta name="robots" content="noindex">

كيف تقرأ نتيجة فحص الموقع

هذا مثال لنتيجة متجر تجريبي. وتظهر نتيجة موقعك بالشكل نفسه تحت خانة الرابط.

rankawy.com/tools/robots-txt-checker · مثال على النتيجة

نتيجة فحص robots.txt

الموقع: example.com

الملف يعمل، لكن فيه ما يستحق الإصلاح

يستطيع Google الزحف إلى موقعك، وبعض القواعد لا تعمل كما قصدت أو تمنع زواحف قد تحتاجها.

رمز الاستجابة
200
الحجم
187 B
مجموعات
2
خرائط الموقع المعلنة
1

المشكلات

  • مهمأسطر لا يفهمها محرك البحث· سطر واحد

    هناك أسطر ليست من حقول الملف المعروفة، مثل خطأ إملائي في Disallow أو غياب النقطتين. يتجاهلها Google، لذلك لا تعمل القاعدة التي قصدتها. الأسطر معلّمة بالأحمر في نص الملف أدناه.

  • مهمالملف يمنع زواحف البحث المدعوم بالذكاء الاصطناعي· PerplexityBot

    هذه الزواحف تجلب الصفحات لتستعملها مساعدات الذكاء الاصطناعي مصادرَ في إجاباتها، فمنعها قد يحرم موقعك من الظهور مصدراً فيها. إن لم يكن المنع مقصوداً فاحذف قاعدته.

  • للعلمGoogle يتجاهل Crawl-delay

    يضبط Google سرعة زحفه بنفسه حسب استجابة خادمك، ويتجاهل هذا الحقل. بعض الزواحف الأخرى تحترمه، فلا ضرر من بقائه.

  • للعلمالملف يقيّد التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة· GPTBot

    تجمع هذه الفئة القديمة زواحف تدريب وضوابط إعادة استخدام وزاحف أرشيف مفتوح. راجع غرض كل رمز؛ أثر المنع يختلف بين الجهات والمنتجات.

  • للعلملا يوجد ملف llms.txt

    هو ملف اختياري يلخّص موقعك لمساعدات الذكاء الاصطناعي بصيغة Markdown. ولم تعلن Google أنها تستخدمه، فأضفه بعد إصلاح ما سبق إن أردت.

من يستطيع الزحف إلى موقعك؟

حكم كل زاحف بحسب قواعد ملفك، بالطريقة التي يقرأ بها الملف: المجموعة الأدق لاسمه، ثم القاعدة الأطول.

الزاحفالدورالصفحة الرئيسية/products/abaya
GooglebotGoogleبحث Googleمسموحمسموح
Googlebot-ImageGoogleبحث Googleمسموحمسموح
OAI-SearchBotOpenAIالبحث بالذكاء الاصطناعيمسموحمسموح
Claude-SearchBotAnthropicالبحث بالذكاء الاصطناعيمسموحمسموح
PerplexityBotPerplexityالبحث بالذكاء الاصطناعيممنوعممنوع
MistralAI-IndexMistral AIالبحث بالذكاء الاصطناعيمسموحمسموح
Amzn-SearchBotAmazonالبحث بالذكاء الاصطناعيمسموحمسموح
DuckAssistBotDuckDuckGoالبحث بالذكاء الاصطناعيمسموحمسموح
ChatGPT-UserOpenAIيفتح الصفحة عند الطلب المباشرمسموحمسموح
Claude-UserAnthropicيفتح الصفحة عند الطلب المباشرمسموحمسموح
Perplexity-UserPerplexityيفتح الصفحة عند الطلب المباشرمسموحمسموح
MistralAI-UserMistral AIيفتح الصفحة عند الطلب المباشرمسموحمسموح
Amzn-UserAmazonيفتح الصفحة عند الطلب المباشرمسموحمسموح
GPTBotOpenAIالتدريب أو إعادة الاستخدام أو الأرشفة المفتوحةممنوعممنوع
ClaudeBotAnthropicالتدريب أو إعادة الاستخدام أو الأرشفة المفتوحةمسموحمسموح
Google-ExtendedGoogleالتدريب أو إعادة الاستخدام أو الأرشفة المفتوحةمسموحمسموح
Applebot-ExtendedAppleالتدريب أو إعادة الاستخدام أو الأرشفة المفتوحةمسموحمسموح
CCBotCommon Crawlالتدريب أو إعادة الاستخدام أو الأرشفة المفتوحةمسموحمسموح
MistralAI-TrainingMistral AIالتدريب أو إعادة الاستخدام أو الأرشفة المفتوحةمسموحمسموح
AmazonbotAmazonالتدريب أو إعادة الاستخدام أو الأرشفة المفتوحةمسموحمسموح

robots.txt

1User-agent: *
2Disallow: /cart
3Disallow: /checkout
4Disalow: /search
5Crawl-delay: 2
6
7User-agent: PerplexityBot
8User-agent: GPTBot
9Disallow: /
10
11Sitemap: https://example.com/sitemap_index.xml

الأسطر المعلَّمة بالأحمر لا يفهمها محرك البحث.

llms.txt

لا يوجد ملف llms.txt في موقعك.

llms.txt مقترح مفتوح تقرؤه بعض المساعدات وأدوات البرمجة، ولم تعلن Google أنها تستخدمه في البحث.

هذا مجرد ملف واحد. ماذا عن صفحات موقعك؟

أنشئ حساباً مجانياً لنفحص موقعك في حدود خطتك: الصفحات الممنوعة من الزحف أو الفهرسة، والروابط المكسورة، والعناوين، ووصول زواحف الذكاء الاصطناعي، مع خطوات الإصلاح على منصتك.

  1. 1الحكم والأرقامرمز استجابة الملف، وحجمه، وعدد مجموعات القواعد، وعدد الخرائط المعلنة فيه.
  2. 2الملاحظاتكل مشكلة مرتبة حسب خطورتها: الأحمر يوقف زحف Google، والأصفر يعني أن قاعدةً لا تعمل كما قصدت، والأزرق للعلم.
  3. 3من يستطيع الزحف إلى موقعكحكم Googlebot و18 زاحفاً للذكاء الاصطناعي على صفحتك الرئيسية، وعلى الصفحة التي كتبت رابطها إن فعلت.
  4. 4نص الملفالملف كما يقدّمه خادمك مع أرقام أسطره، والأسطر التي لا يفهمها محرك البحث معلّمة بالأحمر.
  5. 5llms.txtهل يوجد الملف، وما عنوانه، وكم عدد الروابط فيه.

زواحف الذكاء الاصطناعي: لمن تسمح؟

تنشر الشركات رموزاً لقدرات مختلفة: فهرسة البحث، والجلب بطلب المستخدم، وزحف التدريب، والأرشيف المفتوح، والتحكم في إعادة الاستخدام. وقد يقلّل المنع وصول بعض المنتجات إلى محتواك، لكن أثره يختلف بحسب الرمز ومدى التزام الجهة به.

بحث

بحث: يبني فهرساً أو يجلب محتوى لميزات الإجابة. وقد يقلّل منعه ظهور موقعك مصدراً في المنتج المعني.

عند الطلب

عند الطلب: يفتح صفحتك حين يطلب مستخدم من المساعد قراءتها.

تدريب أو إعادة استخدام أو أرشفة

التدريب وإعادة الاستخدام والأرشيف المفتوح: كانت فئة التدقيق القديمة تجمع أغراضاً مختلفة؛ فراجع غرض كل رمز قبل اتخاذ القرار.

الزاحفالشركةالغرضالتوثيق
OAI-SearchBotOpenAIبحثOpenAI ↗
ChatGPT-UserOpenAIعند الطلبOpenAI ↗
GPTBotOpenAIتدريب أو إعادة استخدام أو أرشفةOpenAI ↗
Claude-SearchBotAnthropicبحثAnthropic ↗
Claude-UserAnthropicعند الطلبAnthropic ↗
ClaudeBotAnthropicتدريب أو إعادة استخدام أو أرشفةAnthropic ↗
PerplexityBotPerplexityبحثPerplexity ↗
Perplexity-UserPerplexityعند الطلبPerplexity ↗
Google-ExtendedGoogleتدريب أو إعادة استخدام أو أرشفةGoogle ↗
Applebot-ExtendedAppleتدريب أو إعادة استخدام أو أرشفةApple ↗
CCBotCommon Crawlتدريب أو إعادة استخدام أو أرشفةCommon Crawl ↗
MistralAI-IndexMistral AIبحثMistral AI ↗
MistralAI-UserMistral AIعند الطلبMistral AI ↗
MistralAI-TrainingMistral AIتدريب أو إعادة استخدام أو أرشفةMistral AI ↗
Amzn-SearchBotAmazonبحثAmazon ↗
AmazonbotAmazonتدريب أو إعادة استخدام أو أرشفةAmazon ↗
Amzn-UserAmazonعند الطلبAmazon ↗
DuckAssistBotDuckDuckGoبحثDuckDuckGo ↗

Google-Extended ليس زاحفاً مستقلاً، وإنما اسم في robots.txt تقرؤه Google لتعرف هل تستخدم محتواك في تدريب نماذج Gemini. منعه لا يُخرج موقعك من نتائج البحث ولا من AI Overviews، فهذه يزحف إليها Googlebot نفسه.[3]

# مثال لتقييد التدريب أو إعادة الاستخدام أو الأرشفةUser-agent: GPTBotUser-agent: ClaudeBotUser-agent: Google-ExtendedUser-agent: CCBotDisallow: /

إن كان موقعك خلف Cloudflare، فقد تمنع Cloudflare زواحف الذكاء الاصطناعي على مستوى الشبكة قبل أن تصل إلى robots.txt؛ وهذا المنع مفعّل افتراضياً في المواقع الجديدة منذ يوليو 2025. وقد تضيف إلى الملف سطر Content-Signal يعلن تفضيلاتك بشأن استخدام المحتوى.[4][5]

ما ملف llms.txt، وهل تحتاجه؟

llms.txt مقترح مفتوح ظهر في سبتمبر 2024. وهو ملف Markdown على الرابط /llms.txt يلخّص موقعك في فقرة، ثم يسرد أهم صفحاته بروابطها، ليسهّل على النماذج اللغوية فهم الموقع دون قراءة كل صفحاته.[6]

# متجر المثال> متجر سعودي للعبايات والعطور، يشحن إلى دول الخليج.## الصفحات الأساسية- [العبايات](https://example.com/abayas): التشكيلة والمقاسات- [سياسة الإرجاع](https://example.com/returns): خلال 14 يوماً## اختياري- [المدونة](https://example.com/blog)
  • ملف تجريبي للناشرين. تقول Google إن البحث لا يستخدم llms.txt، وإن إضافته لا تساعد ولا تضر الظهور أو الترتيب في البحث وميزات الذكاء الاصطناعي.[7]
  • تنشر OpenAI وAnthropic هذه الصيغة في توثيقهما، لكن توثيق زواحفهما الحالي لا يذكر أن منتجات البحث تقرأ ملفات الناشرين.[8]
  • العنوان H1 وحده إلزامي في المقترح؛ الملخص والأقسام والروابط وملاحظاتها أجزاء اختيارية.[9]
  • لا يحل الملف محل robots.txt أو خريطة الموقع، ولا يمنع أي زاحف أو يسمح له.[6]

مشكلات شائعة في robots.txt

Disallow: / بعد الإطلاق

نسخة التطوير تمنع كل الزواحف، ثم تُنقل إلى الموقع الحقيقي كما هي. افحص الملف بعد كل إطلاق أو نقل استضافة.[2]

منع ملفات CSS وJavaScript

يعرض Google صفحتك كما يراها المتصفح ليفهمها. ومنع ملفات التصميم والبرمجة يجعله يرى صفحة ناقصة، وقد يخطئ في تقييمها على الجوال.[1]

noindex داخل robots.txt

لم يعد Google يدعمه منذ سبتمبر 2019. استخدم وسم noindex داخل الصفحة.[10]

منع صفحة تحمل noindex

إن منعتها في robots.txt فلن يزورها Google ليقرأ الوسم، فتبقى في الفهرس. اترك الصفحة مفتوحة حتى تخرج من النتائج.[1]

اختلاف حالة الأحرف

Disallow: /Admin لا تمنع /admin. اكتب المسار كما يظهر في الرابط تماماً.[2]

المسارات العربية

اكتب المسار العربي كما هو بترميز UTF-8 أو مرمّزاً بالنسبة المئوية، ويطابق Google الصيغتين. افحص القاعدة هنا برابط الصفحة نفسها لتتأكد.[11]

إطار JavaScript يعيد الصفحة الرئيسية

بعض المواقع ترجع صفحة HTML لأي رابط غير معروف، فيصبح /robots.txt صفحة ويب. اجعل الخادم يقدّم الملف نصاً عادياً.

قواعد قبل User-agent

أي Allow أو Disallow قبل أول سطر User-agent لا تتبع أي زاحف، فيتجاهلها Google.

تعديل robots.txt حسب المنصة التي بُني عليها موقعك

ووردبريس مع WooCommerce
  1. يولّد ووردبريس ملفاً افتراضياً تلقائياً إن لم يجد ملفاً حقيقياً في جذر الموقع.
  2. عدّله من إضافة Yoast SEO (الأدوات ← محرر الملفات) أو Rank Math (الإعدادات العامة ← تعديل robots.txt).
  3. إن رفعت ملف robots.txt حقيقياً إلى جذر الموقع، فهو الذي يُقرأ وتتوقف تعديلات الإضافة.
  4. في الإعدادات ← القراءة، تأكد أن مربع «إمكانية الظهور في محركات البحث» غير محدد، فتحديده يطلب من محركات البحث ألا تفهرس الموقع.[12]
Shopify
  1. يولّد Shopify ملفاً افتراضياً يمنع السلة والدفع والحساب والبحث الداخلي، وهو مناسب لأغلب المتاجر.
  2. لتعديله أضف القالب robots.txt.liquid من محرر أكواد القالب، وعدّل القواعد داخله.
  3. احذر حذف القواعد الافتراضية: تعديل خاطئ قد يمنع المتجر كله.[13]
سلة
  1. تتيح سلة تعديل الملف من أدوات تحسين محركات البحث.
  2. راجع الملف الحي واحفظ نسخة منه قبل إضافة قاعدة، ثم افحصه بعد الحفظ.[23]
زد
  1. يتاح محرر robots.txt حسب الباقة؛ توثيق زد المراجع في 2 نوفمبر 2026 يذكر باقتي النمو والاحترافية.
  2. تحقق من باقتك ومن الملف الحي قبل التعديل، ثم افحص الناتج.[24]
Blogger
  1. إعداد robots.txt المخصص يستبدل الملف الافتراضي.
  2. انسخ الملف الافتراضي أولاً وادمج قواعدك معه؛ لا تلصق مقطعاً جزئياً بديلاً عنه.[25]
أي موقع آخر
  1. أنشئ ملفاً نصياً بترميز UTF-8 باسم robots.txt وضعه في جذر الموقع.
  2. ابدأ بمجموعة User-agent: * تمنع السلة والبحث الداخلي والحساب فقط.
  3. أضف سطر Sitemap برابط الخريطة الكامل.
  4. تأكد أن الخادم يقدّمه بنوع text/plain ويجيب بالرمز 200، ثم افحصه هنا.[14]

الأسئلة الشائعة

هل أداة فحص robots.txt مجانية؟

نعم، ودون تسجيل. يمكنك إجراء 15 فحصاً في اليوم. ولتعرف الصفحات الممنوعة من الزحف أو الفهرسة في موقعك كله، أنشئ حساباً مجانياً وابدأ الفحص الكامل.

هل يحتاج كل موقع إلى robots.txt؟

ليس شرطاً: الموقع بلا ملف يُزحف إليه كاملاً. لكن الملف مفيد لإعلان خريطة الموقع ولمنع الصفحات التي لا فائدة من الزحف إليها، مثل السلة والبحث الداخلي ونسخ الترتيب والتصفية.

منعت صفحة في robots.txt فلماذا ما زالت تظهر في Google؟

لأن الملف يمنع الزحف ولا يمنع الفهرسة. إن أشارت إلى الصفحة روابط أخرى فقد تبقى في النتائج دون وصف. احذف القاعدة، وضع وسم noindex في الصفحة، وانتظر حتى يزورها Google.

متى يرى Google تعديلي على الملف؟

يحتفظ Google بنسخة من الملف عادةً لمدة تصل إلى 24 ساعة. ولتسريع ذلك، اطلب إعادة الزحف من تقرير robots.txt في Search Console.

هل أمنع زواحف الذكاء الاصطناعي؟

فرّق بين فهرسة البحث، والجلب بطلب المستخدم، وزحف التدريب، والأرشيف المفتوح، وضوابط إعادة الاستخدام. قد يقلّل منع رموز البحث أو الجلب وصول المنتج المعني إلى محتواك، بينما تتحكم الرموز الأخرى في استخدامات مختلفة؛ لذا راجع غرض كل رمز قبل القرار.

هل يمنع robots.txt الزواحف فعلاً؟

الزواحف المحترمة تلتزم به، ومنها زواحف Google والشركات المذكورة. أما الزواحف الضارة فقد تتجاهله؛ لحماية محتوى خاص استخدم كلمة مرور أو قواعد جدار الحماية.

هل أحتاج إلى llms.txt؟

ليس ضرورياً للظهور في Google ولا في ميزات الذكاء الاصطناعي فيه. هو ملف اختياري قد يساعد بعض المساعدات وأدوات البرمجة على فهم موقعك، وفائدته أوضح في مواقع التوثيق والبرمجيات.

المراجع25

اعتمدنا في الحقائق والأرقام والسياسات على الوثائق الرسمية التالية. أمّا النصائح والأمثلة فمبنية على خبرة رانكاوي.

  1. [1]مقدمة إلى ملف robots.txt(يفتح في تبويب جديد)Google Search Central — Introduction to robots.txt
  2. [2]كيف تفسّر Google مواصفات robots.txt(يفتح في تبويب جديد)Google Search Central — How Google interprets the robots.txt specification
  3. [3]زواحف Google الشائعة (ومنها Google-Extended)(يفتح في تبويب جديد)Google Search Central — Google's common crawlers (incl. Google-Extended)
  4. [4]يوم استقلال المحتوى: لا زحف للذكاء الاصطناعي بلا مقابل (يوليو 2025)(يفتح في تبويب جديد)Cloudflare Blog — Content Independence Day: no AI crawl without compensation (July 2025)
  5. [5]سياسة إشارات المحتوى من Cloudflare (Content Signals)(يفتح في تبويب جديد)Cloudflare Blog — Giving users choice with Cloudflare's new Content Signals Policy
  6. [6]ملف ‎/llms.txt(يفتح في تبويب جديد)llmstxt.org — The /llms.txt file
  7. [7]ميزات الذكاء الاصطناعي في بحث Google وموقعك(يفتح في تبويب جديد)Google Search Central — AI features and your website
  8. [8]ملف llms.txt لتوثيق OpenAI(يفتح في تبويب جديد)OpenAI Developers — llms.txt
  9. [9]ملف llms.txt لتوثيق Anthropic(يفتح في تبويب جديد)Anthropic Platform — llms.txt
  10. [10]ملاحظة عن القواعد غير المدعومة في robots.txt (يوليو 2019)(يفتح في تبويب جديد)Google Search Central Blog — A note on unsupported rules in robots.txt (July 2019)
  11. [11]معيار RFC 9309: بروتوكول استبعاد الروبوتات(يفتح في تبويب جديد)RFC 9309 — Robots Exclusion Protocol
  12. [12]دالة do_robots()‎ في ووردبريس(يفتح في تبويب جديد)WordPress Developer Resources — do_robots()
  13. [13]تعديل robots.txt.liquid في Shopify(يفتح في تبويب جديد)Shopify Help Center — Editing robots.txt.liquid
  14. [14]إنشاء ملف robots.txt وإرساله(يفتح في تبويب جديد)Google Search Central — Create and submit a robots.txt file
  15. [15]نظرة عامة على زواحف OpenAI(يفتح في تبويب جديد)OpenAI — Overview of OpenAI crawlers
  16. [16]هل تزحف Anthropic إلى بيانات الويب؟(يفتح في تبويب جديد)Anthropic — Does Anthropic crawl data from the web?
  17. [17]زواحف Perplexity(يفتح في تبويب جديد)Perplexity — Perplexity crawlers
  18. [18]عن زاحف Applebot(يفتح في تبويب جديد)Apple — About Applebot
  19. [19]زاحف CCBot من Common Crawl(يفتح في تبويب جديد)Common Crawl — CCBot
  20. [20]زواحف الويب لدى Mistral AI(يفتح في تبويب جديد)Mistral AI — Web crawlers
  21. [21]توثيق AmazonBot(يفتح في تبويب جديد)Amazon — AmazonBot
  22. [22]توثيق DuckAssistBot(يفتح في تبويب جديد)DuckDuckGo Help — DuckAssistBot
  23. [23]تحسين ظهور متجرك في محركات البحث(يفتح في تبويب جديد)Salla Help Center — Improve your store visibility on search engines
  24. [24]تعديل robots.txt في زد(يفتح في تبويب جديد)Zid Help Center — robots.txt
  25. [25]إدارة تفضيلات محركات البحث في Blogger(يفتح في تبويب جديد)Blogger Help — Manage search engine preferences

إعداد ومراجعة محمد زكريا · آخر مراجعة 2026-11-02

هذا مجرد ملف واحد. ماذا عن صفحات موقعك؟

أنشئ حساباً مجانياً لنفحص موقعك في حدود خطتك: الصفحات الممنوعة من الزحف أو الفهرسة، والروابط المكسورة، والعناوين، ووصول زواحف الذكاء الاصطناعي، مع خطوات الإصلاح على منصتك.

افحص موقعك بالكامل مجاناً