إعداد ومراجعة محمد زكريا (كيف نكتب)آخر مراجعة 2026-11-02المراجع (25)
ما هو ملف robots.txt؟
ملف نصي صغير في جذر موقعك، على الرابط /robots.txt، يقرؤه كل زاحف محترم قبل أن يزور صفحاتك. يخبر الزواحف بالمسارات التي يمكنها زيارتها والمسارات الممنوعة، ويعلن رابط خريطة موقعك. الغرض الأساسي منه تنظيم الزحف، كي لا يضيع Googlebot وقته في صفحات السلة والبحث الداخلي، ولا يُثقل على خادمك.[1]
مثال على ملف لمتجر:
# متجر تجريبيUser-agent: *Disallow: /cartDisallow: /checkoutDisallow: /searchAllow: /search/guideUser-agent: GPTBotDisallow: /Sitemap: https://example.com/sitemap_index.xml- User-agent:
- اسم الزاحف الذي تخصه القواعد التالية. والنجمة * تعني كل الزواحف التي لا تملك مجموعة باسمها.
- Disallow:
- مسار ممنوع، ويشمل كل ما يبدأ به. مثلاً: Disallow: /cart تمنع /cart و/cart/items أيضاً.
- Allow:
- مسار مسموح داخل مسار ممنوع، مثل صفحة دليل داخل قسم البحث.
- Sitemap:
- الرابط الكامل لخريطة الموقع. يمكن تكراره لأكثر من خريطة، ولا يتبع أي مجموعة.
كيف يقرأ Google هذا الملف
يتبع Google معيار RFC 9309، ويطبّق القواعد التالية على كل رابط بالترتيب:[2]
- 1مجموعة واحدة لكل زاحفيختار الزاحف المجموعة التي تحمل اسمه الأكثر دقة، ويتجاهل غيرها. فإن وُجدت مجموعة لـ Googlebot، فلن يقرأ Googlebot مجموعة النجمة إطلاقاً.
- 2القاعدة الأطول تفوزإذا انطبقت على الرابط قاعدتان، فالحكم للقاعدة ذات المسار الأطول. وإذا تساوتا في الطول، تفوز Allow.
- 3المسارات حساسة لحالة الأحرفDisallow: /Shop لا تمنع /shop. والرمز * يطابق أي أحرف، بينما يعني الرمز $ نهاية الرابط، مثل Disallow: /*.pdf$.
- 4500 كيبيبايت فقطيقرأ Google أول 500 كيبيبايت من الملف، ويتجاهل ما بعد ذلك، ويحفظ نسخةً منه عادةً لمدة تصل إلى 24 ساعة.
- 5لكل نطاق ملفهيخص هذا الملف البروتوكول والنطاق والمنفذ الذي يقع عليه. لذلك، فإن ملف www.example.com لا يسري على shop.example.com.
- Disallow: /shopطول المسار 5
- Allow: /shop/saleطول المسار 10تفوز
- Disallow: /*.pdf$لا تنطبق
القاعدتان الأوليان تنطبقان على الرابط، وقاعدة Allow أطول (10 أحرف مقابل 5)، فالرابط مسموح. والقاعدة الثالثة لا تنطبق أصلاً لأن الرابط لا ينتهي بـ .pdf.
ماذا يفعل Google بحسب رمز الاستجابة
| 2xx | يقرأ الملف ويطبّق قواعده. |
|---|---|
| 3xx | يتبع التحويل حتى 5 مرات، ثم يعامل الملف كأنه غير موجود. |
| 4xx | يعامل الموقع كأنه بلا قيود ويزحف إلى كل الصفحات (عدا 429). |
| 5xx أو خطأ شبكة | يوقف Google الزحف خلال أول 12 ساعة. وخلال 30 يوماً بعدها يستخدم آخر نسخة سليمة إن وجدت؛ وإن لم توجد، يفترض غالباً عدم وجود قيود. وبعد 30 يوماً يتوقف الحكم على مدى إتاحة الموقع عامةً. |
| 429 | يعامل Google الرمز 429 بصورة مختلفة عن بقية أخطاء 4xx، ويبطّئ طلباته؛ فلا تعتمد عليه لتحديد قواعد الزحف. |
robots.txt يمنع الزحف، ولا يمنع الظهور في نتائج البحث
أشهر خطأ في هذا الملف: منع صفحة باستخدام Disallow لإخراجها من نتائج البحث. قد تظهر الصفحة الممنوعة في النتائج إذا أشارت إليها روابط من مواقع أخرى، فتظهر برابطها دون وصف. ولإخراج صفحة من الفهرس فعلاً، اتركها مفتوحة للزحف وضع فيها وسم noindex ليقرأه Google ويحذفها. أما إذا منعتها في robots.txt فلن يرى Google الوسم أبداً.[1]
<meta name="robots" content="noindex">كيف تقرأ نتيجة فحص الموقع
هذا مثال لنتيجة متجر تجريبي. وتظهر نتيجة موقعك بالشكل نفسه تحت خانة الرابط.
نتيجة فحص robots.txt
الموقع: example.com
الملف يعمل، لكن فيه ما يستحق الإصلاح
يستطيع Google الزحف إلى موقعك، وبعض القواعد لا تعمل كما قصدت أو تمنع زواحف قد تحتاجها.
- رمز الاستجابة
- 200
- الحجم
- 187 B
- مجموعات
- 2
- خرائط الموقع المعلنة
- 1
المشكلات
- مهمأسطر لا يفهمها محرك البحث· سطر واحد
هناك أسطر ليست من حقول الملف المعروفة، مثل خطأ إملائي في Disallow أو غياب النقطتين. يتجاهلها Google، لذلك لا تعمل القاعدة التي قصدتها. الأسطر معلّمة بالأحمر في نص الملف أدناه.
- مهمالملف يمنع زواحف البحث المدعوم بالذكاء الاصطناعي· PerplexityBot
هذه الزواحف تجلب الصفحات لتستعملها مساعدات الذكاء الاصطناعي مصادرَ في إجاباتها، فمنعها قد يحرم موقعك من الظهور مصدراً فيها. إن لم يكن المنع مقصوداً فاحذف قاعدته.
- للعلمGoogle يتجاهل Crawl-delay
يضبط Google سرعة زحفه بنفسه حسب استجابة خادمك، ويتجاهل هذا الحقل. بعض الزواحف الأخرى تحترمه، فلا ضرر من بقائه.
- للعلمالملف يقيّد التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة· GPTBot
تجمع هذه الفئة القديمة زواحف تدريب وضوابط إعادة استخدام وزاحف أرشيف مفتوح. راجع غرض كل رمز؛ أثر المنع يختلف بين الجهات والمنتجات.
- للعلملا يوجد ملف llms.txt
هو ملف اختياري يلخّص موقعك لمساعدات الذكاء الاصطناعي بصيغة Markdown. ولم تعلن Google أنها تستخدمه، فأضفه بعد إصلاح ما سبق إن أردت.
من يستطيع الزحف إلى موقعك؟
حكم كل زاحف بحسب قواعد ملفك، بالطريقة التي يقرأ بها الملف: المجموعة الأدق لاسمه، ثم القاعدة الأطول.
| الزاحف | الدور | الصفحة الرئيسية | /products/abaya |
|---|---|---|---|
| GooglebotGoogle | بحث Google | مسموح | مسموح |
| Googlebot-ImageGoogle | بحث Google | مسموح | مسموح |
| OAI-SearchBotOpenAI | البحث بالذكاء الاصطناعي | مسموح | مسموح |
| Claude-SearchBotAnthropic | البحث بالذكاء الاصطناعي | مسموح | مسموح |
| PerplexityBotPerplexity | البحث بالذكاء الاصطناعي | ممنوع | ممنوع |
| MistralAI-IndexMistral AI | البحث بالذكاء الاصطناعي | مسموح | مسموح |
| Amzn-SearchBotAmazon | البحث بالذكاء الاصطناعي | مسموح | مسموح |
| DuckAssistBotDuckDuckGo | البحث بالذكاء الاصطناعي | مسموح | مسموح |
| ChatGPT-UserOpenAI | يفتح الصفحة عند الطلب المباشر | مسموح | مسموح |
| Claude-UserAnthropic | يفتح الصفحة عند الطلب المباشر | مسموح | مسموح |
| Perplexity-UserPerplexity | يفتح الصفحة عند الطلب المباشر | مسموح | مسموح |
| MistralAI-UserMistral AI | يفتح الصفحة عند الطلب المباشر | مسموح | مسموح |
| Amzn-UserAmazon | يفتح الصفحة عند الطلب المباشر | مسموح | مسموح |
| GPTBotOpenAI | التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة | ممنوع | ممنوع |
| ClaudeBotAnthropic | التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة | مسموح | مسموح |
| Google-ExtendedGoogle | التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة | مسموح | مسموح |
| Applebot-ExtendedApple | التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة | مسموح | مسموح |
| CCBotCommon Crawl | التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة | مسموح | مسموح |
| MistralAI-TrainingMistral AI | التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة | مسموح | مسموح |
| AmazonbotAmazon | التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة | مسموح | مسموح |
robots.txt
1User-agent: *2Disallow: /cart3Disallow: /checkout4Disalow: /search5Crawl-delay: 267User-agent: PerplexityBot8User-agent: GPTBot9Disallow: /1011Sitemap: https://example.com/sitemap_index.xml
الأسطر المعلَّمة بالأحمر لا يفهمها محرك البحث.
llms.txt
لا يوجد ملف llms.txt في موقعك.
llms.txt مقترح مفتوح تقرؤه بعض المساعدات وأدوات البرمجة، ولم تعلن Google أنها تستخدمه في البحث.
هذا مجرد ملف واحد. ماذا عن صفحات موقعك؟
أنشئ حساباً مجانياً لنفحص موقعك في حدود خطتك: الصفحات الممنوعة من الزحف أو الفهرسة، والروابط المكسورة، والعناوين، ووصول زواحف الذكاء الاصطناعي، مع خطوات الإصلاح على منصتك.
- 1الحكم والأرقامرمز استجابة الملف، وحجمه، وعدد مجموعات القواعد، وعدد الخرائط المعلنة فيه.
- 2الملاحظاتكل مشكلة مرتبة حسب خطورتها: الأحمر يوقف زحف Google، والأصفر يعني أن قاعدةً لا تعمل كما قصدت، والأزرق للعلم.
- 3من يستطيع الزحف إلى موقعكحكم Googlebot و18 زاحفاً للذكاء الاصطناعي على صفحتك الرئيسية، وعلى الصفحة التي كتبت رابطها إن فعلت.
- 4نص الملفالملف كما يقدّمه خادمك مع أرقام أسطره، والأسطر التي لا يفهمها محرك البحث معلّمة بالأحمر.
- 5llms.txtهل يوجد الملف، وما عنوانه، وكم عدد الروابط فيه.
زواحف الذكاء الاصطناعي: لمن تسمح؟
تنشر الشركات رموزاً لقدرات مختلفة: فهرسة البحث، والجلب بطلب المستخدم، وزحف التدريب، والأرشيف المفتوح، والتحكم في إعادة الاستخدام. وقد يقلّل المنع وصول بعض المنتجات إلى محتواك، لكن أثره يختلف بحسب الرمز ومدى التزام الجهة به.
بحث: يبني فهرساً أو يجلب محتوى لميزات الإجابة. وقد يقلّل منعه ظهور موقعك مصدراً في المنتج المعني.
عند الطلب: يفتح صفحتك حين يطلب مستخدم من المساعد قراءتها.
التدريب وإعادة الاستخدام والأرشيف المفتوح: كانت فئة التدقيق القديمة تجمع أغراضاً مختلفة؛ فراجع غرض كل رمز قبل اتخاذ القرار.
| الزاحف | الشركة | الغرض | التوثيق |
|---|---|---|---|
| OAI-SearchBot | OpenAI | بحث | OpenAI ↗ |
| ChatGPT-User | OpenAI | عند الطلب | OpenAI ↗ |
| GPTBot | OpenAI | تدريب أو إعادة استخدام أو أرشفة | OpenAI ↗ |
| Claude-SearchBot | Anthropic | بحث | Anthropic ↗ |
| Claude-User | Anthropic | عند الطلب | Anthropic ↗ |
| ClaudeBot | Anthropic | تدريب أو إعادة استخدام أو أرشفة | Anthropic ↗ |
| PerplexityBot | Perplexity | بحث | Perplexity ↗ |
| Perplexity-User | Perplexity | عند الطلب | Perplexity ↗ |
| Google-Extended | تدريب أو إعادة استخدام أو أرشفة | Google ↗ | |
| Applebot-Extended | Apple | تدريب أو إعادة استخدام أو أرشفة | Apple ↗ |
| CCBot | Common Crawl | تدريب أو إعادة استخدام أو أرشفة | Common Crawl ↗ |
| MistralAI-Index | Mistral AI | بحث | Mistral AI ↗ |
| MistralAI-User | Mistral AI | عند الطلب | Mistral AI ↗ |
| MistralAI-Training | Mistral AI | تدريب أو إعادة استخدام أو أرشفة | Mistral AI ↗ |
| Amzn-SearchBot | Amazon | بحث | Amazon ↗ |
| Amazonbot | Amazon | تدريب أو إعادة استخدام أو أرشفة | Amazon ↗ |
| Amzn-User | Amazon | عند الطلب | Amazon ↗ |
| DuckAssistBot | DuckDuckGo | بحث | DuckDuckGo ↗ |
Google-Extended ليس زاحفاً مستقلاً، وإنما اسم في robots.txt تقرؤه Google لتعرف هل تستخدم محتواك في تدريب نماذج Gemini. منعه لا يُخرج موقعك من نتائج البحث ولا من AI Overviews، فهذه يزحف إليها Googlebot نفسه.[3]
# مثال لتقييد التدريب أو إعادة الاستخدام أو الأرشفةUser-agent: GPTBotUser-agent: ClaudeBotUser-agent: Google-ExtendedUser-agent: CCBotDisallow: /ما ملف llms.txt، وهل تحتاجه؟
llms.txt مقترح مفتوح ظهر في سبتمبر 2024. وهو ملف Markdown على الرابط /llms.txt يلخّص موقعك في فقرة، ثم يسرد أهم صفحاته بروابطها، ليسهّل على النماذج اللغوية فهم الموقع دون قراءة كل صفحاته.[6]
# متجر المثال> متجر سعودي للعبايات والعطور، يشحن إلى دول الخليج.## الصفحات الأساسية- [العبايات](https://example.com/abayas): التشكيلة والمقاسات- [سياسة الإرجاع](https://example.com/returns): خلال 14 يوماً## اختياري- [المدونة](https://example.com/blog)- ملف تجريبي للناشرين. تقول Google إن البحث لا يستخدم llms.txt، وإن إضافته لا تساعد ولا تضر الظهور أو الترتيب في البحث وميزات الذكاء الاصطناعي.[7]
- تنشر OpenAI وAnthropic هذه الصيغة في توثيقهما، لكن توثيق زواحفهما الحالي لا يذكر أن منتجات البحث تقرأ ملفات الناشرين.[8]
- العنوان H1 وحده إلزامي في المقترح؛ الملخص والأقسام والروابط وملاحظاتها أجزاء اختيارية.[9]
- لا يحل الملف محل robots.txt أو خريطة الموقع، ولا يمنع أي زاحف أو يسمح له.[6]
مشكلات شائعة في robots.txt
Disallow: / بعد الإطلاق
نسخة التطوير تمنع كل الزواحف، ثم تُنقل إلى الموقع الحقيقي كما هي. افحص الملف بعد كل إطلاق أو نقل استضافة.[2]
منع ملفات CSS وJavaScript
يعرض Google صفحتك كما يراها المتصفح ليفهمها. ومنع ملفات التصميم والبرمجة يجعله يرى صفحة ناقصة، وقد يخطئ في تقييمها على الجوال.[1]
noindex داخل robots.txt
لم يعد Google يدعمه منذ سبتمبر 2019. استخدم وسم noindex داخل الصفحة.[10]
منع صفحة تحمل noindex
إن منعتها في robots.txt فلن يزورها Google ليقرأ الوسم، فتبقى في الفهرس. اترك الصفحة مفتوحة حتى تخرج من النتائج.[1]
اختلاف حالة الأحرف
Disallow: /Admin لا تمنع /admin. اكتب المسار كما يظهر في الرابط تماماً.[2]
المسارات العربية
اكتب المسار العربي كما هو بترميز UTF-8 أو مرمّزاً بالنسبة المئوية، ويطابق Google الصيغتين. افحص القاعدة هنا برابط الصفحة نفسها لتتأكد.[11]
إطار JavaScript يعيد الصفحة الرئيسية
بعض المواقع ترجع صفحة HTML لأي رابط غير معروف، فيصبح /robots.txt صفحة ويب. اجعل الخادم يقدّم الملف نصاً عادياً.
قواعد قبل User-agent
أي Allow أو Disallow قبل أول سطر User-agent لا تتبع أي زاحف، فيتجاهلها Google.
تعديل robots.txt حسب المنصة التي بُني عليها موقعك
ووردبريس مع WooCommerce
- يولّد ووردبريس ملفاً افتراضياً تلقائياً إن لم يجد ملفاً حقيقياً في جذر الموقع.
- عدّله من إضافة Yoast SEO (الأدوات ← محرر الملفات) أو Rank Math (الإعدادات العامة ← تعديل robots.txt).
- إن رفعت ملف robots.txt حقيقياً إلى جذر الموقع، فهو الذي يُقرأ وتتوقف تعديلات الإضافة.
- في الإعدادات ← القراءة، تأكد أن مربع «إمكانية الظهور في محركات البحث» غير محدد، فتحديده يطلب من محركات البحث ألا تفهرس الموقع.[12]
Shopify
- يولّد Shopify ملفاً افتراضياً يمنع السلة والدفع والحساب والبحث الداخلي، وهو مناسب لأغلب المتاجر.
- لتعديله أضف القالب robots.txt.liquid من محرر أكواد القالب، وعدّل القواعد داخله.
- احذر حذف القواعد الافتراضية: تعديل خاطئ قد يمنع المتجر كله.[13]
سلة
- تتيح سلة تعديل الملف من أدوات تحسين محركات البحث.
- راجع الملف الحي واحفظ نسخة منه قبل إضافة قاعدة، ثم افحصه بعد الحفظ.[23]
زد
- يتاح محرر robots.txt حسب الباقة؛ توثيق زد المراجع في 2 نوفمبر 2026 يذكر باقتي النمو والاحترافية.
- تحقق من باقتك ومن الملف الحي قبل التعديل، ثم افحص الناتج.[24]
Blogger
- إعداد robots.txt المخصص يستبدل الملف الافتراضي.
- انسخ الملف الافتراضي أولاً وادمج قواعدك معه؛ لا تلصق مقطعاً جزئياً بديلاً عنه.[25]
أي موقع آخر
- أنشئ ملفاً نصياً بترميز UTF-8 باسم robots.txt وضعه في جذر الموقع.
- ابدأ بمجموعة User-agent: * تمنع السلة والبحث الداخلي والحساب فقط.
- أضف سطر Sitemap برابط الخريطة الكامل.
- تأكد أن الخادم يقدّمه بنوع text/plain ويجيب بالرمز 200، ثم افحصه هنا.[14]
الأسئلة الشائعة
هل أداة فحص robots.txt مجانية؟
نعم، ودون تسجيل. يمكنك إجراء 15 فحصاً في اليوم. ولتعرف الصفحات الممنوعة من الزحف أو الفهرسة في موقعك كله، أنشئ حساباً مجانياً وابدأ الفحص الكامل.
هل يحتاج كل موقع إلى robots.txt؟
ليس شرطاً: الموقع بلا ملف يُزحف إليه كاملاً. لكن الملف مفيد لإعلان خريطة الموقع ولمنع الصفحات التي لا فائدة من الزحف إليها، مثل السلة والبحث الداخلي ونسخ الترتيب والتصفية.
منعت صفحة في robots.txt فلماذا ما زالت تظهر في Google؟
لأن الملف يمنع الزحف ولا يمنع الفهرسة. إن أشارت إلى الصفحة روابط أخرى فقد تبقى في النتائج دون وصف. احذف القاعدة، وضع وسم noindex في الصفحة، وانتظر حتى يزورها Google.
متى يرى Google تعديلي على الملف؟
يحتفظ Google بنسخة من الملف عادةً لمدة تصل إلى 24 ساعة. ولتسريع ذلك، اطلب إعادة الزحف من تقرير robots.txt في Search Console.
هل أمنع زواحف الذكاء الاصطناعي؟
فرّق بين فهرسة البحث، والجلب بطلب المستخدم، وزحف التدريب، والأرشيف المفتوح، وضوابط إعادة الاستخدام. قد يقلّل منع رموز البحث أو الجلب وصول المنتج المعني إلى محتواك، بينما تتحكم الرموز الأخرى في استخدامات مختلفة؛ لذا راجع غرض كل رمز قبل القرار.
هل يمنع robots.txt الزواحف فعلاً؟
الزواحف المحترمة تلتزم به، ومنها زواحف Google والشركات المذكورة. أما الزواحف الضارة فقد تتجاهله؛ لحماية محتوى خاص استخدم كلمة مرور أو قواعد جدار الحماية.
هل أحتاج إلى llms.txt؟
ليس ضرورياً للظهور في Google ولا في ميزات الذكاء الاصطناعي فيه. هو ملف اختياري قد يساعد بعض المساعدات وأدوات البرمجة على فهم موقعك، وفائدته أوضح في مواقع التوثيق والبرمجيات.
المراجع25
اعتمدنا في الحقائق والأرقام والسياسات على الوثائق الرسمية التالية. أمّا النصائح والأمثلة فمبنية على خبرة رانكاوي.
- [1]مقدمة إلى ملف robots.txt(يفتح في تبويب جديد)Google Search Central — Introduction to robots.txt
- [2]كيف تفسّر Google مواصفات robots.txt(يفتح في تبويب جديد)Google Search Central — How Google interprets the robots.txt specification
- [3]زواحف Google الشائعة (ومنها Google-Extended)(يفتح في تبويب جديد)Google Search Central — Google's common crawlers (incl. Google-Extended)
- [4]يوم استقلال المحتوى: لا زحف للذكاء الاصطناعي بلا مقابل (يوليو 2025)(يفتح في تبويب جديد)Cloudflare Blog — Content Independence Day: no AI crawl without compensation (July 2025)
- [5]سياسة إشارات المحتوى من Cloudflare (Content Signals)(يفتح في تبويب جديد)Cloudflare Blog — Giving users choice with Cloudflare's new Content Signals Policy
- [6]ملف /llms.txt(يفتح في تبويب جديد)llmstxt.org — The /llms.txt file
- [7]ميزات الذكاء الاصطناعي في بحث Google وموقعك(يفتح في تبويب جديد)Google Search Central — AI features and your website
- [8]ملف llms.txt لتوثيق OpenAI(يفتح في تبويب جديد)OpenAI Developers — llms.txt
- [9]ملف llms.txt لتوثيق Anthropic(يفتح في تبويب جديد)Anthropic Platform — llms.txt
- [10]ملاحظة عن القواعد غير المدعومة في robots.txt (يوليو 2019)(يفتح في تبويب جديد)Google Search Central Blog — A note on unsupported rules in robots.txt (July 2019)
- [11]معيار RFC 9309: بروتوكول استبعاد الروبوتات(يفتح في تبويب جديد)RFC 9309 — Robots Exclusion Protocol
- [12]دالة do_robots() في ووردبريس(يفتح في تبويب جديد)WordPress Developer Resources — do_robots()
- [13]تعديل robots.txt.liquid في Shopify(يفتح في تبويب جديد)Shopify Help Center — Editing robots.txt.liquid
- [14]إنشاء ملف robots.txt وإرساله(يفتح في تبويب جديد)Google Search Central — Create and submit a robots.txt file
- [15]نظرة عامة على زواحف OpenAI(يفتح في تبويب جديد)OpenAI — Overview of OpenAI crawlers
- [16]هل تزحف Anthropic إلى بيانات الويب؟(يفتح في تبويب جديد)Anthropic — Does Anthropic crawl data from the web?
- [17]زواحف Perplexity(يفتح في تبويب جديد)Perplexity — Perplexity crawlers
- [18]عن زاحف Applebot(يفتح في تبويب جديد)Apple — About Applebot
- [19]زاحف CCBot من Common Crawl(يفتح في تبويب جديد)Common Crawl — CCBot
- [20]زواحف الويب لدى Mistral AI(يفتح في تبويب جديد)Mistral AI — Web crawlers
- [21]توثيق AmazonBot(يفتح في تبويب جديد)Amazon — AmazonBot
- [22]توثيق DuckAssistBot(يفتح في تبويب جديد)DuckDuckGo Help — DuckAssistBot
- [23]تحسين ظهور متجرك في محركات البحث(يفتح في تبويب جديد)Salla Help Center — Improve your store visibility on search engines
- [24]تعديل robots.txt في زد(يفتح في تبويب جديد)Zid Help Center — robots.txt
- [25]إدارة تفضيلات محركات البحث في Blogger(يفتح في تبويب جديد)Blogger Help — Manage search engine preferences
إعداد ومراجعة محمد زكريا · آخر مراجعة 2026-11-02
اقرأ في دليل السيو
- ملف robots.txt لا يُفتح: كيف تُصلحه قبل أن يوقف Google الزحف إلى موقعك؟
- كيف تسمح لزاحف رانكاوي بفحص موقعك إذا منعه جدار الحماية؟
- هل يمنع robots.txt موقعك من الظهور في إجابات محركات الذكاء الاصطناعي؟
- هل يمنع robots.txt محركات الذكاء الاصطناعي من فتح صفحاتك عند الطلب؟
- هل أمنع زحف التدريب أو إعادة الاستخدام أو الأرشفة المفتوحة في robots.txt؟
- ما معنى سطر Content-Signal في robots.txt؟ وكيف تختار قيمه؟
- هل يحجب Cloudflare زواحف الذكاء الاصطناعي عن موقعك؟ وكيف تتحقق؟
- ما هو ملف llms.txt؟ وهل يحتاجه موقعك؟
هذا مجرد ملف واحد. ماذا عن صفحات موقعك؟
أنشئ حساباً مجانياً لنفحص موقعك في حدود خطتك: الصفحات الممنوعة من الزحف أو الفهرسة، والروابط المكسورة، والعناوين، ووصول زواحف الذكاء الاصطناعي، مع خطوات الإصلاح على منصتك.
افحص موقعك بالكامل مجاناً
Googlebot
OAI-SearchBot
PerplexityBot
Claude-SearchBot
Google-Extended