تنتهي من إنشاء خريطة الموقع، ترفع ملف sitemap.xml، ثم تتوقف قبل الخطوة الصغيرة التي تجعل كل شيء أوضح للزواحف: كيف ستعرف محركات البحث مكان الملف؟ هنا يأتي دور ملف robots.txt بسيط يحتوي على سطر Sitemap: صحيح.
هذا الدليل يشرح كيف تستخدم مولّد robots.txt لإرشاد محركات البحث إلى خريطة موقعك، وما الذي يجب أن يحتويه الملف، وكيف تتجنب الخطأ الأكثر إزعاجًا: حظر الصفحات نفسها التي تريد ظهورها في البحث.
ما وظيفة robots.txt وما حدوده؟
robots.txt ملف نصّي بسيط يعيش في جذر الدومين:
https://example.com/robots.txtوظيفته الأساسية إعطاء تعليمات للزواحف. يمكنك السماح بالزحف العام، أو حظر مسارات قليلة القيمة، أو توجيه الزواحف إلى خريطة الموقع. كثير من الروبوتات تقرأ هذا الملف قبل طلب روابط أخرى، لذلك قد يسبب الملف الخاطئ مشاكل SEO حقيقية.
لكنه ليس وسيلة أمان. قاعدة Disallow تطلب من الزواحف الملتزمة ألا تطلب مسارًا معيّنًا؛ لكنها لا تخفي المحتوى عن البشر أو المتصفحات أو الروبوتات السيئة. لو كانت الصفحة سرّية، فاحمها بتسجيل دخول أو أزلها من الويب العام أو استخدم استجابة خادم صحيحة. لا تتعامل مع robots.txt كقفل.
سطر Sitemap: الجزء الذي تحتاجه معظم المواقع
في مواقع كثيرة، يكون أفضل ملف robots.txt قصيرًا جدًا:
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlسطر Sitemap: يخبر الزواحف بمكان ملف XML الخاص بخريطة الموقع. استخدم الرابط الكامل المطلق، مع https://. يمكن أن يظهر السطر في أي مكان داخل الملف، وليس شرطًا أن يكون داخل مجموعة User-agent.
هذا السطر يساعد Google وBing وغيرهما على اكتشاف قائمة روابطك دون انتظار العثور على كل صفحة عبر الروابط الداخلية. وما زال بإمكانك إرسال الخريطة في Google Search Console. الأفضل غالبًا أن تستخدم الاثنين معًا: robots.txt للاكتشاف التلقائي، وSearch Console لمعرفة الحالة والأخطاء.
كيف تنشئ robots.txt من خريطة الموقع
أفضل سير عمل هو توليد خريطة الموقع ومقطع robots.txt المتوافق معها في نفس المكان.
- اجمع روابطك الأساسية. أدرج الصفحات التي تريد فهرستها فقط. تجنّب روابط التتبع، وصفحات الاختبار، ومسارات الإدارة، وصفحات نتائج البحث الداخلية.
- ولّد خريطة الموقع. الصق الروابط في NasrTech Sitemap Generator. الأداة تنشئ
sitemap.xmlوHTML sitemap ومقطعrobots.txtداخل المتصفح، بلا رفع وبلا تسجيل. - حدّد مكان الخريطة النهائي. غالبًا سيكون
https://example.com/sitemap.xml. - انسخ ناتج robots.txt. اجعله قصيرًا ما لم تكن لديك مسارات حقيقية تريد حظرها.
- ارفع الملفين في جذر الموقع. يجب أن يعمل
/sitemap.xmlو/robots.txtمباشرة. - اختبر الرابطين. افتحهما في المتصفح. لو ظهر تسجيل دخول أو إعادة توجيه غريبة أو 404 أو صفحة HTML بدل XML، أصلح المشكلة قبل الإرسال.
إن كنت تبدأ من الصفر، اقرأ أولًا دليل كيفية إنشاء خريطة موقع. أما إذا كانت الخريطة جاهزة، فخطوة robots.txt سريعة.
الإعداد الآمن لمعظم المواقع
معظم المواقع لا تحتاج ملفًا طويلًا. الملفات الطويلة غالبًا نتيجة نسخ إعدادات SEO من موقع آخر دون فهمها.
هذا إعداد آمن وبسيط:
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlاستخدمه عندما تكون صفحاتك العامة قابلة للزحف، وخريطة الموقع تحتوي فقط على الروابط الأساسية التي تريد فهرستها. هو ممل، واضح، وصعب إساءة فهمه.
أضف قواعد Disallow فقط عندما يكون لديك سبب. أمثلة شائعة:
| المسار | لماذا قد تحظره؟ |
|---|---|
/admin/ | مسارات الإدارة لا تحتاج زحفًا |
/cart/ | مسارات السلة شخصية وتستهلك الزحف |
/search/ | نتائج البحث الداخلية قد تنتج صفحات ضعيفة ومكررة |
/?sort= | روابط الفرز والتصفية قد تضاعف نسخ الصفحة نفسها |
حظر مسار لا يزيله من فهرس Google إذا كان معروفًا بالفعل. للإزالة أو noindex تحتاج تحكمًا على مستوى الصفحة وسلوك HTTP صحيح. robots.txt يتحكم في الزحف، لا كل نتائج الفهرسة.
أخطاء تكسر SEO بهدوء
أخطر سطر غالبًا هو:
Disallow: /هذا يطلب من الزواحف ألا تطلب أي شيء تحت الدومين. قد يكون مفيدًا لموقع اختبار خاص. لكنه على موقع الإنتاج قد يقطع الزحف عن الموقع كله. قبل نشر أي ملف مولّد، ابحث عن هذا السطر وتأكد أنه مقصود فعلًا.
وانتبه أيضًا إلى:
- حظر ملف الخريطة نفسه. إذا حظرت المجلد الذي يوجد فيه
sitemap.xml، قد لا تتمكن الزواحف من قراءته. - استخدام رابط Sitemap نسبي. اكتب
Sitemap: https://example.com/sitemap.xmlوليس/sitemap.xml. - الإشارة إلى دومين قديم. يحدث هذا بعد النقل من دومين لآخر أو من غير www إلى www.
- إدراج روابط لا تريد فهرستها. خريطة الموقع قائمة توصية. اجعلها نظيفة.
- نسيان HTTPS. إذا كان موقعك يعمل على HTTPS، فليكن رابط الخريطة كذلك.
بعد النشر، تابع بدليل إرسال خريطة الموقع إلى Google لمعرفة معنى حالة Success في Search Console.
قائمة فحص قبل النشر
قبل رفع robots.txt، مرّ على هذه النقاط:
- هل يفتح
https://yourdomain.com/robots.txtدون تسجيل دخول؟ - هل يفتح رابط الخريطة المكتوب داخل الملف؟
- هل يعرض ملف الخريطة XML فعلًا وليس صفحة 404 جميلة؟
- هل يخلو ملف الإنتاج من
Disallow: /غير المقصودة؟ - هل روابط Sitemap مطلقة وتستخدم HTTPS؟
- هل تحتوي الخريطة على صفحات أساسية قابلة للفهرسة فقط؟
إذا كانت الإجابات كلها نعم، فإعداد الاكتشاف لدى الزواحف غالبًا في حالة جيدة.
أسئلة شائعة
هل أحتاج robots.txt إذا كنت أرسلت خريطة الموقع إلى Google؟
نعم، ما زال مفيدًا. الإرسال عبر Search Console يعطي Google مسارًا مباشرًا وتقارير حالة. أما سطر Sitemap داخل robots.txt فيعطي الزواحف تلميح اكتشاف تلقائيًا، حتى لمحركات بحث لم تنشئ فيها حسابًا.
هل يجبر robots.txt Google على فهرسة صفحاتي؟
لا. خريطة الموقع تساعد على الاكتشاف، وrobots.txt يشير إليها، لكن الفهرسة تعتمد أيضًا على جودة المحتوى، وإمكانية الوصول، والروابط الداخلية، وإشارات canonical، وقرارات الزاحف.
هل أحظر الصفحات المكررة عبر robots.txt؟
أحيانًا، لكن بحذر. في كثير من حالات التكرار أو الفلاتر، قد تكون canonical tags أو noindex أو ضبط المعاملات أفضل. حظر الزحف قد يمنع الزاحف من رؤية إشارات الصفحة نفسها.
هل أداة NasrTech خاصة؟
نعم. Sitemap Generator يعمل داخل متصفحك. قائمة الروابط لا تُرفع إلى خادم، والأداة تنسق خريطة XML وHTML ومقطع robots.txt محليًا.
الخلاصة
ملف robots.txt الجيد غالبًا قصير. اسمح للزحف إلى الموقع العام، وأشر إلى sitemap.xml، ولا تضف قواعد قوية إلا إذا كنت تعرف سببها. استخدم مولّد robots.txt لتقليل أخطاء التنسيق، ثم اختبر رابطَي /robots.txt و/sitemap.xml قبل الإرسال. ملف صغير، أثره كبير، ويستحق الدقة.
