ملف robots txt من أهم الملفات فيما يتعلّق بالسيو وظهور الموقع الإلكتروني في محركات البحث، فإذا مُا كُنت مهتم بالتحسين من ظهور موقعك على محركات البحث فلابد من التعرف على كيفية اختبارك لملف روبوتس تكست والتعديل عليه لحل مشاكل السيو على الموقع.
ما هو ملف robots txt؟
ملف robots txt هو ملف نصي يشتمل على مجموعة من الأوامر البرمجية التي ترشد روبتات محركات البحث حول كيفية الزحف وفهرسة الصفحات ضمن الموقع الإلكتروني، إذ يُستخدم لحجب بعض الصفحات في الموقع الإلكترونية من عملية الزحف لكيلا يتم إظهارها في صفحة النتائج.
على سبيل المثال منع فهرسة صفحة الدفع في المتاجر الإلكترونية لإحتوائها على بعض المعلومات المهمة حول حسابات العملاء. وكل ذلك من خلال مجموعة من الأوامر مثل “follow” أو “nofollow” لحظر عناكب البحث من فهرسة الصفحة. إذ تكون الصيغة الاساسية الخاصة به كالآتي:
User-agent: [user-agent name]Disallow: [URL string not to be crawled]
الجدير بالإشارة أن ملف robots txt يحسّن من سيو الموقع من خلال التسريع من عملية الفهرسة بمنع الصفحات الزائدة أو التي لا تحتاج لظهورها في محرك البحث، كما أن محركات البحث أو العناكب لديها عدد عمليات زحف معينة لكل موقع وفي حال كانت الصفحات كثيرة فهذا الأمر سيقلل من ظهور موقعك في محركات البحث.
في نفس الوقت من خلاله ستقلل من الضغط على الخادم من خلال تقليل أوامر الزحف وفهرسة المحتوى. لتحظى بموقع سريع وقوي على محركات البحث.
– ما هو الـ user agent (وكيل المستخدم)؟
بالتأكيد عندما اطلعت على رابط ملف robots txt وجدت عبار user agent وهو في الاصل ملف يساعج على التعرف على نوع الروبوتات الزاحفة إلى الموقع الإلكتروني. فيتم كتابة مجموعة من التعليمات البرمجية لمساعدة الروبوتات من التمييز بين الأوامر المختلفة على سبيل المثال، إذا أراد المسؤول ظهور صفحة معينة في نتائج بحث Google وليس في عمليات بحث Bing، فيمكنه تضمين مجموعتين من الأوامر في ملف الروبوتس: مجموعة واحدة مسبوقة بـ “User-agent: Bingbot” ومجموعة واحدة يسبقه “وكيل المستخدم: Googlebot”. وإليك محرك بحث والبوتات التي يستخدمها:
- Googlebot
- Googlebot-Image (للصور)
- Googlebot-أخبار (للأخبار)
- Googlebot-Video (للفيديو)
> Bing
- Bingbot
- MSNBot-Media (للصور والفيديو)
- Baidu
- Baiduspider
– إقراء أيضاً: شرح أداة مشرفي محرك البحث جوجل Google Search
– إقراء أيضاً: شرح أداة مشرفي المواقع بينج وطريقة استخدامها
– أمثلة على ملف robots txt
لكي يكون لديك معرفة بما يشتمله الملف من أكواد وأوامر لابد من أن تطلع إلى بعض الأمثلة:
فلنفترض أن رابط الموقع الإلكترونية هو webwiner.com
ملف robots txt سيكون: www.webwiner.com/robots.txt
منع عناكب البحث من الزحف إلى كل محتوى الموقع:
User-agent: * Disallow: /
من خلال هذه الصيغة سيتم منع كل عناكب البحث من الوصول إلى صفحات الموقع الإلكترونية بما في ذلك الصفحة الرئيسية على الرابط webwiner.com.
السماح لكل عناكب البحث للوصول إلى صفحات الموقع
User-agent: * Disallow:
هذا الأمر في ملف الروبوتس سيمنح لعناكب البحث الأذن للذحف وفهرسة كل صفحات الموقع الإلكتروني.
حظر عناكب البحث من ملف معين
User-agent: Googlebot Disallow: /example-subfolder/
ستمنع من خلال هذا الأمر كل عناكب البحث من فهرسة محتواك االمحتوي على سلسة عنوان webwiner.com\example-subfolder
حظر عناكب البحث من الزحف لصفحة معينة
User-agent: Bingbot Disallow: /example-subfolder/blocked-page.html
من خلال هذا الأمر ستمنع عناكب البحث من الوصول إلى الصفحة المحددة على الرابط
webwiner.com/example-subfolder/blocked-page.html
السماح لعناكب البحث لفهرسة المحتوى المرفوع على الموقع
Allow: /wp-content/uploads/
عبر الأمر السابق يتم السماح لعناكب البحث برؤية الملفات المرفوعة مثل وسائط الصور والفيديو من خلال الأمر سماح Allow لمجلد uploads أسفل المجلد الأب wp-content.
منع عناكب البحث من رؤية ملف الدخول إلى الموقع
إذا ما كان موقعك الإلكتروني يعمل على ووردبريس، فبإمكانك الاعتماد على ملف الروبرت تكست في منع فهرسة صفحة الدول إلى موقعك لضمان المزيد من الأمان.
ويبدو ملف robots txt بالشكل التالي:
قد يهمك: طريقة إنشاء ملف السايت ماب وأنواع خريطة الموقع sitemap
– كيف يعمل ملف robots.txt؟
في البداية يجب أن نشير إلى طريقة عمل محركات البحث نفسها إذا لديها وظيفتين أساسيتين وهما:
- الزحف إلى صفحات الموقع الإلكتروني.
- فهرس المحتوى الموجود على الموقع وترتيبه على صفحة النتائج لإظهاره للمستخدمين.
للزحف إلى موقعك الإلكتروني تعتمد محركات البحث على مجموعة من البرمجيات يُطلق عليها عناكب البحث، التي تقوم بالزحف على الموقع الإلكتروني والإطلاع على كل الملفات والمحتوى المنشور من أجل تجهيزه لإظهاره في صفحة النتائج.
وفي أثناء ذلك ينظم ملف الروبوتس عملية الزحف هاته بمنح الإذن للوصول إلى الصفحات المتاحة ومنعها من زحف الصفحات التي منعتها من قبلك.
ما هي فوائد ملف robots txt؟
لدى ملف روبوت تكست مجموعة من الفوائد التي تطال الموقع الإلكترونية والمنظمة من عملية الزحف وهي:
1- حل مشكلة المحتوى المكرر
لأن الروبوتات يمكنها ان تمنع فهرسة الصفحات فبإمكانك الاعتماد عليها في حل مشكلة فهرسة المحتوى المكرر التي تقلل من ترتيب الموقع على محركات البحث ومن ثم منع فهرسة الصفحات ذات المحتوى المكرر. وقد يكون قسم كامل أو صفحة أو مقال أو ملف محدّد ضمن الموقع.
2- المحافظة على خصوصية المستخدمين
يوجد بعض الصفحات المحتوية على تفاصيل حساسة للغاية وظهورها في محركات البحث سيتسبب في مشاكل للمستخدمين. ومن أجل توفير بيئة أمنة سيتوجب عليك ضبط ملف روبوتس تكست لحظر هذا المحتوى بالكامل.
3- تقليل الحمل على الخادم
كلما كان المحتوى كثيف كانت عملية الزحف متواصلة ما سيضغط على الخادم، وللتحسين من أداء الخادم والموقع عادة سيتوجب عليك حظر الصفحات غير الضرورية من خلال ملف الروبوتس.
كيفية اختبار وإنشاء ملف robots txt
“في عالم الويب، يعد ملف robots.txt أداة قوية تسمح لك بالتحكم في كيفية تفاعل محركات البحث مثل جوجل مع موقعك. يمكنك استخدامه لتوجيه محركات البحث إلى الصفحات التي تريد أن تكون مؤهلة للفهرسة، وتجنب فهرسة صفحات تعتبر غير مهمة.
سنلقي نظرة عميقة على كيفية اختبار الملف الخاص بك للتأكد من أنه يعمل بشكل صحيح، وكيفية إنشاء روبوتس فعال يعزز SEO لموقعك.”
لتسهيل عليك انسخ الكود التالي وضعه في ملف الروبوتس الخاص بك ولكن لا تنسى ان تبدل رابط موقعنا وتضع رابط موقعك انت فيه
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://webwiner.com/wp-sitemap.xml
Sitemap: https://webwiner.com/sitemap.xml
– إختيار ملف robots txt
إذا ما كُنت لست مُتأكد من إذا كان ملفك الخاص بك يعمل أم لا، فيوجد طريقة سهّلة تُمكّنك من اختباره من خلال إضافة /robots.txt إلى نهاية رابط الموقع على سبيل المثال:
https://www.webwiner.com/robots.txt
لتظهر لك تفاصيل الملف كالآتي:
إذا لم تظهر الصفحة السابقة فهذا يعني أنه ليس لديك ملف سابق للروبوتس على موقعك.
– إنشاء ملف robots.txt
إذا وجدت أنه ليس لديك ملف روبوتس تكست على الموقع أو تريد تغيير الكلف بإضافة أو التعديل على الأوامر العادية فبإمكانك الشروع في الخطوات الموضحة في الصفحة التالية، وبإمكانك الاطلاع على تقرير ملف robots txt للتأكد من أنه لا يوجد مشاكل على موقعك الإلكتروني.
أفضل النصائح للاستفادة من ملف الروبوتس
في هذه الجزئية من المقال سنتعرف على بعض النصائح التي تساعدك على تحقيق أفضل النتائج من ملف الربوت تكس الخاص بك، وهي:
تأكد من عدم منع عناكب البحث من الزحف على محتوى وصفحات الموقع الإلكتروني التي ترغب في ظهورها على محركات البحث. كما عند إنشاء الملف الخاص بك يجب تسمية الملف باسم robots.txt، وإلا لن يتم اعتماده من قبل عناكب البحث.
– استخدم Disallow لمنع المحتوى المكرر
إذا ما كان هناك بعض المحتوى المكرّر على موقعك الإلكتروني، فمن خلال أمر Disallow ستعمل على منع عناكب البحث من الوصول إلى المحتوى. ويجب أن تعلم أن هذه المشكلة دائمة الحدوث وخاصة في المحتوى المتشابهه المتسببة في تقليل ترتيب الموقع في محركات البحث.
– عدم حظر الملفات المصدرية
الكثير من أصحاب المواقع أو متخصصي السيو يقعون في مشاكل كبيرة تتمثل في حظر ملفات JavaScript وCSS الخاصة بالموقع من خلال الروبوتس الخاص بهم. وهذا يعني عدم فهرسة صفحات الموقع بالكامل.
– استخدام الحروف الصحيحة
ملف Robots.txt حساس لحالة الأحرف، ويجب تسميتة باسم “robots.txt” (لا توجد أشكال أخرى) فالكتابة بالأحرف الكبيرة الصحيحة للدليل والدليل الفرعي وأسماء الملفات شيء مهم للغاية.
ختامًا، ملف robots txt من الجوانب المُهمة للغاية والمؤثرة على ظهور موقعك الإلكتروني على محركات البحث، وإعداده بالطريقة السيئة ومن دون احترافية سيؤثر سلبيًا على موقعك وظهوره لللمستخدمين في صفحة النتائج.
إقراء أيضاً: تكلفة تصميم موقع الكتروني: كيف تصمّم موقعك باقل التكاليف
الأسئلة الشائعة
ملف الـ sitemap يعمل كدليل لعناكب البحث للوصول إلى المحتوى وإفادتها بالتغييرات والتحديثات لاكتشاف المحتوى الحديث لإظهاره في نتائج البحث. أما ملف الروبوتس تكست هو ملف مخصص لحجم صفحات أو محتوى معين عن عناكب البحث.
هذا الأمر يمنع كل عناكب البحث من فهرسة محتوى الموقع، ما سيؤدي إلى التقليل من عدد الزيارات القادمة من صفحة النتائج الخاصة بمحركات البحث.
عندما تضيف أمر Allow ضمن ملف الروبوتس الخاص بك ستمنح لعناكب البحث الإذن للوصول إلى المحتوى وفهرسته وترتيبه في محركات البحث.
***********************************
