ملف Robots.txt مخصص لمدونات بلوجر

1- ما هي Robots.txt وما هو دورها؟

ملف روبوتس Robots.txt هو كود بسيط يتم إضافته لمدونات بلوجر من خلال الإعدادت للتحكم فيما يتم تصنيفه من قبل محركات البحث. إذ أن آليات الزحف الخاصة بهذه المواقع مثل جوجل، ياهو، وبينج تقوم بالتأكد من وجود ملف Robots.txt قبل الزحف على محتويات الموقع وتصنيفها. فباستعمال ملف Robots.txt بإمكانكم منع جوجل مثلا من تصنيف صفحة غير مهمة مثل صفحة البحث، الأمثلة المرتبطة بالدروس...
ورغم أن الكثير من مستعملي مدونات بلوجر يهملون هذا الأمر، إلا أن ملف Robots.txt له دور مهم في الحفاظ على مصداقية المدونة وحماية زوارها القادمين من محركات البحث لكي لا يتم توجيههم نحو الصفحات الغير المهمة.

2- كيف يبدو كود Robots.txt:

الكود الخاص بRobots.txt   على مدونات بلوجر يبدو بهذا الشكل:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

لنقم بتوضيح وشرح مكوناته:
هذا الكود يتكون من ثلاثة أجزاء، لنقم بشرحها قبل المرور لشرح كل واحد على حدى. ثم سنرى طريقة عمل ملف Robots.txt خاص بكم وإضافته لمدونات بلوجر.

    * User-agent: Mediapartners-Google
هذا الكود يتعلق أساسا بإعلانات جوجل أدسنس، بحيث يسمح لهم بتحليل محتوى المدونة وتقديم الإعلانات بشكل أفضل.

    *  User-agent: *
       هذا الكود يتم كتابته لجميع خيارات ملف Robots.txt ثم نضيف بعد ذلك كود المنع أو السماح.
- Disallow: /search 
هذا الكود يمنع آليات البحث من تصنيف كل ما يتعلق بالفئات. حيث أن كل الصفحات التي تكون بشكل هذا الرابط لن يتم تصنيفها. شاهدوا مثال هنا لرابط يتعلق ب سيو SEO.
http://www.folfoly.com/search/label/SEO
لو قمنا بحذف Disallow: /search فسيتم تصنيف جميع الصفحات.

هنا Allow: / تعني السماح بتصنيف كل محتويات الصفحة الرئيسية.

- منع الزحف على صفحة محددة:
هذا الكود يمنع الزحف على صفحة محددة:
Disallow: /2013/03/post-url.html

لتسهيل الأمر عليكم، قوموا بنسخ رابط الصفحة ثم قوموا بحذف إسم المدونة للإبقاء على مؤخرة الرابط فقط.

 * Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
هذا الكود يسمح لآليات البحث بالوصول لكافة روابط المدونة، والجيد بخصوص خارطة المدونة هو أن مواقع البحث تستطيع الوصول لكافة روابط المدونة بدون استثناء.
للوصول لأكبرعدد ممكن من المشاركات يكفي تغيير الكود بهذه الطريقة:
 Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

3- إضافة  Robots.txt لمدونات بلوجر:

بعد توضيحنا كيفية التحكم بملف Robots.txt سنرى طريقة إضافته لمدونات بلوجر. وللقيام بذلك ستتبعون الخطوات التالية:
من واجهة المدونة ننقر على إعدادت، ثم تفضيلات البحث، تحرير ملف robots.txt مخصص، ننقر نعم لتشغيلها ونكتب الكود في الإطار:

طريقة إضافة ملف روبوتس  Robots.txt  لمدونات بلوجر

بعد إضافة الكود قوموا بحفظ التغييرات وقد انتهيتم

4- كيف تتطلع على ملف Robots.txt الخاص بمدونتك:

للإطلاع على ملف Robots.txt  الخاص بمدونة فلفلاي:
http://www.folfoly.com/robots.txt
بإمكانكم نسخه واستعماله بعد تغييره بما يناسبكم.