يتسأل العديد من أصحاب المدونات والمواقع المبتدئين عن ماهو ملف روبوتس تكست robots اللذى ينصح بأضافته للموقع لكى يظهر فى محركات البحث وفى هذه التدوينة سنتعرف شرح robots.txt وماهى الفائدة منه بطريقة مبسطة ان شاء الله تعالى
ماهو ملف robots.txt ؟
ببساطة هو ملف يقوم بأضافته اصحاب المواقع والمدونات فى الموقع الخاص بهم لتعريف محركات البحث بكيفية تصفحهم الموقع من فهرسة صفحات معينة وعدم أرشفة اخرى مثل عدم فهرسة صفحات الارشيف او البحث وصفحات بيانات العملاء ان كانت التعاملات مالية او حتى منع محركات بحث بيعنها من الدخول الى الموقع كمثال منع دخول محرك بحث بينج Bing الخاص بي ياهو Yahoo والسماح فقط ببحث جوجل Google فهذا الملف هو عبارة عن خط مسار تحدده لمحركات البحث يجب عليها اتباعه
ماهى فائدة ملف روبوتس robots.txt لمدونتى او موقعى ؟
تتعدد فوائد هذا الملف فيكفى انه يمنع فهرسة صفحات الارشيف حتى لا يتم احتساب محتوى متكرر فى محركات البحث مما يؤثر على موقعك فى ظهوره فى الصفحات الاولى .كما يمكننا منع شبكات اعلانية من الوصول الى الموقع الخاص بك وتحليل اهتمامات الزوار.
ايضآ يمكننا منع فهرسة محرك البحث الخاص بالمدونة الخاصة بنا حتى لا تظهر نتائج البحث دون محتوى فيخرج الزائر من الموقع بشكل سريع يؤثر على ثقة محركات البحث بالموقع الخاص بنا او ما يسمى بمعدل الأرتداد .
والعديد من الميزات اللتى يقدمها هذا الملف واللتى يمكن استخدامها فى رفع مستوى الموقع خاصة بالمحترفين اما بالنسبة للمستخدم العادى فهو كافى له اضافته فقط .
ويمكننا معرفة المذيد من المعلومات عبر هذا الرابط التالى
من امثلة ملف robots
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://3rbaway.blogspot.com/sitemap.xml
وهذا الملف المستخدم بمدونة عرباوى وهى على استضافة بلوجر المجانية ويمكنكم معاينة الملف بشكل مباشر عن طريق الضغط على الرابط التالى
وقد يختلف هذا الملف بين المنصات المختلفة مثل الوردبريس او المنتديات والمواقع الاخبارية
ويمكننا التعرف على العديد من تلك الاشكل عن طريق الرابط التالى