ملف robots.txt هذا الملف يستخدم غالباً في ترتيب صفحات الموقع والطريقة الذي تريد ان يقوم بها محرك البحث باظهار الصفحات في نتائجه، وهذه الصفحات مثل صفحة اتصل بنا او اقسام المدونة او اي صفحة اخرى. ملف robots.txt يحتوي على اوامر المنع والسماح بالزحف لروابط او لصفحات المدونة من ظهورها واخفائها في محرك البحث.
المحتويات
 |
| انشاء ملف robots.txt |
ان كتابة اوامر ملف robots.txt بشكل خاطئ قد تسبب لك مشاكل في فهرسة الموقع على محركات البحث. بهذه المقالة سنوضح بالتفصيل ونفهم ملف robots.txt وفائدته للمواقع، ومعرفة كيفية كتابة هذا الملف بشكل صحيح ليصبح جاهزاً للمدونة واداوات مشرفي المواقع.
تابع هذا الموضوع للنهاية لمعرفة كيف تنشئ هذا الملف بنفسك وبالشكل الصحيح بدون اي اخطاء.
ما هو robots.txt
ملف robots.txt هو ملف عادي نصي بامكانك من خلاله كتابة بداخله اوامر وهذه الاوامر تعني "عرض هذا الشي" او "لا تعرض هذا الشي" من الزحف او الوصول وفهرسة صفحة معينة من المدونة على محركات البحث. مثلاً صفحة من نحن او اتصل بنا او سياسة الخصوصية او الاقسام او اي صفحة بالمدونة سواء تريد ظهورها في محركات البحث او لا تريد ظهورها.كيفية انشاء robots.txt
سنتعلم خطوة بخطوة كيفية كتابة الاوامر وانشاء ملف robots.txt جديد خالي من الاخطاء.اولاً: انشئ ملف نصوص
على سطح المكتب وقم بتسميته "robots.txt".ثم ضع رمز السطر هذا في بداية الملف.
User-agent: Mediapartners-Google
Disallow:
ما هو Mediapartners-Google
هذا الرمز للمدونات او المواقع التي تُستخدم اعلانات جوجل ادسنس على مواقعهم للسماح لها بعرض الاعلانات على الموقع. فإذا كنت تضع الاعلانات في المدونة الخاصة بك يجب عليك ان تضع هذا الرمز.اما اذا كنت لا تستخدم الاعلانات على الموقع يمكنك ازالتها او وتركها لن تؤثر.
ثانياً: انسخ هذا السطر وضعه في اسفل رمز السطر السابق.
User-agent: *
ما هو User-agent: * او وكيل المستخدم
يحدد وكيل المستخدم او User-agent: * نوع مطابقة برامج الزحف اثناء كتابة قواعد الزحف للمدونة.ثالثاً: ناتي للاوامر الذي سنقوم من خلالها التحكم في الصفحات الذي لا نريد الزحف اليها وفهرستها في نتائج البحث.
ضع هذا الامر في اسفل السطر السابق.
ماذا يعني هذا الامر؟ هذا الامر يعني "عدم السماح - Disallow" يقوم باخفاء ومنع الوصول وعرض اي صفحة بعد كلمة "search" في نتائج البحث. مثل الاقسام.Disallow: /search
رابعاً: اذا اردت منع صفحة مثل اتصل بنا او سياسة الخصوصية من الظهور على محركات البحث ، انسخ هذه الامر وتعديله بعنوان رابط الصفحة الذي تريد عدم السماح له بالعرض.
Disallow: /p/blog-page_83.html
لمنع الفهرسة على عدة صفحات كرر الامر باكثر من سطر بهذا الشكل.
خامساً: امر السماح بالظهور في محرك البحث هذا الامر على عكس السابق ولكن نفس الاستخدام بامكانك منه السماح لصفحة او قسم معين بالظهور على محرك البحث. بمجرد وضع اسم نهاية عنوان الرابط بعد علامة " / ".
Allow: /
سادساً: ملف السايت ماب.
ما هو sitemap.xml
هذا الملف يحتوي على جميع روابط صفحات ومحتويات الموقع فتقوم محركات البحث بالزحف اليه وقرائته وفهرسة ما بداخله واظهاره على نتائج البحث.انسخ والصق الرابط في ملف robots.txt مع استبدال "****" بعنوان رابط الموقع او المدونة.
اذا كنت تملك دومين مدفوع اختار هذا الرابط.Sitemap: https://****.blogspot.com/sitemap.xml
Sitemap: https://****.com/sitemap.xml
الشكل النهائي الذي سيظهر عليه ملف robots.txt.
User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchDisallow: /p/blog-page_83.htmlAllow: /Sitemap: https://cnetjo.blogspot.com/sitemap.xml
للتأكد من صحة الملف على الموقع.
ادخل على هذا الرابط مع تغيير "****" لرابط موقعك.
او هذا الرابط اذا كان الدومين الخاص بموقعك مدفوع.https://****.blogspot.com/robots.txt
https://****.com/robots.txt
الخلاصة: الملف robots.txt مهم وله فائدة لمشرفي المواقع فهو يسرع ارشفة المواضيع على محركات البحث والتحكم في اظهار واخفاء وترتيب صفحات الموقع او المدونة في نتائح البحث.
في أمان الله.
هناك 0 من التعليقات: