robots.txt（بأحرف صغيرة جميعها） هو ملف نصي يتم تخزينه في جذر موقع الويب. عادةً ما يخبر هذا الملف حواسيب التنقل لمحركات البحث (المعروفة أيضًا باسم العناكب الإنترنت) بأي محتوى من موقع الويب لا يجب أن يتم الحصول عليه من قبل عناكب محركات البحث، وأي محتوى يمكن أن يتم الحصول عليه (من قبل العناكب).
نظرًا لأن بعض أنظمة الـ URL حساسة لحالة الأحرف، يجب أن يكون اسم ملف robots.txt موحدًا بأحرف صغيرة. يجب وضع ملف robots.txt في الدليل الجذر للموقع.
إذا كنت ترغب في تحديد سلوك محرك البحث عندما يزور الروبوتات الفرعية للدليل بشكل منفصل، يمكنك دمج الإعدادات المخصصة في ملف robots.txt في الدليل الجذر، أو استخدام بيانات تعريف الروبوتات.
بروتوكول robots.txt ليس معيارًا، بل مجرد تقليد متفق عليه، لذا لا يمكن ضمان خصوصية الموقع. لاحظ أن robots.txt يستخدم مقارنة السلاسل لتحديد ما إذا كان سيتم جلب عنوان URL، لذا فإن وجود شرطة "／" في نهاية الدليل أو عدم وجودها يمثل عناوين URL مختلفة. يسمح robots.txt باستخدام أحرف البدل مثل "Disallow: *.gif".
بروتوكول روبوتات هو معيار أخلاقي متبع في عالم الإنترنت الدولي، وقد تم إنشاؤه بناءً على المبادئ التالية: 1. يجب أن تخدم تقنيات البحث البشرية، وفي نفس الوقت تحترم رغبات مزودي المعلومات وتحمي حقوقهم في الخصوصية؛ 2. لدى المواقع الإلكترونية المسؤولية عن حماية معلومات المستخدمين وخصوصياتهم من التعرض للإنتهاك.
محتوى ملف robots.txt
إمكانية الوصول أو التنقيب لعناكب محركات البحث.
إمكانية الوصول للمحركات البحث إلى الدلائل أو الملفات.
تعريف مسار خريطة موقع الويب.
الحد الزمني لفترات زحف العنكبوت في محرك البحث.
عن مولد ملف robots.txt
بعد تعيين البيانات التي تريد تكوينها من خلال واجهة الويب،
اضغط على "إنشاء" في المولد للحصول على محتوى ملف robots.txt في مربع النص الموجود في أسفل الصفحة.
الآن، قم بإنشاء ملف نصي فارغ وسمه: "robots.txt"، ثم انسخ والصق المحتوى المذكور أعلاه في "robots.txt".
ضع "robots.txt" في الدليل الجذر لموقعك، وقم بزيارة robots.txt للتأكد من أنه يسمح للزوار (مثل محركات البحث) بالوصول إليه.