রোবটস.টেক্সট অনলাইন জেনারেটর

কিভাবে robots.txt ফাইল

• robots.txt (সব ছোট হাতের অক্ষরে) একটি ওয়েবসাইটের রুট ডিরেক্টরিতে সংরক্ষিত একটি টেক্সট ফাইল যা সাধারণত ওয়েব সার্চ ইঞ্জিনের রোমার (বা ওয়েব স্পাইডার নামেও পরিচিত) কে বলে যে ওয়েবসাইটের কোন বিষয়গুলি সার্চ ইঞ্জিন স্পাইডার দ্বারা অপ্রাপ্য হবে এবং কোনগুলি প্রাপ্য (স্পাইডার দ্বারা) হবে।
• কারণ কিছু সিস্টেমের URL গুলি কেস সেনসিটিভ, তাই robots.txt ফাইলের নাম ছোট হাতের অক্ষরে একরকম রাখা উচিত। robots.txt ওয়েবসাইটের রুট ডিরেক্টরিতে রাখা উচিত।
• যদি আপনি সার্চ ইঞ্জিনের রোবটকে সাব-ডিরেক্টরি এক্সেস করার সময় আলাদাভাবে আচরণ সংজ্ঞায়িত করতে চান, তাহলে আপনি আপনার কাস্টম সেটিংসকে রুট ডিরেক্টরিতে রোবটস.txt ফাইলে মিলিয়ে দিতে পারেন, অথবা রোবটস মেটা ডেটা ব্যবহার করতে পারেন।
• robots.txt প্রোটোকল একটি স্ট্যান্ডার্ড নয়, বরং এটি একটি প্রচলিত রীতি, তাই এটি ওয়েবসাইটের গোপনীয়তা নিশ্চিত করতে পারে না। robots.txt ফাইলটি URL পেতে স্ট্রিং তুলনা ব্যবহার করে, তাই ডিরেক্টরির শেষে স্ল্যাশ “/” এর উপস্থিতি বা অনুপস্থিতি বিভিন্ন URL নির্দেশ করে। robots.txt ফাইলে এরকম ওয়াইল্ডকার্ড ব্যবহার করা যায়, যেমন "Disallow: *.gif"।
• রোবটস প্রোটোকল হল আন্তর্জাতিক ইন্টারনেট সম্প্রদায়ে সাধারণভাবে গৃহীত নৈতিক মানদণ্ড, যা নিম্নলিখিত নীতিগুলির উপর ভিত্তি করে তৈরি করা হয়েছে: ১. অনুসন্ধান প্রযুক্তি মানুষের জন্য সেবা প্রদান করা উচিত, একই সাথে তথ্য প্রদানকারীদের ইচ্ছা সম্মান করা এবং তাদের গোপনীয়তার অধিকার রক্ষা করা; ২. ওয়েবসাইটের দায়িত্ব হল তাদের ব্যবহারকারীদের ব্যক্তিগত তথ্য এবং গোপনীয়তা নিরাপদ রাখা যা অন্যদের দ্বারা লঙ্ঘিত হয় না।

robots.txt ফাইলের বিষয়বস্তু

• অনুসন্ধান ইঞ্জিন স্পাইডারের অ্যাক্সেসযোগ্যতা বা ক্রাউলযোগ্যতা।
• অনুসন্ধান ইঞ্জিন স্পাইডার ডিরেক্টরি বা ফাইলের অ্যাক্সেসযোগ্যতার জন্য।
• ওয়েবসাইট সাইটম্যাপ sitemap পাথ সংজ্ঞায়িত।
• সার্চ ইঞ্জিন স্পাইডারের ক্রাউলিং সময় ব্যবধান সীমাবদ্ধতা।

রোবটস.টিএক্সট ফাইল জেনারেটর সম্পর্কে

• ওয়েব ইন্টারফেসের মাধ্যমে কনফিগার করতে হবে ডেটা সেট করুন, জেনারেটরের জেনারেট বাটনে ক্লিক করুন এবং নীচের টেক্সট ইনপুট বক্সে robots.txt ফাইলের বিষয়বস্তু পাবেন।
• এখন, আপনি একটি খালি টেক্সট ফাইল তৈরি করুন, নাম দিন: "robots.txt", তারপর উপরের বিষয়বস্তু কপি করে "robots.txt" এ পেস্ট করুন।
• আপনার ওয়েবসাইটের রুট ডিরেক্টরিতে "robots.txt" রাখুন, robots.txt এ অ্যাক্সেস করুন এবং নিশ্চিত করুন যে এটি অ্যাক্সেসযোগ্য (যেমন সার্চ ইঞ্জিন) অ্যাক্সেসকারীদের জন্য।