Генератор robots.txt онлайн

Что такое файл robots.txt

• robots.txt (все буквы в нижнем регистре) — это текстовый файл, который обычно находится в корневом каталоге веб-сайта. Он сообщает поисковым системам и их роботам (также известным как пауки), какие части сайта не должны быть доступны для сканирования поисковыми роботами, а какие могут быть доступны.
• Поскольку некоторые системы чувствительны к регистру URL, имя файла robots.txt должно быть в нижнем регистре. Файл robots.txt должен находиться в корневом каталоге сайта.
• Если вы хотите отдельно определить поведение поискового робота при доступе к подкаталогу, то можете объединить свои настройки в robots.txt в корневом каталоге или использовать метаданные robots.
• Протокол robots.txt не является стандартом, а лишь обычаем, поэтому он не гарантирует конфиденциальность сайта. Обратите внимание, что robots.txt использует сравнение строк для определения, следует ли получать URL, поэтому наличие или отсутствие косой черты «/» в конце каталога обозначает разные URL. В robots.txt разрешено использование подстановочных знаков, таких как «Disallow: *.gif».
• Протоколы роботов являются общепринятой моральной нормой в международном интернет-сообществе и основаны на следующих принципах: 1. Технологии поиска должны служить человечеству, уважать волю поставщиков информации и защищать их право на неприкосновенность частной жизни; 2. Сайты обязаны защищать личную информацию и частную жизнь своих пользователей от посягательств.

содержимое файла robots.txt

• Доступность или индексируемость поисковых роботов.
• Поисковые роботы проверяют доступность каталогов или файлов.
• Определение пути карты сайта sitemap.
• Ограничение интервала времени, через который поисковые роботы осуществляют сканирование.

О генераторе файла robots.txt

• Настроив данные для конфигурации через веб-интерфейс, нажмите кнопку "Сгенерировать" в генераторе, чтобы получить содержимое файла robots.txt в текстовом поле внизу.
• Теперь создайте пустой текстовый файл и назовите его: «robots.txt», затем скопируйте и вставьте приведенный выше текст в файл «robots.txt».
• Поместите файл "robots.txt" в корневую директорию вашего сайта. Затем посетите robots.txt, чтобы убедиться, что он доступен для посетителей (например, поисковых систем).