Gerador online de robots.txt

O que é o arquivo robots.txt

• robots.txt（em minúsculas) é um arquivo de texto armazenado no diretório raiz de um site, que geralmente informa aos rastreadores de mecanismos de busca (também conhecidos como aranhas da web) quais conteúdos do site não devem ser acessados pelos rastreadores de mecanismos de busca e quais podem ser acessados (pelas aranhas).
• Como algumas URLs nos sistemas são sensíveis a maiúsculas e minúsculas, o nome do arquivo robots.txt deve ser sempre em minúsculas. O robots.txt deve ser colocado no diretório raiz do site.
• Se desejar definir individualmente o comportamento do robô de busca ao acessar um subdiretório, pode combinar as configurações personalizadas no arquivo robots.txt na raiz do diretório ou utilizar metadados robots.
• O protocolo robots.txt não é uma norma, mas sim uma convenção, portanto, não garante a privacidade do site. Note que o robots.txt usa comparação de strings para determinar se deve ou não obter uma URL, então a presença ou ausência de uma barra "/" no final do diretório representa URLs diferentes. O robots.txt permite o uso de curingas como "Disallow: *.gif".
• O protocolo Robots é uma norma moral prevalente na comunidade internacional da Internet, estabelecida com base nos seguintes princípios: 1. A tecnologia de busca deve servir aos seres humanos, respeitar a vontade dos fornecedores de informações e proteger seus direitos de privacidade; 2. Os sites têm o dever de proteger as informações pessoais e a privacidade de seus usuários contra violações.

conteúdo do arquivo robots.txt

• A acessibilidade ou rastreabilidade dos motores de busca.
• Acessibilidade de um motor de busca para diretórios ou arquivos.
• Definição do caminho do mapa do site.
• Limitações de intervalo de tempo para a indexação de motores de busca.

Gerador de arquivo robots.txt

• Configure os dados que deseja no interface web, clique em "Gerar" no gerador e o conteúdo do arquivo robots.txt será exibido na caixa de texto abaixo.
• Agora, você cria um arquivo de texto em branco, nomeado como: "robots.txt", e depois copia e cola o conteúdo acima para o "robots.txt".
• Coloque o "robots.txt" no diretório raiz do seu site, acesse o robots.txt e certifique-se de que ele permite que os visitantes (como motores de busca) acessem.