Generador en línea de robots.txt

¿Qué es el archivo robots.txt?

• robots.txt (en minúsculas) es un archivo de texto almacenado en el directorio raíz de un sitio web. Generalmente, indica a los rastreadores de motores de búsqueda (también conocidos como arañas web) qué contenido del sitio no debe ser accedido por los rastreadores de los motores de búsqueda y cuál sí puede ser accedido por ellos.
• Debido a que algunas URL en los sistemas distinguen entre mayúsculas y minúsculas, el nombre del archivo robots.txt debe ser siempre en minúsculas. El archivo robots.txt debe colocarse en el directorio raíz del sitio web.
• Si desea definir el comportamiento del rastreador de un motor de búsqueda cuando accede a un subdirectorio de forma individual, puede combinar la configuración personalizada en el archivo robots.txt en el directorio raíz, o utilizar metadatos de robots.
• El protocolo robots.txt no es una norma, sino simplemente una convención, por lo que no puede garantizar la privacidad del sitio web. Tenga en cuenta que robots.txt utiliza la comparación de cadenas para determinar si se obtiene una URL, por lo que la presencia o ausencia de una barra diagonal "／" al final del directorio representa diferentes URLs. robots.txt permite el uso de comodines como "Disallow: *.gif".
• El protocolo de robots es una norma moral aceptada internacionalmente en el ámbito de Internet, basada en los siguientes principios: 1. La tecnología de búsqueda debe servir a la humanidad, respetar la voluntad de los proveedores de información y proteger su derecho a la privacidad; 2. Los sitios web tienen la obligación de proteger la información personal y la privacidad de sus usuarios de ser violadas.

contenido del archivo robots.txt

• Accesibilidad o rastreabilidad de los motores de búsqueda.
• Accesibilidad de los motores de búsqueda a los directorios o archivos.
• Definición de la ruta del mapa del sitio (sitemap) del sitio web.
• Límite de intervalo de tiempo para el rastreo de arañas de motores de búsqueda.

Generador de archivo robots.txt

• Configura los datos que deseas configurar a través de la interfaz web, haz clic en "Generar" en el generador y obtendrás el contenido del archivo robots.txt en el cuadro de texto de entrada en la parte inferior.
• Ahora, crea un archivo de texto en blanco y nómbralo: "robots.txt". Luego, copia y pega el contenido anterior en "robots.txt".
• Coloca el archivo "robots.txt" en la raíz de tu sitio web, y accede a robots.txt para asegurarte de que permita a los visitantes (como los motores de búsqueda) acceder a él.