Robots.txt generador
Construir reglas de rastreo y declaraciones de mapa de sitio de una forma.
Tus datos
Tus resultados
Listo cuando lo necesitesTus resultados aparecerán aquí.
Cómo funciona
Generar un grupo de agentes de usuario con caminos explícitos Permitir/Desactivar y declaraciones de mapas de sitio absolutos, rechazando la inyección de línea y comentar ambigüedades.
Lea la referencia de la fuenteAlgunas cosas que conviene saber
Las reglas de los robots no aseguran páginas privadas ni garantizan la exclusión de la búsqueda. Sólo un grupo; las directivas específicas de los rastreadores no compatibles se omiten. Revise la especificidad de la ruta con la regla separada.
Cuándo utilizar esta herramienta
Cree un robots.txt pequeño y legible de caminos explícitos. El archivo pertenece a la raíz del esquema correcto, host y puerto.
- Prepare un archivo de lanzamiento.
- Declara una hoja de sitio.
- Documenta una pequeña política de rastreo.
Cómo utilizar robots.txt generador
Preparar las entradas
Elige una ficha de usuario.
Elija la configuración
Ingrese las URLs de mapa de sitio y permitir/desactivar.
Examen y exportación
Descargar robots.txt, publicar en la raíz de origen y probar las reglas.
Pruebe el ejemplo suministrado
Inputs
agente: *; permitir: /; desactivar: /admin/ /internal/; sitemaps: https://example.com/sitemap.xml
Resultado
El ejemplo permite la raíz, desactiva el administrador y los caminos internos y declara un mapa de sitio.
Lo que significa
Use autenticación para la privacidad y un método noindex adecuado para el control de indexación.
Errores comunes para evitar
Las reglas de Crawl no son autenticación
Las reglas de Crawl no son autenticación.
El bloqueo no es un método noindex confiable
El bloqueo no es un método noindex confiable.
Preguntas frecuentes
Definiciones, casos de borde y los siguientes pasos prácticos para esta herramienta. Buscar todas las herramientas Preguntas frecuentes
¿Los robots.txt evitan la indexación?
No es fiable. Una URL bloqueada todavía se puede descubrir y enumerar sin su contenido.
¿Protege el contenido privado?
No. Utilice los controles de autenticación y acceso.
¿Dónde debería publicarse?
En /robots.txt sobre el origen relevante.
¿Puedo añadir una hoja de sitio?
Sí. Proveer URLs HTTP o HTTPS.
¿Puedo hacer varios grupos de rastreadores?
Esta versión genera un grupo. Editar un archivo completo deliberadamente si se necesitan más grupos.
¿El camino es sensible al caso?
El camino que coincide sigue las reglas de los rastreadores; comprobar la capitalización exacta y la especificidad con un probador.
¿Están cargadas o almacenadas mis entradas?
El procesamiento ocurre localmente en su navegador. Esta herramienta no sube entradas. Las descargas permanecen en tu dispositivo; compartirlas o abrirlas en otro servicio es tu elección.
¿Qué debo comprobar antes de usar la salida?
Las reglas de los robots no aseguran páginas privadas ni garantizan la exclusión de la búsqueda. Sólo un grupo; las directivas específicas de los rastreadores no compatibles se omiten. Revise la especificidad de la ruta con la regla separada.
Explore el tema en el blog
Fuentes y método
Utilice las referencias a continuación para comprobar las definiciones y la orientación de la plataforma. El alcance y los límites del modelo se explican anteriormente. Lee nuestros estándares editoriales.