Comprobador de reglas de robots.txt
Pruebe robots.txt y pruebe si se permiten URLs especificadas para un rastreador.
Tus datos
Tus resultados
Listo cuando lo necesitesTus resultados aparecerán aquí.
Cómo funciona
Puede inspeccionar las reglas de robots.txt pegadas antes del despliegue. El probador escoge el token más largo de los productos de los rastreadores, combina grupos con igual especificidad, y vuelve a * sólo cuando ningún grupo específico coincide. Permitir y desactivar caminos sensibles a casos y cadenas de consulta. Asterisk coincide con cualquier secuencia, un signo del dólar final ancla el final, las reglas normalizadas más largas tienen precedencia, y Permite ganar conflictos de igual longitud. Cada resultado denomina la regla ganadora y su línea de origen.
Lea la referencia de la fuenteAlgunas cosas que conviene saber
Una prueba de reglas de estilo Google local, no un informe de rastreo o indexación en vivo. Otros rastreadores pueden interpretar directivas de manera diferente. El emparejamiento de productos soporta tokens exactas y descendientes de hiphen/underscore, no subestrings arbitrarios de los encabezados del navegador. Campos no compatibles y caminos malformados son ignorados con advertencias; recuperación indocumentada de Google typo y index.html Permitir la normalización no se simulan. Los escapes porcentuales se normalizan, los caracteres escapados no conservados son decodificados, los caracteres crudos no ASCII son codificados, y los separadores reservados codificados siguen siendo distintos. URL parsing normaliza segmentos de puntos. Esta herramienta no simula errores de captura, redirecciones, historial de caché, manejo de estado HTTP, errores de encoding del servidor o errores de codificación. Las entradas del sitio son informativos. Robots.txt tiene alcance en un solo protocolo, host y puerto; no puede hacer cumplir la confidencialidad ni garantizar la desindización.
Cuándo utilizar esta herramienta
Una pequeña edición de robots.txt puede afectar muchas URLs, especialmente cuando grupos específicos de rastreadores, comodines y cadenas de consulta interactúan. Este equipo evalúa reglas pegadas contra una lista de caminos o URLs y nombra la regla ganadora. Utiliza una interpretación práctica al estilo de Google para apoyar el examen antes del despliegue. El resultado describe las reglas suministradas, no un rastreo en vivo, la política de acceso al servidor o la confirmación de que una página está indexada.
- Pruebe una regla de permiso propuesta contra páginas importantes antes de publicar.
- Compruebe una excepción específica Permite dentro de un directorio bloqueado.
- Compare reglas específicas para los rastreadores con el grupo de comodín de la caída.
Cómo utilizar robots.txt reglas tester
Pegar las reglas y el token de los rastreadores
Ingrese el contenido de robots.txt y un producto de rastreador token como Googlebot o Bingbot. Utilice el token de producto en lugar de una cadena de usuario de navegador completo. Un archivo vacío permite arrastrarse bajo esta prueba.
URL de alcance de suministro y prueba
Opcionalmente introduzca la URL raíz robots.txt para comprobar protocolo, host y alcance de puerto. Agregue una URL HTTP(S) o ruta por línea, incluyendo cadenas de consulta cuando sea relevante. Puedes probar hasta 500 entradas.
Revisar las reglas ganadoras
Ejecute el examen e inspeccione Resultados permitidos, bloqueados e inválidos o externos. Cada partido identifica una línea de origen. Compruebe advertencias y su comportamiento real del servidor por separado antes de desplegar el archivo editado.
Prueba una excepción y una regla de sufijo de archivo
Inputs
Utilice las reglas de Googlebot suministradas bloqueando /private/, permitiendo /private/help$ y bloqueo /*.pdf$. Prueba las cinco URLs de ejemplo con el alcance de los robots example.com.
Resultado
Se permiten tres URLs y dos bloqueadas. /private/account y /report.pdf están bloqueados. /private/help, /report.pdf?download=1 y /Private/account están permitidos.
Lo que significa
La excepción de ayuda exacta gana, los últimos $ hace que la regla PDF pare antes de una variante de búsqueda, y la maleta privada difiere de la maleta privada. Los pequeños detalles del patrón cambian el resultado.
Errores comunes para evitar
Usando robots.txt como control de acceso
Las directivas de Crawl no protegen el contenido confidencial. Utilice autenticación o autorización del servidor cuando las personas o el software no deben acceder a un recurso.
Asumiendo que un bloque elimina un resultado de búsqueda
Bloquear un rastreador no es una instrucción de eliminación confiable. Considere el requisito de indexación real y la guía oficial en lugar de equiparar arrastre bloqueado con desindización.
Olvidando cadenas de consulta o caso
El emparejamiento incluye el camino y la cadena de consulta y es sensible a los casos. Prueba las variantes representativas, especialmente cuando un patrón termina con $ o un sitio expone las rutas de caso mixto.
Preguntas frecuentes
Definiciones, casos de borde y los siguientes pasos prácticos para esta herramienta. Buscar todas las herramientas Preguntas frecuentes
¿Cómo elige el probador un grupo de rastreadores?
Selecciona el token de productos de rastreador soportado más largo y fusiona grupos igualmente específicos. El grupo Wildcard se utiliza sólo si ningún grupo específico coincide. Ingrese una ficha como Googlebot-News en lugar de un encabezado completo y arbitrario para una prueba significativa.
¿Qué regla gana cuando Permite y desactiva ambos partido?
Las reglas normalizadas más largas tienen precedencia. Cuando la especificidad es igual, Permite ganar. El resultado nombra la regla y la línea ganadora para que pueda examinar esa interacción en lugar de tratar el archivo como una simple lista de primera captura.
¿Qué significa la señal de asterisco y dólar?
Un asterisco coincide con una secuencia de caracteres. Un signo del dólar final ancla el partido al final del camino comparado más la consulta. En consecuencia, /*.pdf$ puede bloquear /report.pdf mientras permite /report.pdf?download=1 bajo las reglas suministradas.
¿Por qué hay una URL fuera del alcance robots.txt?
La URL de robots opcionales define un protocolo, host y alcance portuario. Un archivo de reglas para https://example.com no rige automáticamente http://example.com ni otro subdominio. El probador marca esas diferencias por lo que no aplica las reglas de un sitio a otro origen.
¿La directiva del mapa permite arrastrarse?
No. Las entradas del sitio son informativos en este equipo y no anulan reglas de arrastre iguales. La herramienta los muestra pero no busca la hoja de sitio. Pruebe las URL de la página lista del sitemap contra las reglas pertinentes al comprobar un cambio propuesto.
¿Se permite que Google indexe la página?
No. Significa que las reglas pegadas permiten esa solicitud bajo esta interpretación. Las respuestas del servidor, restricciones de acceso, canonicalización, contenido y otras señales de indexación están fuera de la prueba. No arrastra la página ni comprueba el estado de indexación de Search Console.
¿Son compatibles las trayectorias codificadas y no ASCII?
El probador normaliza el porcentaje de escapes, decodifica caracteres escapados sin reservas y codifica texto no-ASCII crudo. Los separadores reservados codificados siguen siendo distintos. El análisis de URL también puede normalizar segmentos de puntos. Revise los casos de borde contra el rastreador y servidor en lugar de asumir que todas las ortografías son equivalentes.
¿Puedo usar esto para comprobar Bing o cada rastreador?
Puedes introducir otras fichas de rastreador, pero el comportamiento coincidente es un modelo práctico de Google. Otros rastreadores pueden manejar directivas de manera diferente. No simula errores de captura, redirecciones, caché o cualquier regla de recuperación indocumentada; utilice la documentación de los rastreadores pertinentes para su revisión final.
Explore el tema en el blog
Fuentes y método
Utilice las referencias a continuación para comprobar las definiciones y la orientación de la plataforma. El alcance y los límites del modelo se explican anteriormente. Lee nuestros estándares editoriales.