Robots.txt y noindex: reglas de rastreo, indexación y pruebas prácticas
Entiende por qué Disallow es diferente de noindex, prueba las reglas del camino concreto y verifica el comportamiento desplegado antes de cambiar el acceso a los rastreos.
Elija el resultado antes de elegir la directiva
Una página de herramienta pública, una página de ayuda de cuenta pública y una cuenta de cliente privada tienen diferentes propósitos. Para la herramienta, usted puede querer descubrimiento de búsqueda. Para una página pública que debe mantenerse fuera de los resultados, necesita una decisión de indexación. Para una cuenta que contiene información privada, usted necesita control de acceso. Escriba el resultado deseado junto a cada uno de los resultados URL familia. Google describe robots.txt como las solicitudes de control, mientras que noindex controla la indexación cuando un rastreador de apoyo puede leerlo. robots.txt ni la palabra privada en URL establece que un visitante no puede acceder a la página.
Mantenga un bloque de rastreo separado de una instrucción de eliminación
Disallow le dice al rastreador que no solicita un camino. Una URL bloqueada de esta manera todavía puede aparecer en los resultados de búsqueda si Google lo descubre en otro lugar. Una etiqueta meta noindex o un encabezado de respuesta X-Robots-Tag puede prevenir la indexación, pero Google debe ser capaz de acceder al recurso y ver esa instrucción. Bloquear la misma URL en robots.txt puede detener ese descubrimiento de noindex. Google no soporta una directiva noindex colocada en robots.txt. Antes de combinar la configuración, pregunte si el rastreador puede realmente ver la señal que se supone que debe lograr su resultado.
| Instrucción | Controles | Limitación |
|---|---|---|
| robots.txt Disallow | Acceso Crawler a caminos iguales | Una URL bloqueada puede aparecer en la búsqueda |
| Meta robots noindex | Indización de páginas HTML | El rastreador debe llegar a la página para leerla |
| X-Robots-Tag: noindex | Indización mediante encabezado de respuesta | La respuesta debe ser accesible |
| Mapa del sitio | Una pista de descubrimiento | No invalida las reglas de arrastrar ni garantiza la indexación |
Prueba una pequeña regla con caminos representativos
Nuestra robots.txt el ejemplo de ester selecciona las reglas de Googlebot que desabrocha /private/, permitir el camino exacto /private/help a través de un signo del dólar que sigue, y los caminos que terminan en .pdf. Sus cinco URLs suministradas producen tres solicitudes permitidas y dos solicitudes bloqueadas. /private/account está bloqueada; /private/help está permitido. /report.pdf está bloqueado, mientras /report.pdf?download=1 se permite porque la cadena de consulta significa que el camino comparado ya no termina en .pdf. /Private/account se permite porque la comparación es sensible a los casos. Estos son resultados verificados para el ejemplo pegado, no un informe sobre su servidor en vivo.
Inspeccione el grupo seleccionado y la regla ganadora
El resultado nombra al grupo de rastreadores seleccionados y la regla de ganancia para cada URL, así que utiliza esas explicaciones cuando un resultado te sorprende. El probador local elige el token de producto más específico, fusiona grupos igualmente específicos y utiliza el grupo Wildcard sólo cuando no hay coincidencia más específica. Las reglas de juego más largas tienen precedencia; Permite ganar conflictos de igual longitud. Prueba tanto la excepción permitida como un camino bloqueado vecino. Incluye variantes con barras de seguimiento, cadenas de consulta, capitalización y caracteres codificados que tu aplicación realmente emite. Un solo ejemplo exitoso no puede cubrir cada ruta en el sitio.
Compruebe el origen exacto y los límites de la herramienta
Ingrese la URL raíz robots.txt, como https://example.com/robots.txt, para permitir que la bandera de herramienta pruebe URLs fuera de ese protocolo, host y puerto. Un archivo de un origen no establece reglas para otro subdominio o protocolo. La herramienta procesa el contenido pegado, hasta 500 URLs por ejecución, sin buscar su archivo. Advierte sobre campos sin apoyo y caminos malformados. No reproduce fallos del servidor, redirige, historia de caché o comportamiento de cada rastreador. Guardar el texto probado con los resultados, luego inspeccionar por separado lo que el origen desplegado realmente devuelve.
Utilizar la aplicación correcta para el recurso
Para una página HTML que debe permanecer accesible públicamente pero excluido de los resultados de Google, la instrucción noindex se puede colocar en su cabeza. Para un recurso como un PDF, el enfoque de respuesta puede ser apropiado. Verificar la respuesta entregada en lugar de asumir un entorno en un editor llegó a la URL publicada. Para una cuenta privada, configure la autenticación y autorización y el acceso a pruebas como visitante no identificado. El probador de robots locales no inspecciona los encabezados de respuesta, página HTML o comportamiento de inicio de sesión, por lo que un resultado permitido nunca debe ser utilizado como un pase para esos cheques separados.
Mantenga las expectativas de mapa de sitio compatibles con su plan
Una línea del mapa del sitio apunta a una ubicación de mapa de sitio; no otorga permiso para arrastrar una página bloqueada. Asimismo, colocando un URL en un mapa del sitio no se anula robots.txt o prometer que se indexará. Utilice el validador de mapa de sitio para inspeccionar el XML y sus controles de protocolo implementados, luego revise las familias de la página lista contra sus destinos públicos previstos. URL aparece inesperadamente, corregir la fuente de generación. La fijación de una hoja de sitio descargada mientras que dejar el generador sin cambios hace que la misma inconsistencia pueda volver en la siguiente construcción.
Verificar el cambio publicado y mantener un registro de vuelta
Antes del despliegue, mantenga el texto actual de la norma y un breve conjunto de representantes URL pruebas. Después del despliegue, confirme el en vivo robots.txt respuesta y uso Search Console’ URL Información de inspección para páginas importantes. Si usted agregó noindex, compruebe el HTML o cabecera Google puede recibir, en lugar de probar el permiso de los robots solo. Recrawling y reportar no son instantáneos, por lo que documentar cuando el cambio sucedió. Un bloque amplio en el camino equivocado puede prevenir el descubrimiento de páginas útiles. Un cambio probado, objetivo con evidencia salvada es más fácil de diagnosticar y revertir que las reglas de edición repetidas para perseguir un resultado de búsqueda cambiante.