Robots.txt vs Noindex: regras de rastejo, indexação e testes práticos
Entenda por que o Disallow é diferente do noindex, teste as regras do caminho concreto e verifique o comportamento implantado antes de mudar o acesso.
Escolha o resultado antes de escolher a diretiva.
Uma página pública de ferramentas, uma página pública de ajuda à conta e uma conta privada tem propósitos diferentes. Para a ferramenta, você pode querer descobrir. Para uma página pública que deve ficar fora dos resultados, você precisa de uma decisão de indexação. Para uma conta contendo informações privadas, você precisa de controle de acesso. Escreva o resultado ao lado de cada família de URL. Google descreve robots.txt como controlando pedidos de rastreamento, enquanto noindex controla a indexação quando um rastreador de suporte pode lê-lo. Nem uma etiqueta robots.txt nem a palavra privada em uma URL estabelece que um visitante não pode acessar a página.
Mantenha um bloqueio separado de uma instrução de remoção.
Disallow diz ao rastreador correspondente para não pedir um caminho. Uma URL bloqueada assim ainda pode aparecer nos resultados de busca se o Google descobrir em outro lugar. Uma meta tag noindex ou X-Robots-Tag pode impedir a indexação, mas o Google deve ser capaz de acessar o recurso e ver essa instrução. Bloquear a mesma URL em robots.txt pode impedir essa descoberta de noindex. Google não suporta uma diretiva noindex colocada em robots.txt. Antes de combinar configurações, pergunte se o rastreador pode realmente ver o sinal que deveria alcançar o seu resultado.
| Instrução | Controles | Limitação |
|---|---|---|
| robots.txt Disallow | Acesso do rastreador aos caminhos correspondentes. | Um URL bloqueado ainda pode aparecer em busca |
| Meta robôs noindex | Indexação de páginas HTML | O rastreador deve chegar à página para lê-lo. |
| X-Robots-Tag: noindex | Indexando através do cabeçalho de resposta | A resposta deve ser acessível. |
| Entrada do mapa do site | Uma pista de descoberta | Não anula as regras de rastreamento ou garantia de indexação. |
Teste uma pequena regra com caminhos representativos.
O exemplo do nosso testador de robots.txt seleciona regras do Googlebot que bloqueiam /private/, permitem o caminho exato /private/help com um cifrão final e bloqueiam caminhos terminados em .pdf. As cinco URLs fornecidas geram três solicitações permitidas e duas bloqueadas. /private/account é bloqueado; /private/help é permitido. /report.pdf é bloqueado, mas /report.pdf?download=1 é permitido porque a consulta faz com que o caminho comparado não termine mais em .pdf. /Private/account é permitido porque a comparação diferencia maiúsculas de minúsculas. Esses resultados foram verificados para o exemplo colado; não são um relatório sobre seu servidor em produção.
Inspecione o grupo selecionado e a regra vencedora.
O resultado nomeia o grupo de rastreamento selecionado e a regra vencedora para cada URL, então use essas explicações quando o resultado te surpreender. O testador local escolhe o símbolo de produto mais específico, funde grupos igualmente específicos e usa o grupo wildcard apenas quando não há correspondência mais específica. Regras de correspondência mais longas têm precedência, permitem que ganhe conflitos iguais. Teste a exceção permitida e um caminho bloqueado. Inclua variantes com barras, cordas de consulta, capitalização e caracteres codificados que sua aplicação emite. Um único exemplo de sucesso não pode cobrir todas as rotas do site.
Verifique a origem exata e os limites da ferramenta.
Digite o URL root robots.txt, como https://example.com/robots.txt, para deixar a ferramenta bandeirar URLs de teste fora desse protocolo, host e porto. Um arquivo sobre uma origem não estabelece regras para outro subdomínio ou protocolo. A ferramenta processa conteúdo colado, até 500 URLs por execução, sem buscar seu arquivo. Avisa sobre campos não suportados e caminhos mal formados. Ele não reproduz servidor buscar falhas, redirecionamentos, histórico de cache ou comportamento de cada rastreador. Guarde o texto testado com os resultados, então inspecione separadamente o que a origem implantada realmente retorna.
Use a implementação correta para o recurso.
Para uma página HTML que deve permanecer acessível ao público mas excluída dos resultados do Google, a instrução noindex pode ser colocada em sua cabeça. Para um recurso como PDF, a abordagem de resposta pode ser apropriada. Verifique a resposta entregue em vez de assumir que uma configuração em um editor atingiu a URL publicada. Para uma conta privada, configure autenticação e autorização e teste de acesso como um visitante não autenticado. O verificador de robôs locais não inspeciona os cabeçalhos de resposta, HTML de página ou o comportamento de login, então um resultado permitido nunca deve ser usado como um passe para essas verificações separadas.
Mantenha as expectativas do mapa consistente com seu plano.
Uma linha do mapa do site aponta para um local do mapa do local; não concede permissão para rastrear uma página bloqueada. Da mesma forma, colocar uma URL em um mapa do site não substitui o robots.txt ou prometer que será indexada. Use o validador do mapa de site para inspecionar o XML e suas verificações de protocolo implementadas, então reveja as famílias de páginas listadas contra seus destinos públicos pretendidos. Se uma URL de encenação ou conta aparecer inesperadamente, corrija a fonte da geração. Consertar um mapa de site baixado, deixando o gerador inalterado, torna a mesma inconsistência provavelmente retornar na próxima compilação.
Verifique a mudança publicada e mantenha um registro.
Antes da implantação, mantenha o texto atual e um pequeno conjunto de testes de URL representativos. Após a implantação, confirme a resposta ao vivo robots.txt e use informações de inspeção URL do Search Console para páginas importantes. Se você adicionar noindex, verifique o HTML ou cabeçalho que o Google pode receber, em vez de testar a permissão de robôs sozinho. Recrawling e relatórios não são instantâneos, então documento quando a mudança aconteceu. Um bloco amplo no caminho errado pode impedir a descoberta de páginas úteis. Uma mudança testada e direcionada com evidências salvas é mais fácil de diagnosticar e reverter do que várias vezes editar regras para perseguir um resultado de busca em mudança.