Testador de regras do robots.txt
Colar robots.txt e testar se URLs especificadas são permitidas para um rastreador.
Seus dados
Seus resultados
Pronto quando você precisarSeus resultados aparecerão aqui.
Como funciona
Inspecione regras robots.txt coladas antes da implantação. O testador escolhe o símbolo mais longo do produto do rastreador, combina grupos com especificidade igual, e volta para * apenas quando nenhum grupo específico combina. Permitir e desautorizar caminhos sensíveis a casos, mais cordas de consulta. O asterisco corresponde a qualquer sequência, um sinal de dólar final ancora o fim, regras normalizadas mais longas têm precedência, e permite vitórias conflitos de igual duração. Cada resultado nomeia a regra vencedora e sua linha de origem.
Leia a referência da fonteAlgumas informações úteis
Um teste de regras no Google, não um relatório de indexação. Outros rastreadores podem interpretar diretivas de forma diferente. Combinação de produtos suporta fichas exatas e descendentes de hífen/menos escores, não substrings arbitrárias de cabeçalhos de navegador. Campos não suportados e caminhos mal formados são ignorados com avisos, recuperação de erros de digitação do Google e index.html Permitir a normalização não são simulados. Percentagem de fugas são normalizadas, caracteres fugitivos não reservados são decodificados, caracteres não-ASCII crus são codificados, e separadores reservados codificados permanecem distintos. A análise de URL normaliza segmentos de pontos. Essa ferramenta não simula erros de busca, redirecionamentos, histórico de cache, gerenciamento de status HTTP, erros de roteamento ou codificação do servidor. As entradas do mapa do site são informativas. Robôs.Txt é avaliado para um único protocolo, hospedeiro e porto, não pode impor confidencialidade ou garantir a desindexação.
Quando usar esta ferramenta
Uma pequena edição do robots.txt pode afetar muitas URLs, especialmente quando grupos específicos do rastreador, wildcards e strings de consulta interagem. Este testador avalia regras coladas contra uma lista de caminhos ou URLs e nomeia a regra vencedora. Ele usa uma interpretação prática do estilo Google para apoiar revisão antes da implantação. O resultado descreve as regras fornecidas, não um rastreamento ao vivo, política de acesso ao servidor ou confirmação de que uma página está indexada.
- Teste uma regra proposta contra páginas importantes antes de publicar.
- Verifique uma exceção específica para permitir dentro de um diretório bloqueado.
- Compare as regras específicas do rastreador com o grupo de Wildcards.
Como usar o verificador de regras robots.txt
Colar as regras e símbolo rastejante
Digite conteúdo robots.txt e um símbolo de produto rastreador, como Googlebot ou Bingbot. Use o token do produto ao invés de uma string completa do usuário do navegador. Um arquivo vazio permite rastejar sob este teste.
Alcance de fornecimento e URLs de teste
Opcionalmente insira a URL root robots.txt para verificar protocolo, host e escopo de porta. Adicione um URL ou caminho HTTP(S) por linha, incluindo strings de consulta quando relevante. Você pode testar até 500 entradas.
Reveja as regras de vitória.
Faça o teste e inspecione os resultados permitidos, bloqueados e inválidos ou de fora do escopo. Cada combinação identifica uma linha de origem. Verifique os avisos e seu comportamento do servidor separadamente antes de implantar o arquivo editado.
Teste uma exceção e uma regra de sufixo.
Entradas
Use as regras fornecidas do Googlebot bloqueando /private/, permitindo /private/help$ e bloqueando /*.pdf$. Teste as URLs de cinco exemplos com o escopo de robôs example.com.
Resultado
Três URLs são permitidas e duas são bloqueadas. /private/account e /report.pdf são bloqueadas. /private/help, /report.pdf?download=1 e /Private/account são permitidas.
O que significa?
A exceção de ajuda exata ganha, o último $ faz a regra do PDF parar antes de uma variante de consulta, e o Private maiúscula difere do privado minúscula. Pequenos detalhes mudam o resultado.
Erros comuns para evitar
Usando robots.txt como controle de acesso
Directrizes de rastejo não protegem conteúdo confidencial. Use autenticação ou autorização do servidor quando pessoas ou software não devem acessar um recurso.
Supondo que um bloco remova um resultado de busca
Bloquear um rastreador não é uma instrução confiável. Considere o requisito de indexação e orientação oficial em vez de igualar o rastreamento bloqueado com desindexação.
Esquecendo as cordas de consulta ou caso
A correspondência inclui o caminho e o texto de consulta e é sensível a casos. Teste variantes representativas, especialmente quando um padrão termina com $ ou um site expõe rotas mistas.
Perguntas frequentes.
Definições, casos de borda e próximos passos práticos para esta ferramenta. Procure todas as ferramentas FAQs
Como o testador escolhe um grupo rastreador?
Ele seleciona o símbolo de produto de rastreamento compatível mais longo e funde grupos igualmente específicos. O grupo Wildcard só é usado se nenhum grupo específico corresponder. Digite um token como o Googlebot-News ao invés de um cabeçalho arbitrário para um teste significativo.
Que regra ganha quando Allow e Disallow ambos combinam?
Regras normalizadas têm precedência. Quando a especificidade é igual, permitir vitórias. O resultado nomeia a regra vencedora e a linha para que você possa examinar essa interação em vez de tratar o arquivo como uma simples lista de primeira partida.
O que significa o asterisco e o sinal de dólar?
Um asterisco corresponde a uma sequência de caracteres. Um cifrão final limita a correspondência ao fim do caminho comparado, incluindo a consulta. Assim, /*.pdf$ pode bloquear /report.pdf e permitir /report.pdf?download=1 nas regras fornecidas.
Por que uma URL está fora do escopo robots.txt?
O URL opcional de robôs define um protocolo, host e escopo de porta. Um arquivo de regras para https://example.com não governa automaticamente http://example.com ou outro subdomínio. O testador marca essas diferenças para que você não aplique as regras de um site a outra origem.
A diretiva do Mapa do Site permite rastejar?
Não. As entradas do mapa do site são informativas neste testador e não sobreponham regras de rastreamento. A ferramenta os exibe, mas não busca o mapa do site. Teste os URLs da página listados do site contra as regras relevantes ao verificar uma alteração proposta.
Permitido significa que Google indexará a página?
Não. Significa que as regras coladas permitem esse pedido sob esta interpretação. Respostas do servidor, restrições de acesso, canonicalização, conteúdo e outros sinais de indexação estão fora do teste. Não rasteja a página nem verifica o status da indexação Search Console.
Os caminhos por cento codificados e não ASCII são suportados?
O testador normaliza a porcentagem de fugas, decodifica caracteres escapados sem reservas e codifica texto não-ASCII. Separadores reservados codificados permanecem distintos. A análise de URL também pode normalizar segmentos de pontos. Revise casos de borda contra o rastreador e servidor em vez de assumir que todas as ortografias são equivalentes.
Posso usar isso para checar Bing ou todos os rastreadores?
Você pode entrar em outras fichas de rastreamento, mas o comportamento correspondente é um modelo prático estilo Google. Outros rastreadores podem lidar com diretivas de forma diferente. Não simula buscar erros, redirecionamentos, caching ou qualquer regra de recuperação não documentada; use a documentação do rastreador relevante para revisão final.
Explore o tópico no blog.
Fontes e método
Use as referências abaixo para verificar definições e orientação da plataforma. O escopo e os limites do modelo são explicados acima. Leia nossos padrões editoriais.