Gerador de robôs.
Construa regras de rastreamento e declarações do mapa de um formulário.
Seus dados
Seus resultados
Pronto quando você precisarSeus resultados aparecerão aqui.
Como funciona
Gere um grupo de usuários com caminhos de permissão/desativação explícitos e declarações absolutas do mapa do site, rejeitando a injeção de linha e ambiguidades de comentários.
Leia a referência da fonteAlgumas informações úteis
As regras dos robôs não protegem páginas privadas ou garantem exclusão da busca. Apenas um grupo, diretivas específicas não suportadas são omitidas. Reveja a especificidade do caminho com o testador de regras separado.
Quando usar esta ferramenta
Crie um pequeno robots.txt legível de caminhos explícitos. O arquivo pertence à raiz do esquema correto, hospedeiro e porto.
- Prepare um arquivo de lançamento.
- Declare um mapa do site.
- Documente uma política de rastreamento.
Como usar o gerador robots.txt
Prepare as entradas.
Escolha uma token de agente-usuário.
Escolha as configurações.
Digite os caminhos codificados e URLs do mapa do site.
Revisão e exportação
Baixe robots.txt, publique na raiz de origem e teste as regras.
Tente o exemplo fornecido.
Entradas
/admin/ /internal/; mapas do site: https://example.com/sitemap.xml
Resultado
O exemplo permite a raiz, impede o administrador e caminhos internos e declara um mapa do site.
O que significa?
Use autenticação para privacidade e um método noindex apropriado para o controle de indexação.
Erros comuns para evitar
Regras de rastejo não são autenticação
Regras de rastejo não são autenticação.
Bloquear rastejar não é um método confiável noindex
Bloquear rastejar não é um método confiável noindex.
Perguntas frequentes.
Definições, casos de borda e próximos passos práticos para esta ferramenta. Procure todas as ferramentas FAQs
robots.txt impede a indexação?
Não de forma confiável. Uma URL bloqueada ainda pode ser descoberta e listada sem seu conteúdo.
Protege o conteúdo privado?
Não. Use os controles de autenticação e acesso.
Onde deve ser publicado?
Na /robots.txt na origem relevante.
Posso adicionar um mapa do site?
Sim. Fornecer URLs absolutas HTTP ou HTTPS.
Posso fazer vários grupos de rastreamento?
Esta versão gera um grupo. Edite um arquivo completo se mais grupos forem necessários.
As combinações de caminho são sensíveis?
A correspondência segue as regras do rastreador, verifique a capitalização exata e a especificidade com um testador.
Minhas entradas estão carregadas ou armazenadas?
Processamento acontece localmente em seu navegador. Esta ferramenta não faz upload de entradas. Os downloads ficam no seu dispositivo, compartilhar ou abri-los em outro serviço é sua escolha.
O que devo verificar antes de usar a saída?
As regras dos robôs não protegem páginas privadas ou garantem exclusão da busca. Apenas um grupo, diretivas específicas não suportadas são omitidas. Reveja a especificidade do caminho com o testador de regras separado.
Explore o tópico no blog.
Fontes e método
Use as referências abaixo para verificar definições e orientação da plataforma. O escopo e os limites do modelo são explicados acima. Leia nossos padrões editoriais.