Gerador de robots.txt - Regras Allow, Disallow e Sitemap
Gerador de robots.txt
Os três primeiros substituem seus grupos. O botão de IA adiciona um grupo com nomes de rastreadores de IA publicados com frequência e mantém o resto; a lista muda com o tempo, revise-a de vez em quando.
Importar um robots.txt existente
* significa todos os rastreadores. Separe vários nomes com vírgulas para aplicar as mesmas regras.
Os caminhos começam com / e diferenciam maiúsculas. * corresponde a qualquer sequência de caracteres e $ marca o fim da URL: /*.pdf$ bloqueia todos os PDFs. O Google ignora o Crawl-delay (segundos entre solicitações); alguns outros buscadores respeitam.
Nenhum problema encontrado.
Envie como robots.txt para a raiz do host, por exemplo https://example.com/robots.txt. Cada subdomínio precisa do próprio arquivo.
Testar um URL
Verifica o robots.txt acima do jeito que o Google o lê. Um grupo que nomeia exatamente o rastreador vence User-agent: *, grupos com o mesmo nome são combinados e um rastreador sem grupo próprio recorre a *, não a um nome parecido (Googlebot-Image não usa um grupo Googlebot). Dentro do grupo decide a regra correspondente mais longa e, no empate, vence Allow. De um URL completo contam só o caminho e a consulta.
O robots.txt é um pedido público, não uma fechadura. Qualquer pessoa pode lê-lo e bots mal-intencionados o ignoram, então nunca liste caminhos secretos ali. Ele também não tira páginas dos resultados: uma URL bloqueada ainda pode ser indexada a partir de links. Para tirar uma página da busca, use a tag noindex e deixe a página rastreável; para protegê-la, use senha.
Como o robots.txt funciona
Antes de rastrear um site, os bots bem-comportados baixam o /robots.txt e procuram o grupo com o seu nome ou, na falta dele, User-agent: *. Dentro do grupo, Disallow lista os caminhos a pular e Allow abre exceções neles. O arquivo controla o rastreamento, não a indexação, e só vale para os bots que escolhem segui-lo.
Como usar
- 1 Escolha um modelo ou edite o exemplo: um grupo por rastreador (ou * para todos), com linhas Disallow e Allow.
- 2 Adicione o endereço do sitemap e veja as verificações: um caminho sem barra inicial ou um sitemap sem https:// é marcado na hora.
- 3 Copie o texto ou baixe o robots.txt, envie para a raiz do site e abra seusite/robots.txt para confirmar que carrega.
Qual regra vale
Os grandes buscadores não leem as regras de cima para baixo. Para cada URL, valem a correspondência mais específica, ou seja, o caminho mais longo; se um Allow e um Disallow têm o mesmo tamanho, o Allow vence. Assim, Disallow: /admin/ com Allow: /admin/help/ deixa as páginas de ajuda rastreáveis em qualquer ordem. Além disso, um rastreador segue só um grupo: se houver um grupo Googlebot, o Googlebot ignora totalmente o grupo *.
Bloquear não é o mesmo que noindex
Uma URL bloqueada no robots.txt ainda pode aparecer nos resultados, geralmente como um link sem descrição, porque outras páginas apontam para ela. Pior: se você coloca noindex numa página e também a bloqueia, o rastreador nunca baixa a página e nunca vê a tag. Para tirar uma página da busca, permita o rastreamento e use noindex; bloqueie só depois que ela sair do índice.
Erros que bloqueiam mais do que você queria
As regras são prefixos: Disallow: /blog também bloqueia /blog-tips/ e /blogger.html; escreva /blog/ se quer dizer a pasta. Disallow: / sozinho bloqueia o site inteiro, um clássico esquecido do servidor de homologação. Bloquear as pastas de CSS e JavaScript impede que os buscadores renderizem bem as páginas. E os caminhos diferenciam maiúsculas: /Admin/ não cobre /admin/. Para ver como um URL específico é tratado, digite-o na caixa de teste abaixo do resultado: ela mostra o grupo e a regra que decidem.
Rastreadores de IA e tokens de controle
Várias empresas de IA publicam os nomes de user-agent com que coletam dados de treino e apontam o robots.txt como forma de exclusão. Alguns nomes não são rastreadores separados, mas tokens de controle: Google-Extended e Applebot-Extended não buscam páginas; só indicam se o conteúdo que o rastreador de busca já coleta pode ser usado para treinar os modelos de IA (no Google, também como fonte para as respostas do Gemini). Bloqueá-los não afeta seu posicionamento, mas também não tira suas páginas dos recursos de IA dentro da busca: AI Overviews e AI Mode do Google usam o Googlebot e são controlados com nosnippet ou noindex, não com Google-Extended. Os nomes mudam e surgem outros, então use o modelo como ponto de partida e confira a documentação atual de cada fornecedor.