Gerador de robots.txt - Regras Allow, Disallow e Sitemap

Ferramentas / Ferramentas SEO / Gerador de robots.txt

Gerador de robots.txt

Modelo

Os três primeiros substituem seus grupos. O botão de IA adiciona um grupo com nomes de rastreadores de IA publicados com frequência e mantém o resto; a lista muda com o tempo, revise-a de vez em quando.

Importar um robots.txt existente

Os caminhos começam com / e diferenciam maiúsculas. * corresponde a qualquer sequência de caracteres e $ marca o fim da URL: /*.pdf$ bloqueia todos os PDFs. O Google ignora o Crawl-delay (segundos entre solicitações); alguns outros buscadores respeitam.

Verificações

Nenhum problema encontrado.

robots.txt

            

Envie como robots.txt para a raiz do host, por exemplo https://example.com/robots.txt. Cada subdomínio precisa do próprio arquivo.

Testar um URL

    Verifica o robots.txt acima do jeito que o Google o lê. Um grupo que nomeia exatamente o rastreador vence User-agent: *, grupos com o mesmo nome são combinados e um rastreador sem grupo próprio recorre a *, não a um nome parecido (Googlebot-Image não usa um grupo Googlebot). Dentro do grupo decide a regra correspondente mais longa e, no empate, vence Allow. De um URL completo contam só o caminho e a consulta.

    O robots.txt é um pedido público, não uma fechadura. Qualquer pessoa pode lê-lo e bots mal-intencionados o ignoram, então nunca liste caminhos secretos ali. Ele também não tira páginas dos resultados: uma URL bloqueada ainda pode ser indexada a partir de links. Para tirar uma página da busca, use a tag noindex e deixe a página rastreável; para protegê-la, use senha.

    Como o robots.txt funciona

    Antes de rastrear um site, os bots bem-comportados baixam o /robots.txt e procuram o grupo com o seu nome ou, na falta dele, User-agent: *. Dentro do grupo, Disallow lista os caminhos a pular e Allow abre exceções neles. O arquivo controla o rastreamento, não a indexação, e só vale para os bots que escolhem segui-lo.

    Como usar

    1. 1 Escolha um modelo ou edite o exemplo: um grupo por rastreador (ou * para todos), com linhas Disallow e Allow.
    2. 2 Adicione o endereço do sitemap e veja as verificações: um caminho sem barra inicial ou um sitemap sem https:// é marcado na hora.
    3. 3 Copie o texto ou baixe o robots.txt, envie para a raiz do site e abra seusite/robots.txt para confirmar que carrega.

    Qual regra vale

    Os grandes buscadores não leem as regras de cima para baixo. Para cada URL, valem a correspondência mais específica, ou seja, o caminho mais longo; se um Allow e um Disallow têm o mesmo tamanho, o Allow vence. Assim, Disallow: /admin/ com Allow: /admin/help/ deixa as páginas de ajuda rastreáveis em qualquer ordem. Além disso, um rastreador segue só um grupo: se houver um grupo Googlebot, o Googlebot ignora totalmente o grupo *.

    Bloquear não é o mesmo que noindex

    Uma URL bloqueada no robots.txt ainda pode aparecer nos resultados, geralmente como um link sem descrição, porque outras páginas apontam para ela. Pior: se você coloca noindex numa página e também a bloqueia, o rastreador nunca baixa a página e nunca vê a tag. Para tirar uma página da busca, permita o rastreamento e use noindex; bloqueie só depois que ela sair do índice.

    Gerador de meta tags →

    Erros que bloqueiam mais do que você queria

    As regras são prefixos: Disallow: /blog também bloqueia /blog-tips/ e /blogger.html; escreva /blog/ se quer dizer a pasta. Disallow: / sozinho bloqueia o site inteiro, um clássico esquecido do servidor de homologação. Bloquear as pastas de CSS e JavaScript impede que os buscadores renderizem bem as páginas. E os caminhos diferenciam maiúsculas: /Admin/ não cobre /admin/. Para ver como um URL específico é tratado, digite-o na caixa de teste abaixo do resultado: ela mostra o grupo e a regra que decidem.

    Rastreadores de IA e tokens de controle

    Várias empresas de IA publicam os nomes de user-agent com que coletam dados de treino e apontam o robots.txt como forma de exclusão. Alguns nomes não são rastreadores separados, mas tokens de controle: Google-Extended e Applebot-Extended não buscam páginas; só indicam se o conteúdo que o rastreador de busca já coleta pode ser usado para treinar os modelos de IA (no Google, também como fonte para as respostas do Gemini). Bloqueá-los não afeta seu posicionamento, mas também não tira suas páginas dos recursos de IA dentro da busca: AI Overviews e AI Mode do Google usam o Googlebot e são controlados com nosnippet ou noindex, não com Google-Extended. Os nomes mudam e surgem outros, então use o modelo como ponto de partida e confira a documentação atual de cada fornecedor.

    Perguntas sobre robots.txt

    Não. Ele só impede o rastreamento. Se outros sites apontam para a URL, ela pode continuar indexada, sem descrição. Para removê-la, deixe que seja rastreada com a meta tag noindex ou o cabeçalho X-Robots-Tag, ou tire a página do ar ou coloque-a atrás de login.
    Novo
    Gerador de UTM Crie links de campanha com UTM em segundos. Mantém os parâmetros e #âncoras existentes, codifica os valores corretamente e avisa sobre maiúsculas e espaços.
    Popular Hoje
    Verificador de Densidade Analisador de densidade de palavras-chave gratuito: cole um texto ou URL e veja a frequência de cada palavra e expressão, em percentagem.

    Outras ferramentas de SEO

    Verificador de Densidade Analisador de densidade de palavras-chave gratuito: cole um texto ou URL e veja a frequência de cada palavra e expressão, em percentagem.
    Gerador de Slug Transforme qualquer título num slug de URL limpo. O ü alemão vira ue, o ü turco vira u, o cirílico é transliterado — o idioma quem escolhe é você.
    Gerador de meta tags Preencha título, descrição, URL e imagem para gerar meta tags HTML, marcação Open Graph e Twitter Card, e veja como a página aparecerá nos resultados do Google, no Facebook e no X antes de publicar.
    Pré-visualização SERP Veja como o título e a meta description aparecem nos resultados de busca no computador e no celular. Corte por pixels e contador de caracteres e pixels.
    Gerador de UTM Crie links de campanha com UTM em segundos. Mantém os parâmetros e #âncoras existentes, codifica os valores corretamente e avisa sobre maiúsculas e espaços.

    Outras ferramentas que você pode gostar

    Word para PDF Converta Word para PDF gratuitamente: carregue um ficheiro DOC, DOCX, ODT ou RTF e obtenha um PDF bem formatado em segundos.
    PDF para Word Converta PDF para Word gratuitamente: carregue um PDF e transfira um DOCX editável em segundos - sem registo e sem marca de água.
    Gerador MD5 Gerador de MD5 gratuito: converta texto ou ficheiros numa soma de verificação MD5 no navegador - ideal para verificar a integridade.
    Codificador e Decodificador Base64 Codificador e descodificador Base64 gratuito: converta texto ou ficheiros para Base64 e de volta, tudo no navegador e sem enviar nada.
    Contador de Palavras Contador de palavras gratuito: cole um texto para contar palavras, caracteres, frases e parágrafos e ver o tempo de leitura, sem enviar nada.