Gerador robots.txt

robots.txt é um arquivo de texto colocado na raiz do site que informa aos rastreadores quais páginas rastrear ou ignorar.

Não. robots.txt só controla o rastreamento — páginas podem aparecer se vinculadas de outros sites. Use a meta tag noindex para remoção completa.

No robots.txt, nomeie o rastreador publicado por cada empresa — GPTBot, ClaudeBot, PerplexityBot e assim por diante — e aplique um Disallow. Uma abordagem mais recente, o Content-Signal, permite declarar a permissão por finalidade numa única linha, como search=yes, ai-train=no. Lembre-se de que robots.txt é um pedido respeitado só pelos rastreadores que decidem obedecer, não um bloqueio técnico: o que realmente não pode ser levado precisa ficar atrás de um login.

Sim: uma única linha com Disallow: / exclui o site inteiro do rastreamento. Publicar em produção o robots.txt de um servidor de testes sem apagar essa linha é um acidente realmente comum. Abra o robots.txt no navegador logo após cada publicação e passe suas páginas principais pelo testador de robots.txt do Google Search Console. Recuperar-se de uma desindexação leva de dias a semanas, bem depois de o arquivo ser corrigido.