Generador robots.txt

robots.txt es un archivo de texto ubicado en la raíz del sitio web que indica a los rastreadores qué páginas rastrear o ignorar.

No. robots.txt solo controla el rastreo; las páginas pueden aparecer si están enlazadas desde otros sitios. Usa la meta etiqueta noindex para eliminarlas completamente.

En robots.txt, nombra el rastreador publicado por cada empresa —GPTBot, ClaudeBot, PerplexityBot, etc.— y aplícale un Disallow. Un enfoque más reciente, Content-Signal, permite declarar el permiso por finalidad en una sola línea, como search=yes, ai-train=no. Recuerda que robots.txt es una petición que solo respetan los rastreadores que deciden obedecerla, no un bloqueo técnico: lo que realmente no debe tomarse tiene que estar tras un inicio de sesión.

Sí: una sola línea con Disallow: / excluye todo el sitio del rastreo. Publicar en producción el robots.txt de un servidor de pruebas sin borrar esa línea es un accidente realmente frecuente. Abre robots.txt en el navegador justo después de cada despliegue y pasa tus páginas clave por el comprobador de robots.txt de Google Search Console. Recuperarse de una desindexación lleva de días a semanas, mucho después de arreglar el archivo.