Définissez les règles de chemin Allow et Disallow.
Ajoutez l'URL du sitemap et copiez le robots.txt généré.
Questions fréquentes sur Générateur robots.txt
Qu'est-ce que le robots.txt ?
robots.txt est un fichier texte placé à la racine d'un site web qui indique aux robots d'exploration quelles pages explorer ou ignorer.
Le robots.txt peut-il masquer complètement des pages des résultats de recherche ?
Non. robots.txt contrôle uniquement l'exploration — les pages peuvent encore apparaître si elles sont liées depuis d'autres sites. Utilisez une balise méta noindex pour un retrait complet.
Comment empêcher les robots d'IA d'utiliser mon site pour l'entraînement ?
Dans robots.txt, nommez le robot publié par chaque société — GPTBot, ClaudeBot, PerplexityBot, etc. — et appliquez-lui un Disallow. Une approche plus récente, Content-Signal, permet de déclarer l'autorisation par usage sur une seule ligne, comme search=yes, ai-train=no. Rappelez-vous que robots.txt est une requête respectée uniquement par les robots qui choisissent de s'y plier, pas un blocage technique : ce qui ne doit vraiment pas être prélevé doit se trouver derrière une connexion.
Une erreur dans robots.txt peut-elle faire disparaître tout mon site des résultats ?
Oui : une seule ligne Disallow: / retire tout le site de l'exploration. Déployer en production le robots.txt d'un serveur de préproduction sans supprimer cette ligne est un accident réellement fréquent. Ouvrez robots.txt dans un navigateur juste après chaque mise en ligne et testez vos pages clés avec l'outil robots.txt de la Search Console. Se remettre d'une désindexation prend de quelques jours à plusieurs semaines, bien après la correction du fichier.
Comment bien utiliser Générateur robots.txt ?
robots.txt bloque seulement l'exploration : pour désindexer, utilisez la balise noindex.
Séparez les règles par User-agent pour traiter GPTBot autrement que Googlebot.
Terminez le fichier par une ligne Sitemap: https://... en URL absolue.