Strumento online gratuito per generare robots.txt. Imposta regole di permesso/blocco per i crawler e URL sitemap. Essenziale per SEO. Elaborato nel browser.
User-agent: * Allow: /
Premi Ctrl+D per aggiungere questa pagina ai preferiti
Il Generatore di Robots. txt è uno strumento online gratuito che crea facilmente file robots.
Il robots.txt è un file di testo posizionato nella radice di un sito web che indica ai crawler dei motori di ricerca quali pagine scansionare o ignorare.
No. Il robots.txt controlla solo la scansione: le pagine possono comunque comparire nei risultati di ricerca se collegate da altri siti. Usa un meta tag noindex per la rimozione completa.
In robots.txt indica il crawler pubblicato da ciascuna azienda — GPTBot, ClaudeBot, PerplexityBot e così via — e assegnagli un Disallow. Un approccio più recente, Content-Signal, permette di dichiarare il permesso per finalità in una sola riga, come search=yes, ai-train=no. Ricorda che robots.txt è una richiesta rispettata solo dai crawler che scelgono di obbedire, non un blocco tecnico: ciò che davvero non deve essere prelevato va messo dietro un login.
Sì: una sola riga con Disallow: / esclude l'intero sito dalla scansione. Pubblicare in produzione il robots.txt di un server di prova senza cancellare quella riga è un incidente davvero frequente. Apri robots.txt nel browser subito dopo ogni rilascio e passa le pagine principali nel tester robots.txt di Google Search Console. Riprendersi da una deindicizzazione richiede giorni o settimane, ben dopo la correzione del file.