robots.txt-generator

robots.txt är en textfil placerad i roten av en webbplats som talar om för sökmotorernas crawlers vilka sidor som ska crawlas eller ignoreras.

Nej. robots.txt styr endast crawling – sidor kan fortfarande visas i sökresultaten om de länkas från andra webbplatser. Använd en noindex-metatagg för fullständig borttagning.

Namnge i robots.txt den robot varje företag publicerat — GPTBot, ClaudeBot, PerplexityBot och så vidare — och ge den ett Disallow. Ett nyare grepp, Content-Signal, låter dig ange tillstånd per ändamål på en enda rad, till exempel search=yes, ai-train=no. Kom ihåg att robots.txt är en begäran som bara respekteras av robotar som väljer att lyda, inte en teknisk spärr; det som verkligen inte får hämtas bör ligga bakom en inloggning.

Ja — en enda rad med Disallow: / stänger ute hela webbplatsen från genomsökning. Att skicka en testservers robots.txt till produktion utan att rensa den raden är en verkligt vanlig olycka. Öppna robots.txt i en webbläsare direkt efter varje driftsättning och kör dina viktigaste sidor genom robots.txt-testaren i Google Search Console. Att återhämta sig från en avindexering tar dagar till veckor, långt efter att filen är rättad.