robots.txt-generator

robots.txt er en tekstfil placeret i roden af et websted, der fortæller søgemaskine-crawlere, hvilke sider de skal crawle eller ignorere.

Nej. robots.txt styrer kun crawling — sider kan stadig optræde i søgeresultaterne, hvis der linkes til dem fra andre websteder. Brug et noindex-metatag for fuldstændig fjernelse.

Nævn i robots.txt den crawler, hvert firma har offentliggjort — GPTBot, ClaudeBot, PerplexityBot og så videre — og giv den et Disallow. En nyere tilgang, Content-Signal, lader dig angive tilladelse efter formål på én linje, for eksempel search=yes, ai-train=no. Husk, at robots.txt er en anmodning, som kun crawlere, der vælger at adlyde, respekterer — ikke en teknisk blokering; det, der virkelig ikke må hentes, bør ligge bag et login.

Ja — en enkelt linje med Disallow: / lukker hele sitet ude fra crawling. At sende en testservers robots.txt i produktion uden at fjerne den linje er en reelt hyppig ulykke. Åbn robots.txt i en browser lige efter hver udrulning, og kør dine vigtigste sider gennem robots.txt-testeren i Google Search Console. At komme sig efter en afindeksering tager dage til uger, længe efter at filen er rettet.