Gratis online robots.txt generator. Stel toestaan/blokkeren-regels in voor zoekmachinecrawlers en sitemap-URL. Essentieel voor SEO. Verwerkt in browser.
Presets
User-Agent
Crawlvertraging
Sitemap-URL
Resultaat
User-agent: *
Allow: /
lockBestanden worden niet naar een server verzonden
Druk op Ctrl+D om deze pagina als bladwijzer op te slaan
Robots. txt-generator is een gratis online tool waarmee je eenvoudig robots. txt-bestanden maakt om de toegang van zoekmachine-crawlers te regelen.
Hoe gebruik je robots.txt generator?
Selecteer de user agent (crawler).
Stel de Allow- en Disallow-padregels in.
Voeg je sitemap-URL toe en kopieer de gegenereerde robots.txt.
Veelgestelde vragen over robots.txt generator
Wat is robots.txt?
robots.txt is een tekstbestand in de root van een website dat zoekmachine-crawlers vertelt welke pagina's ze wel of niet moeten crawlen.
Kan robots.txt pagina's volledig uit de zoekresultaten verbergen?
Nee. robots.txt regelt alleen het crawlen - pagina's kunnen nog in de zoekresultaten verschijnen als er vanaf andere sites naar wordt gelinkt. Gebruik een noindex-metatag om ze volledig te verwijderen.
Hoe voorkom ik dat AI-crawlers mijn site voor training gebruiken?
Noem in robots.txt de door elk bedrijf gepubliceerde crawler — GPTBot, ClaudeBot, PerplexityBot enzovoort — en geef die een Disallow. Een nieuwere aanpak, Content-Signal, laat je per doel toestemming vastleggen op één regel, bijvoorbeeld search=yes, ai-train=no. Onthoud dat robots.txt een verzoek is dat alleen crawlers die willen gehoorzamen respecteren, geen technische blokkade; wat echt niet meegenomen mag worden hoort achter een login.
Kan een fout in robots.txt mijn hele site uit de zoekresultaten halen?
Ja — één regel met Disallow: / haalt de hele site uit de crawl. De robots.txt van een testserver ongewijzigd naar productie zetten en die regel vergeten is een echt veelvoorkomend ongeluk. Open robots.txt na elke uitrol meteen in een browser en haal je belangrijkste pagina's door de robots.txt-tester van Google Search Console. Herstel na een de-indexering duurt dagen tot weken, lang nadat het bestand is gecorrigeerd.
Tips om robots.txt generator effectief te gebruiken
robots.txt blokkeert alleen crawlen; gebruik een noindex-tag om uit Google te verdwijnen.
Maak regels per User-agent als GPTBot anders behandeld moet worden dan Googlebot.
Sluit af met een regel Sitemap: https://... met de volledige URL.