robots.txt-Generator

robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten gecrawlt oder ignoriert werden sollen.

Nein. robots.txt steuert nur das Crawling — Seiten können weiterhin erscheinen, wenn sie von anderen Seiten verlinkt sind. Verwenden Sie ein noindex-Meta-Tag für vollständige Entfernung.

Nennen Sie in der robots.txt den jeweils veröffentlichten Crawler – GPTBot, ClaudeBot, PerplexityBot und so weiter – und setzen Sie ein Disallow. Neuer ist der Ansatz Content-Signal, mit dem sich die Erlaubnis nach Zweck in einer Zeile angeben lässt, etwa search=yes, ai-train=no. Bedenken Sie: robots.txt ist eine Bitte, an die sich nur freiwillig gehorchende Crawler halten, keine technische Sperre – was wirklich nicht abgegriffen werden darf, gehört hinter einen Login.

Ja – eine einzige Zeile Disallow: / nimmt die gesamte Website vom Crawling aus. Die robots.txt eines Testservers unverändert in die Produktion zu spielen und diese Zeile zu vergessen, passiert wirklich häufig. Öffnen Sie robots.txt nach jedem Deployment direkt im Browser und prüfen Sie Ihre wichtigsten Seiten mit dem robots.txt-Tester der Google Search Console. Sich von einer Deindexierung zu erholen dauert Tage bis Wochen, lange nachdem die Datei korrigiert ist.