Generator robots.txt

robots.txt to plik tekstowy umieszczany w katalogu głównym witryny, który informuje roboty wyszukiwarek, które strony mają indeksować, a które pomijać.

Nie. robots.txt kontroluje jedynie indeksowanie — strony mogą nadal pojawiać się w wynikach wyszukiwania, jeśli są do nich odnośniki z innych witryn. Aby całkowicie je usunąć, użyj metatagu noindex.

W pliku robots.txt wymień robota ogłoszonego przez każdą firmę — GPTBot, ClaudeBot, PerplexityBot i tak dalej — i nadaj mu Disallow. Nowsze podejście, Content-Signal, pozwala zadeklarować zgodę według przeznaczenia w jednym wierszu, na przykład search=yes, ai-train=no. Pamiętaj, że robots.txt to prośba respektowana tylko przez roboty, które zdecydują się jej słuchać, a nie blokada techniczna; to, czego naprawdę nie wolno zabrać, powinno znaleźć się za logowaniem.

Tak — pojedyncza linia Disallow: / wyklucza całą witrynę z indeksowania. Wypuszczenie na produkcję pliku robots.txt z serwera testowego bez usunięcia tej linii to naprawdę częsty wypadek. Otwieraj robots.txt w przeglądarce zaraz po każdym wdrożeniu i sprawdzaj kluczowe strony testerem robots.txt w Google Search Console. Powrót po wypadnięciu z indeksu trwa od dni do tygodni, długo po naprawieniu pliku.