Бесплатный онлайн генератор robots.txt. Настройка правил разрешения/блокировки для поисковых роботов и URL карты сайта. Обработка в браузере.
User-agent: * Allow: /
Нажмите Ctrl+D, чтобы добавить страницу в закладки
Генератор Robots. txt — это бесплатный онлайн-инструмент, который легко создаёт файлы robots. txt для управления доступом поисковых роботов.
robots.txt — это текстовый файл, размещённый в корне сайта, который сообщает поисковым роботам, какие страницы сканировать или игнорировать.
Нет. robots.txt управляет только сканированием — страницы всё равно могут появляться в результатах поиска, если на них ссылаются другие сайты. Для полного удаления используйте мета-тег noindex.
В robots.txt перечислите официально объявленные краулеры — GPTBot, ClaudeBot, PerplexityBot и другие — и пропишите для них Disallow. Более новый подход, Content-Signal, позволяет одной строкой указать разрешения по назначению, например search=yes, ai-train=no. Помните, что robots.txt — просьба, которую соблюдают лишь добровольно подчиняющиеся краулеры, а не техническая блокировка: то, что действительно нельзя забирать, должно быть за логином.
Да — одна строка Disallow: / исключает весь сайт из обхода. Выкатить в продакшн robots.txt тестового сервера, забыв убрать эту строку, — по-настоящему частая авария. Открывайте robots.txt в браузере сразу после каждого деплоя и проверяйте ключевые страницы тестером robots.txt в Google Search Console. Восстановление после выпадения из индекса занимает от нескольких дней до недель, уже после исправления файла.