免费在线robots.txt生成工具。配置搜索引擎爬虫允许/禁止规则，支持站点地图URL。SEO优化必备。浏览器处理。
User-agent: * Allow: /
按 Ctrl+D 收藏此页面
robots. txt生成器是一款免费在线工具，可轻松创建robots. txt文件来控制搜索引擎爬虫的访问。 可设置Allow/Disallow规则、站点地图URL和爬取延迟。 在浏览器中处理，完全免费。 robots. txt生成器可帮助快速完成搜索引擎优化和网站运营所需的各项工作。
robots.txt是放置在网站根目录的文本文件，告诉搜索引擎爬虫应该抓取或忽略哪些页面。
不能。robots.txt只控制爬取，如果页面被其他网站链接，仍可能出现在搜索结果中。要完全移除需使用noindex元标签。
在 robots.txt 里点名各家公开的爬虫——GPTBot、ClaudeBot、PerplexityBot 等——并给出 Disallow。较新的做法是 Content-Signal，用一行按用途声明许可，例如 search=yes、ai-train=no。但要记住，robots.txt 只是对愿意遵守的爬虫的请求，并非技术封锁；真正不能被取走的内容，应当放在登录之后。
会。仅仅一行 Disallow: / 就能把整个网站排除在抓取之外。把开发服务器上的 robots.txt 原封不动发布到线上、忘了删掉那一行，是相当常见的事故。每次部署后都用浏览器直接打开 robots.txt 确认，并用 Google Search Console 的 robots.txt 测试工具检查重点页面是否被允许。一旦被移出索引，恢复往往要几天到几周。