robots.txt生成の無料オンラインツール。検索エンジンクローラーの許可/拒否ルール設定、サイトマップURL対応。SEO最適化に必須。
User-agent: * Allow: /
Ctrl+D を押してこのページをブックマークしてください
robots. txt生成ツールは、検索エンジンクローラーのアクセスを制御するrobots. txtファイルを簡単に作成する無料オンラインツールです。 Allow/Disallowルール、サイトマップURL、クロール遅延を設定できます。 ブラウザ内で処理されます。
robots.txtはWebサイトのルートに配置され、検索エンジンのクローラーにどのページをクロールまたは無視すべきかを伝えるテキストファイルです。
いいえ。robots.txtはクロールのみを制御し、他のサイトからリンクされている場合は検索結果に表示される可能性があります。完全な除外にはnoindexメタタグを使用してください。
robots.txtでGPTBot、ClaudeBot、PerplexityBotのように各社が公開しているクローラー名を指定してDisallowを設定します。最近ではContent-Signalという方式で、search=yes、ai-train=noのように用途ごとの可否を1行で示す方法も使われます。ただしrobots.txtは規則に従うと宣言したクローラーにだけ有効な「お願い」であって技術的な遮断ではないため、絶対に取られては困る内容はログインの背後に置くべきです。
はい。Disallow: / の1行だけでサイト全体がクロールから除外されます。開発サーバーに設定したこの記述を消さないまま本番へ公開してしまう事故は、実際によく起こります。公開直後にrobots.txtをブラウザで直接開いて確認し、Google Search Consoleのrobots.txtテスターで主要ページが許可されているか点検してください。インデックスから消えたあと元に戻るには数日から数週間かかります。