
robots.txtは、クロールを止めるもので、インデックスを止めるものではありません。
このツールの後におすすめ
結果を確認したら、次はこちらも使うと作業がもっと早く終わります。

ページ上の「☆お気に入り」や、ツールの右上にある☆をクリックすると、トップページの「お気に入り」に表示されます。よく使うツールは登録しておくと、次からすぐに開けますよ!
robots.txtの主な書き方

主な書き方は、この表で確認できます。
| 書き方 | 意味 |
|---|---|
| User-agent: * | すべてのクローラーへのルール |
| Disallow: /admin/ | /admin/ から始まるURLをクロールさせない |
| Allow: /admin/public/ | Disallowの中でも、ここはクロールしてよい |
| Disallow: /*.pdf$ | 末尾が .pdf のURLをクロールさせない(*は任意の文字、$は末尾) |
| Disallow:(空) | 制限なし |
| Sitemap: https://〜 | サイトマップの場所を伝える |
同じURLに複数のルールが当てはまる場合、いちばん長い(具体的な)ルールが使われます。長さが同じならAllowが優先されます。
このツールでできること
クロール可否を判定
Googlebot・Bingbot・GPTBotなどで判定
ルールを一覧
User-agentごとのAllow・Disallowを表示
サイトマップも確認
URLの数と、いちばん新しい更新日を表示
送るのはURLだけ
ページの取得だけをサーバーが行い、解析はブラウザで行います
robots.txt・サイトマップ確認の使い方
- 1
URLを入力
調べたいサイトのURL(ページのURLでも可)を入力します
- 2
クローラーを選ぶ
判定したいクローラーを選びます
- 3
取得する
robots.txtの内容と、そのURLがクロールできるかが表示されます
- 4
サイトマップを読み込む
「読み込む」を押すと、サイトマップのURL数などが表示されます

こんなときに使えます
インデックスされないとき
robots.txtでブロックしていないか確かめる
AIクローラーの設定確認
GPTBotなどを許可・拒否しているか見る
サイトマップの確認
登録されているURLの数と更新日を確かめる
競合サイトの調査
サイトの規模や、クロールさせていない場所を見る
知っておきたいポイント

大事なページをDisallowしていないか、ときどき確認しましょう。
robots.txtとは
robots.txt は、サイトのいちばん上(https://example.com/robots.txt)に置くファイルで、検索エンジンなどのクローラーに、クロールしてよい場所・いけない場所を伝えます。
- User-agent でクローラーを指定し、その下に Allow・Disallow でルールを書きます。
- 複数のルールが当てはまるときは、いちばん長いルールが使われます。長さが同じならAllowが優先です。
- Sitemap: でサイトマップの場所を伝えられます。
よくあるつまずきポイント
- robots.txt はクロールを止めるもので、検索結果から消すものではありません。消したいページには noindex を使います。
- このツールの判定は、Googleが公開しているルールにもとづく簡易的なものです。正確な確認にはGoogle Search Consoleのrobots.txtレポートを使ってください。
- 1つのサイトマップに入れられるのは5万URL・50MBまでです。超える場合はサイトマップインデックスで分けます。
よくある質問
robots.txtでブロックすれば検索結果から消えますか?
消えるとは限りません。robots.txtはクロールを止めるもので、ほかのページからリンクされていると、URLだけが検索結果に出ることがあります。
robots.txtがないとどうなりますか?
すべてのページをクロールしてよいものとして扱われます。
サイトマップが大きくて読み込めません
取得できるのは2MBまでです。大きなサイトマップは、途中までの件数が表示されます。
入力データの扱い
入力したURLだけを送信
サーバーに送るのは入力したURLだけです。ITKAGYOのサーバーがそのページを取得し、内容をそのままブラウザに返します。
URLもページも保存しない
入力したURLや取得したページの内容は保存しません。連続アクセスの制限のため、IPアドレスを変換した値を1分ほど一時的に記録するだけです。
URLを計測に使わない
入力したURLを、アクセス解析や広告のツールに渡すことはありません。
公開ページだけを取得
ログインが必要なページや社内ネットワークのページは取得しません。Cookieも送りません。
