robots.txt・サイトマップ確認ツール

調べたいサイトのURLを入れるだけで、robots.txtを読み込み、そのURLがクロールできるかを判定します。サイトマップのURL数や更新日も確認できます。

入力したURLのサイトの robots.txt を読み込み、そのURLがクロールできるかを判定します。

ノートパソコンの前で手を上げてあいさつするデプロイ太郎

robots.txtは、クロールを止めるもので、インデックスを止めるものではありません。

このツールの後におすすめ

結果を確認したら、次はこちらも使うと作業がもっと早く終わります。

指をさして説明するデプロイ太郎

ページ上の「☆お気に入り」や、ツールの右上にある☆をクリックすると、トップページの「お気に入り」に表示されます。よく使うツールは登録しておくと、次からすぐに開けますよ!

robots.txtの主な書き方

指をさして説明するデプロイ太郎

主な書き方は、この表で確認できます。

書き方意味
User-agent: *すべてのクローラーへのルール
Disallow: /admin//admin/ から始まるURLをクロールさせない
Allow: /admin/public/Disallowの中でも、ここはクロールしてよい
Disallow: /*.pdf$末尾が .pdf のURLをクロールさせない(*は任意の文字、$は末尾)
Disallow:(空)制限なし
Sitemap: https://〜サイトマップの場所を伝える

同じURLに複数のルールが当てはまる場合、いちばん長い(具体的な)ルールが使われます。長さが同じならAllowが優先されます。

このツールでできること

クロール可否を判定

Googlebot・Bingbot・GPTBotなどで判定

ルールを一覧

User-agentごとのAllow・Disallowを表示

サイトマップも確認

URLの数と、いちばん新しい更新日を表示

送るのはURLだけ

ページの取得だけをサーバーが行い、解析はブラウザで行います

robots.txt・サイトマップ確認の使い方

  1. 1

    URLを入力

    調べたいサイトのURL(ページのURLでも可)を入力します

  2. 2

    クローラーを選ぶ

    判定したいクローラーを選びます

  3. 3

    取得する

    robots.txtの内容と、そのURLがクロールできるかが表示されます

  4. 4

    サイトマップを読み込む

    「読み込む」を押すと、サイトマップのURL数などが表示されます

書類の山を前に、汗をかきながらノートパソコンで作業するデプロイ太郎

こんなときに使えます

インデックスされないとき

robots.txtでブロックしていないか確かめる

AIクローラーの設定確認

GPTBotなどを許可・拒否しているか見る

サイトマップの確認

登録されているURLの数と更新日を確かめる

競合サイトの調査

サイトの規模や、クロールさせていない場所を見る

知っておきたいポイント

ノートパソコンの前で、あごに手を当てて考えるデプロイ太郎

大事なページをDisallowしていないか、ときどき確認しましょう。

robots.txtとは

robots.txt は、サイトのいちばん上(https://example.com/robots.txt)に置くファイルで、検索エンジンなどのクローラーに、クロールしてよい場所・いけない場所を伝えます。

  • User-agent でクローラーを指定し、その下に Allow・Disallow でルールを書きます。
  • 複数のルールが当てはまるときは、いちばん長いルールが使われます。長さが同じならAllowが優先です。
  • Sitemap: でサイトマップの場所を伝えられます。

よくあるつまずきポイント

  • robots.txt はクロールを止めるもので、検索結果から消すものではありません。消したいページには noindex を使います。
  • このツールの判定は、Googleが公開しているルールにもとづく簡易的なものです。正確な確認にはGoogle Search Consoleのrobots.txtレポートを使ってください。
  • 1つのサイトマップに入れられるのは5万URL・50MBまでです。超える場合はサイトマップインデックスで分けます。

よくある質問

robots.txtでブロックすれば検索結果から消えますか?

消えるとは限りません。robots.txtはクロールを止めるもので、ほかのページからリンクされていると、URLだけが検索結果に出ることがあります。

robots.txtがないとどうなりますか?

すべてのページをクロールしてよいものとして扱われます。

サイトマップが大きくて読み込めません

取得できるのは2MBまでです。大きなサイトマップは、途中までの件数が表示されます。

入力データの扱い

鍵のマークの盾を持つデプロイ太郎

入力したURLだけをサーバーに送ります

SEOのツールは、入力したURLのページをITKAGYOのサーバーが代わりに取得し、解析はお使いのブラウザで行います

入力したURLだけを送信

サーバーに送るのは入力したURLだけです。ITKAGYOのサーバーがそのページを取得し、内容をそのままブラウザに返します。

URLもページも保存しない

入力したURLや取得したページの内容は保存しません。連続アクセスの制限のため、IPアドレスを変換した値を1分ほど一時的に記録するだけです。

URLを計測に使わない

入力したURLを、アクセス解析や広告のツールに渡すことはありません。

公開ページだけを取得

ログインが必要なページや社内ネットワークのページは取得しません。Cookieも送りません。

関連ツール

もっと見る

注目のツール

すべてのツールを見る

「こんなツールがあったら助かる」「ここが使いにくい」といった声を、ぜひお寄せください。