robots.txt生成ツール

クロールさせないパスやサイトマップのURLを入れるだけで、robots.txtを作ります。AIのクローラーを拒否する設定もチェックを入れるだけで追加できます。

チェックを入れたクローラーは、サイト全体を拒否します。

robots.txt

ノートパソコンの前で手を上げてあいさつするデプロイ太郎

検索結果から外したいときは、noindexを使いましょう。

このツールの後におすすめ

結果を確認したら、次はこちらも使うと作業がもっと早く終わります。

指をさして説明するデプロイ太郎

ページ上の「☆お気に入り」や、ツールの右上にある☆をクリックすると、トップページの「お気に入り」に表示されます。よく使うツールは登録しておくと、次からすぐに開けますよ!

よく使う書き方

指をさして説明するデプロイ太郎

よく使う書き方は、この表で確認できます。

書き方意味
Disallow: /admin//admin/ から始まるURLをクロールさせない
Allow: /admin/public/その中でもここはクロールしてよい
Disallow: /*?s=?s= の付いた検索結果のページを止める
User-agent: GPTBot + Disallow: /GPTBotにサイト全体をクロールさせない

作ったrobots.txtは、robots.txt・サイトマップ確認ツールで判定を確かめられます。

このツールでできること

robots.txtを生成

Allow・Disallow・Sitemapを出力

AIクローラーの拒否

GPTBot・ClaudeBot・CCBotなど

ファイルで保存

robots.txtとしてダウンロード

入力内容は送信されない

処理はすべてお使いのブラウザの中で行います

robots.txt生成の使い方

  1. 1

    方針を選ぶ

    基本はすべて許可します(公開前のサイトなら拒否)

  2. 2

    パスを入力

    クロールさせないパスを1行ずつ入れます

  3. 3

    AIクローラーを選ぶ

    拒否したいAIのクローラーにチェックを入れます

  4. 4

    保存する

    robots.txtを保存して、サイトのいちばん上に置きます

書類の山を前に、汗をかきながらノートパソコンで作業するデプロイ太郎

こんなときに使えます

新しいサイト

robots.txtを用意する

AIの学習を拒否

AIのクローラーを止める

ECサイト

カートや検索結果のページを止める

設定の見直し

今のrobots.txtを作り直す

知っておきたいポイント

ノートパソコンの前で、あごに手を当てて考えるデプロイ太郎

置いたあとは、確認ツールで判定を確かめましょう。

robots.txtの役割

robots.txtは、検索エンジンなどのクローラーに、クロールしてよい場所といけない場所を伝えるファイルです。守るかどうかはクローラー次第で、アクセスを禁止するものではありません。

よくあるつまずきポイント

  • CSSやJavaScriptのフォルダを止めると、検索エンジンがページを正しく表示できなくなることがあります。
  • 公開時に「Disallow: /」を外し忘れると、サイト全体がクロールされません。

よくある質問

robots.txtで止めれば検索結果に出ませんか?

出ないとは限りません。検索結果から外したいページには noindex を使います。

AIクローラーを拒否すると、何が変わりますか?

そのクローラーがサイトの内容を集めなくなります。AIの検索結果などで紹介されにくくなることもあります。

どこに置けばいいですか?

サイトのいちばん上(https://example.com/robots.txt)に置きます。サブフォルダに置いても効きません。

入力データの扱い

鍵のマークの盾を持つデプロイ太郎

入力したURLだけをサーバーに送ります

SEOのツールは、入力したURLのページをITKAGYOのサーバーが代わりに取得し、解析はお使いのブラウザで行います

入力したURLだけを送信

サーバーに送るのは入力したURLだけです。ITKAGYOのサーバーがそのページを取得し、内容をそのままブラウザに返します。

URLもページも保存しない

入力したURLや取得したページの内容は保存しません。連続アクセスの制限のため、IPアドレスを変換した値を1分ほど一時的に記録するだけです。

URLを計測に使わない

入力したURLを、アクセス解析や広告のツールに渡すことはありません。

公開ページだけを取得

ログインが必要なページや社内ネットワークのページは取得しません。Cookieも送りません。

関連ツール

もっと見る

注目のツール

すべてのツールを見る

「こんなツールがあったら助かる」「ここが使いにくい」といった声を、ぜひお寄せください。