チェックを入れたクローラーは、サイト全体を拒否します。

検索結果から外したいときは、noindexを使いましょう。
このツールの後におすすめ
結果を確認したら、次はこちらも使うと作業がもっと早く終わります。

ページ上の「☆お気に入り」や、ツールの右上にある☆をクリックすると、トップページの「お気に入り」に表示されます。よく使うツールは登録しておくと、次からすぐに開けますよ!
よく使う書き方

よく使う書き方は、この表で確認できます。
| 書き方 | 意味 |
|---|---|
| Disallow: /admin/ | /admin/ から始まるURLをクロールさせない |
| Allow: /admin/public/ | その中でもここはクロールしてよい |
| Disallow: /*?s= | ?s= の付いた検索結果のページを止める |
| User-agent: GPTBot + Disallow: / | GPTBotにサイト全体をクロールさせない |
作ったrobots.txtは、robots.txt・サイトマップ確認ツールで判定を確かめられます。
このツールでできること
robots.txtを生成
Allow・Disallow・Sitemapを出力
AIクローラーの拒否
GPTBot・ClaudeBot・CCBotなど
ファイルで保存
robots.txtとしてダウンロード
入力内容は送信されない
処理はすべてお使いのブラウザの中で行います
robots.txt生成の使い方
- 1
方針を選ぶ
基本はすべて許可します(公開前のサイトなら拒否)
- 2
パスを入力
クロールさせないパスを1行ずつ入れます
- 3
AIクローラーを選ぶ
拒否したいAIのクローラーにチェックを入れます
- 4
保存する
robots.txtを保存して、サイトのいちばん上に置きます

こんなときに使えます
新しいサイト
robots.txtを用意する
AIの学習を拒否
AIのクローラーを止める
ECサイト
カートや検索結果のページを止める
設定の見直し
今のrobots.txtを作り直す
知っておきたいポイント

置いたあとは、確認ツールで判定を確かめましょう。
robots.txtの役割
robots.txtは、検索エンジンなどのクローラーに、クロールしてよい場所といけない場所を伝えるファイルです。守るかどうかはクローラー次第で、アクセスを禁止するものではありません。
よくあるつまずきポイント
- CSSやJavaScriptのフォルダを止めると、検索エンジンがページを正しく表示できなくなることがあります。
- 公開時に「Disallow: /」を外し忘れると、サイト全体がクロールされません。
よくある質問
robots.txtで止めれば検索結果に出ませんか?
出ないとは限りません。検索結果から外したいページには noindex を使います。
AIクローラーを拒否すると、何が変わりますか?
そのクローラーがサイトの内容を集めなくなります。AIの検索結果などで紹介されにくくなることもあります。
どこに置けばいいですか?
サイトのいちばん上(https://example.com/robots.txt)に置きます。サブフォルダに置いても効きません。
入力データの扱い
入力したURLだけを送信
サーバーに送るのは入力したURLだけです。ITKAGYOのサーバーがそのページを取得し、内容をそのままブラウザに返します。
URLもページも保存しない
入力したURLや取得したページの内容は保存しません。連続アクセスの制限のため、IPアドレスを変換した値を1分ほど一時的に記録するだけです。
URLを計測に使わない
入力したURLを、アクセス解析や広告のツールに渡すことはありません。
公開ページだけを取得
ログインが必要なページや社内ネットワークのページは取得しません。Cookieも送りません。
