- 検索エンジンが、Web上のページを次々とたどって自動で巡回し情報を集める動き、それがクロールだ
- この巡回があるからこそ、世界中の膨大なページが検索の対象として把握され、検索結果に並ぶことができる
- クロールの仕組みがわかると、自分のサイトが検索に出るために何が起きているのかが見えてくる
【深掘り】これだけ知ってればOK！
クロールは、検索エンジンがWebページを自動的に巡回してまわる動きを指します。あるページにあるリンクをたどって次のページへ、そこからまた次へと、網の目をたどるように移動しながら、各ページの内容を読み取って集めていきます。手作業ではとても追いつかない膨大な数のページを、機械が休みなく巡回し続けることで、Web全体の情報が把握されていきます。
クロールを実際に行うのが、クローラーと呼ばれるプログラムです。クロールが巡回という動作を指すのに対し、クローラーはその動作を担う主体にあたります。掃除という行為と掃除機の関係に近いといえます。このプログラムが集めてきた情報は、検索エンジンの内部で索引として整理され、利用者が検索したときに素早く結果を返すための土台になります。
サイトを運営する立場からすると、クロールは検索に表示されるための入口です。新しく作ったページも、クロールされなければ検索結果に現れません。そのため、サイトの構造をわかりやすくし、ページ同士を適切にリンクでつないでおくことが、巡回されやすさにつながります。検索からの訪問者を増やしたいなら、まずクロールされる状態を整えることが、すべての出発点になるのです。
よくある誤解
クロールとクローラーは指すものが違う
両者を同じものとして使ってしまいがちですが、厳密には異なります。クロールは巡回するという動作そのものを指し、クローラーはその動作を行うプログラムを指します。行為と、行為の主体。この区別を意識すると、検索の仕組みの説明がより正確に理解できます。
クロールされればすぐ検索上位に出るわけではない
巡回されさえすれば検索結果の上位に表示される、と考えるのは誤りです。クロールは、あくまで検索の対象として認識される段階にすぎません。実際にどの順位で表示されるかは、内容の質など別の要素で決まります。巡回は出発点であって、ゴールではないのです。
会話での使われ方
新しいページ作ったのに検索に出ないんだ。まだクロールされてないのかもしれないね。
Web担当の先輩が、検索に出ない原因を後輩と探っている場面。
クロールとクローラーって同じだと思ってました。動きと、それをやるプログラムの違いなんですね。
新人が、用語の区別を先輩に確認しているやり取り。
検索からの流入を増やすには、まずサイトがクロールされやすい構造に整えることを提案します。巡回されなければ、そもそも検索結果に載りません。
サイト運営の担当者が、検索対策の方針を会議で説明している場面。
【まとめ】3つのポイント
- ページを自動で巡回する動き：検索エンジンがリンクをたどってWebページを次々と巡回し、内容を読み取って集める動きです。
- クローラーが担う動作：クロールは巡回という動作、クローラーはそれを行うプログラム。掃除と掃除機のような関係です。
- 検索表示への入口：巡回されなければ検索結果に現れません。わかりやすい構造とリンクが巡回されやすさにつながります。
よくある質問
-
Qクロールは誰が行っているのですか？
-
A
検索エンジンが運用する、クローラーと呼ばれる自動プログラムが行っています。このプログラムが、ページにあるリンクをたどって次々と巡回し、各ページの内容を読み取って集めます。人手ではなく機械が休みなく続けています。
-
Q自分のサイトをクロールしてもらうにはどうすればいいですか？
-
A
サイトの構造をわかりやすくし、ページ同士をリンクで適切につないでおくことが基本です。これにより、クローラーが巡回しやすくなります。検索エンジンに巡回を促す専用の手続きを使う方法もあります。
-
Qクロールされれば検索の上位に表示されますか？
-
A
いいえ。クロールは、検索の対象として認識される段階にすぎません。実際の表示順位は、ページの内容の質など別の要素で決まります。巡回は検索に載るための出発点であって、上位表示を保証するものではありません。
-
Qクロールとクローラーの違いは何ですか？
-
A
クロールがWebページを巡回するという動作を指すのに対し、クローラーはその動作を実際に行うプログラムを指します。掃除という行為が掃除機という道具によって行われるのと同じ関係だと捉えると整理できます。
【出典】参考URL
https://e-words.jp/ ：クロール・クローラーの用語定義の参考
https://www.soumu.go.jp/ ：検索エンジンの仕組みの参考
https://wa3.i-3-i.info/ ：クロールのやさしい解説の参考
コメント