検索エンジンのクローラーとは




seo6SEO対策の話のなかで、クローラーとインデックスという言葉がよく出てきます。これらの言葉が理解できていないと、SEO対策として行うひとつひとつの作業が何のためなのか理解できませんので、すこしずつ覚えていってください。検索エンジンはプログラムですので、すべては論理的に、言い換えれば数学的に動いています。内側の仕組みを理解してゆくことで、複雑に見えるSEO対策がずっとシンプルなものに思えてきます。

検索エンジン、ここではGoogleを例にとりますが、Googleは世界中のサイトを順次読み込んでいます。この読み込んでいくプログラムのことをクローラーといいます。クローラーとは英語で地面を這いまわる虫のことです。世界中のウェブサイトを隅々まで這いまわって調べるのでこの名前を付けたのかもしれません。別名にスパイダーというのがあります。スパイダーは英語でクモのことです。ウェブ(蜘蛛の巣)を動きまわるからスパイダーと名付けたのでしょう。

クローラーはページ同士をつなぐリンクをたどって全てのページを読み込もうとします。具体的には、クローラーはGoogleが管理しているクロールするべきページのURLのリストを上から順番に読みに来ます。そのページをGoogleのデータベースにコピーし、解析しますが、このときページにリンクがあれば、リンク先のアドレスを次にクロールするリストに追加します。クローラーはそのリンク先のページをすぐ読みに行くわけではなく、リストに追加するだけです。一筆書きのように読み込んでいくのではなく、リストに登録されている順に1ページずつインデックスされていくことを覚えておいてください。

参考:SEO対策で言うインデックスとは

もうひとつ知っておくべきことがあります。クローラーは読み込んだページを再び読み込み直す、つまり更新があったかチェックしにくるために読み込みリストにそのページのURLを追加します。このとき、次にいつ読み込みにくるかを決めるのですが、再読込をしたときに前回から更新されていれば頻度は短くなります。逆に更新がなければ頻度は長くなります。これを繰り返すと頻度は数分まで早くなります。逆に二度と来ないほど長くもなります。例えば記事を投稿したら1時間後にはもう上位に表示されて集客が始まるとしたらどうでしょうか。逆に記事を追加しても3ヶ月ほど検索エンジンには登録されない場合と比べてみてください。これがSEO対策にはサイトの定期的な更新が大切なひとつの理由です。

参考:SEO対策にはサイトの定期的な更新が大切