WebサイトがGoogleなどの検索エンジンに上位表示されるためには、その検索エンジンから高い評価を得る必要があります。では、検索エンジンはどうやってWebサイトを評価しているのでしょうか？

本日は、検索エンジンの仕組みとWebサイトを巡回するロボット、クローラーについて解説していきます。

目次

---

1. 検索エンジンの仕組み
2. クローラーとは
3. クローラビリティ
4. クローラビリティを向上するには

4.1クロールをリクエスト
4.2サイトマップの作成
4.3ＵＲＬをシンプルにする
4.4被リンクを獲得する
4.5内部リンクを設置する

5. まとめ

GoogleやYahoo!といったインターネット上の情報を検索できるサービスを検索エンジンと呼びますよね。

ここでは、検索エンジンの仕組みを簡単に説明していきます。

簡単にまとめると、➀情報収集、➁カテゴリー分け・データベース化、③評価・検索エンジンに表示という流れになります。

まず、テキストや画像などのWebサイトの情報をロボットが巡回して収集します。

この作業をクローリングと呼びます。クローリングをするロボットについてはのちほど詳しく説明します。

次に、ロボットが収集してきたWebサイトの情報をカテゴリー分けしてデータベース化します。

これをインデックスと呼びます。インデックスされることで、ユーザーが何かを検索したときに、検索ワードと関連したページが表示されるようになります。

最後に、インデックスされたデータを分析し、約200以上の評価基準からWebサイトをランク付けします。

この結果によって、評価が高いWebサイトが検索結果の上位に表示されます。

さて、検索エンジンの仕組みで「Webサイトの情報を巡回して収集するロボット」がいると説明しましたが、次にそのロボットについて説明していきます。

クローリングをするロボットは一般的にクローラーと呼ばれます。英単語のcrawl(這いまわる)に由来しています。

クローラーは、検索エンジンによって種類が違いますが、日本でシェアの高い検索エンジンであるGoogleとYahoo! JAPANはGooglebotという同じクローラーを使用しています。

他には、Microsoftの検索エンジンBingのBingbot、中国最大シェアの検索エンジンBaidu（百度）のBaiduspider、日本以外のYahoo!で使われているYahoo! Slurpなどがあります。

また、クローラーが収集してくるデータには以下のようなものがあります。

これらの情報をもとに検索結果が表示されるようになっているということですね。

ちなみに、画像については、収集はしますが中身まで理解することはできないので、代替テキストの情報を読み取っています。

クローラーと関連する言葉に「クローラビリティ」があります。

クローラビリティとは、クローラーがサイト内の巡回をしやすくすることです。

Web上には無数のサイトやページがありますが、クローラーがそのすべてのサイトやページを見つけ出せるわけではありません。

クローラーが収集した情報を検索結果に反映しているので、クローラーがもし自分のサイトを見つけ出せなかったら検索エンジンに表示されないということです。

またクローラーは、サイトの内容を柔軟に認識するのも苦手です。

そのため、自分のサイトやページを検索エンジンで表示させやすくするためには、クローラーが巡回しやすい環境を作らないといけません。

まず、サイトにページを追加したときや既存のページを更新したときなどは、Googleにクロールをリクエストしましょう。

特に新しいページはまだクロールされていないので、クローラーを呼んで巡回してもらうのがいいですね。

次は、その方法です。

Google Search Consoleという検索についてのレポートを分析できるツールがあります。

Search Consoleから「URL検査」に該当ページのURLを入力します。そうすると、現在のページの状態が表示されます。

すでにインデックスされているページだったら「URLはGoogleに登録されています」と表示され、新規ページでまだインデックスがされていない場合は、「URL が Google に登録されていません」と表示されます。

いずれにしても、「インデックス登録をリクエスト」をクリックすれば、クロールのリクエストができます。

4.2 XMLサイトマップの作成する

XMLサイトマップは、検索エンジンにWebサイト内の情報を伝えるためのファイルです。

ちなみに、サイトマップとはWebサイト全体を地図のように一覧で見られるようにしたものです。

XMLサイトマップがあると、クローラーはサイトの構造を理解しやすくなります。また、新しいページを作ったときにも、より早くインデックスされやすくなります。

XMLサイトマップは、自動生成ツールで作成したり、CMSのプラグインを使って作成したりする方法があります。

XMLサイトマップが完成したら、Search Consoleから「サイトマップ」を選択し、XMLサイトマップのURLを入力します。「送信」をクリックしたら完了です。

4.3 URLをシンプルにする

Googleは「シンプルでわかりやすい語句を URL に使用する」ことを推奨しています。

URLをシンプルで分かりやすい語句にすることで、クローラーは何についてのページなのかを理解しやすくなり、インデックスのスピードも上がります。

また、ユーザー視点で見てもシンプルなURLは分かりやすくていいですよね。

4.4 被リンクを獲得する

外部サイトにリンクが貼られると、外部サイトからクローラーが巡回してきます。

そのため、外部サイトからの被リンクを獲得するほど、クローラーが巡回しやすくなるということですね。

4.5内部リンクを設置する

外部からのリンクも大切ですが、内部のリンクも大切です。

内部リンクを設置することで、クローラーはページの関連性について理解しやすくなります。

また、リンクからリンクへというようにクローラーが効率的にサイト内を巡回する手助けにもなるので、内部リンクは大切です。

しかし、むやみに内部リンクを設置するとかえってクローラビリティが低下することもあるので、適切に設置しましょう。

■検索エンジンは、ロボットがWebサイトの情報を収集してきた結果をランク付けして表示している

■Webサイトを巡回して情報を収集するロボットをクローラーという

■クローラーが巡回しやすくすることをクローラビリティという

新しいページや更新したページはまずクローラーに見つけてもらうことが大切ですね！

そのためにクローラーが情報収集しやすく、巡回しやすいサイトの構造を心掛けましょう。

愛知県内から名古屋市を中心にホームページ制作を行っている会社
株式会社 WWG（ダブルダブルジー）
愛知県 名古屋市中村区名駅5-16-17　花車ビル南館5F

TEL： 052-890-7007
※ ホームページ制作や活用サポートのお問い合わせはコチラから