クローラーとは？意味や仕組み、巡回を促す対策、拒否する方法をわかりやすく解説

クローラーとは、ネット上のWebサイトを巡回し、検索順位を決める要素を収集するロボットです。
検索エンジンによってクローラーの種類が異なり、Googleの検索エンジンの場合「Googlebot」と呼ばれるクローラーがあります。

新しく公開した記事は、クローラーに見つけてもらうことで検索結果に反映されるため、SEO対策をする上で、重要な役割を担っています。
逆に言えば、どんなに高品質なコンテンツを作成しても、クローラーに見つからない限り、検索結果に表示されることはありません。

検索順位を決める要素という点で、SEO対策においても無視できない存在です。
ただ、どうすればクローラーの巡回を促すことができるのか、分からない方も多いでしょう。
そこで本記事では、クローラーの意味や仕組み、巡回を促す対策、巡回を拒否する方法を分かりやすく解説します。

検索エンジンの仕組み・特徴とは？Google検索で順位が決まる仕組みを分かりやすく解説

クローラーとは

クローラーとは、ネット上に存在するWebサイトを巡回し、検索順位を決める要素を収集するロボットのことです。
このプログラムは「ボット（bot）」「スパイダー」などと呼ばれることもあり、クローラーが巡回し、Webサイトの情報を収集することを「クロール」と呼びます。

GoogleやBingなどの検索エンジンは、独自のクローラーを開発・運営しており、企業独自の「ロボット型検索エンジン」を組み込んでいます。
例えば、Googleの検索エンジンの場合「Googlebot」と呼ばれるクローラーがあります。

クローラーは世界中のWebサイトを訪れて、情報を収集して、検索結果画面に表示しています。
検索結果に表示させるためには、Webページをクローラーに発見してもらわなければいけません。

そのため、クローラーにいかに発見してもらえるかどうかはSEO対策において重要な要素のひとつです。

Webクローラーの種類

Webクローラーにはいくつか種類があります。
基本的に検索エンジンによって、クローラーの種類が異なります。

代表的なクローラーには、以下のようなものがあります。

検索エンジン	クローラー
Google	Googlebot
Yahoo!	Yahoo! Slurp
Bing	Bingbot

検索エンジンの国内シェアは、Googleが7割以上を占めています。
そのため、日本国内でSEO対策を行う際は、Googlebotに認識してもらうことが重要です。

Googleにサイトを登録する方法とは？登録を確認する方法や登録できない時の対処法

Googleクローラーの仕組み

GoogleクローラーがWebサイトを巡回する工程は以下の4つに分けられます。

1. クロールキュー
2. クローリング
3. インデックス
4. ランキング

1つずつ詳しく見ていきましょう。

クロールキュー

クロールには、準備段階としてクロール対象のURLをクロールキューに追加する工程があります。
クロールキューとは、クロールが行われる前の「クロール待ちURLリスト」のことです。

クローラーがクロールできるリソースには限界があるため、URL単位でクロールの優先度を考慮する必要があります。
Googlebotは、クロールキューから優先度が高いURLを取得し、クロールが巡回に訪れます。

クローリング

クローラーがWebページを発見すると、クローリングを開始します。
リンクを辿りながらサイトを巡回し、無数にあるWebページ情報を収集していきます。

データの収集が終わると、得た情報を元にページの解析をするパーシングという作業が行われます。

インデックス

ページの解析が終わると、インデックスが行われます。
インデックスとは、クローラーが収集したサイトの情報をGoogleのデータベースに登録することです。

公開したページがインデックスされることで、Googleで検索したときにユーザーが求めている情報が自動で抽出され、検索結果に表示されます。

クローラーに巡回されるだけでは、Googleの検索結果には表示されません。
インデックスされて初めて検索結果に表示されるので、SEOで上位表示を目指すには、必ずインデックスさせなければいけないのです。

Googleにインデックスされない原因別の対策方法!クローラーが来ない問題の解決方法やインデックスを促進する方法

ランキング

ランキングとは、検索エンジンのデータベースに保存されている情報からキーワードと関連性の高いページの順位を決定して、検索結果に反映させることです。
検索順位は、検索エンジン独自のアルゴリズムを元に反映しています。

ちなみにGoogleは、検索順位を決める要因として200種類以上のアルゴリズムを使用していると言われています。

SEOにおけるクローラー対策の重要性

クローラー対策は、SEOにおいて重要な役割を持ちます。
新しく作成したコンテンツはクローラーに認知してもらい、インデックスされて初めて検索結果に表示されます。

つまり、どんなに高品質なコンテンツを作成しても、クローラーに認知されない限り、検索結果に表示されません。
検索結果に表示されなければ、ユーザーを訪問してもらうことはできなくなります。

また、検索エンジンはユーザーにとって、有益な情報を提供するためのデータベース構築を重要視しています。

クローラーは、一度のクローリングでサイト内のすべての情報を解析できるわけではありません。
1度にクローリングで巡回できる上限があり、複数回に分けて訪れるのが一般的です。

常に最新情報に更新されていたり、ユーザーにとって価値のある情報が正しく掲載されているサイトは、ユーザーにとって有益と判断され、クローラーが訪れる頻度も高まります。
その結果、サイト全体の評価が高まりやすくなるのです。

このことからもクローラー対策は、サイト全体のSEO評価を高めるために重要といえます。

クローラーの巡回を促す対策

新規記事も時間が経過すれば、クローラーに見つけてもらえインデックスされるでしょう。
ただ、できるだけ早く検索結果に表示してもらうには、クローラーが巡回しやすいように自ら対策する必要があります。

ここでは、クローラーの巡回を促す対策を8つ紹介します。

1. Google Search Consoleからリクエストする
2. XMLサイトマップを送信する
3. URLをシンプルにする
4. 内部リンクを最適化する
5. 被リンクを増やす
6. パンくずリストを設置する
7. ページ表示速度を改善する
8. リンク切れしているページを削除する

1つずつ詳しく見ていきましょう。

Googleサーチコンソールからリクエストする

GoogleサーチコンソールのURL検査ツールからクロールの巡回をリクエストできます。
新規でページを作成したり、ページを更新したりした際は、リクエストすることが重要です。

具体的には、以下の手順でリクエストしていきます。

1.Google Search Consoleにログインして左メニューの「URL検査」をクリック

2.上部の「検索窓」にクロールをリクエストしたいURLを入力

3.「インデックス登録をリクエスト」ボタンをクリック

最後に、「インデックス登録をリクエスト」ボタンをクリックすれば、リクエスト完了です。

Googleにインデックスされない原因別の対策方法！クローラーが来ない問題の解決方法やインデックスを促進する方法

XMLサイトマップを送信する

XMLサイトマップとは、検索エンジンに対してクロールしてほしいページを正確に伝えるために作成するURLリストです。
Googleサーチコンソールでサイトマップを送信することで、Googleがサイト構造を把握しやすくなります。

XMLサイトマップを作成している場合、XMLサイトマップを送信することで、クローラーの巡回を促せます。
Googleサーチコンソールの「サイトマップ」からXMLサイトマップのURLを入力して、送信ボタンをクリックするだけです。

この作業を行うことで、徐々にGoogleのクローラーがWebサイトを巡回し始めます。

なお、XMLサイトマップはプラグインを使えば、簡単に作成できます。
プラグインをインストールし有効化しておけば、新しく記事を更新したときに自動的にサイトマップも更新し、Googleへの通知も行われます。

XMLサイトマップ(sitemap.xml)とは？作り方やSEO効果、Googleへの送信方法を解説

URLをシンプルにする

クローラーの巡回を促すために、シンプルなURLにしましょう。
Googleが発表しているURL構造に関するガイドラインでも、URL構造はできるだけシンプルなものにすることが推奨されています。

一方、複雑なURLだと、クローラビリティが悪くなります。

過度に複雑な URL（特に、複数のパラメータを含むURL など）は、サイト上の同じまたは同様のコンテンツを表す多数のURL が不必要に作成される原因となることがあります。その結果、クロールの際に問題が発生し、Googlebotが必要以上に帯域幅を消費したり、サイトのすべてのコンテンツがインデックスに登録されない状態を招いたりする可能性があります。

引用：Google検索セントラル

また、有効なURL設定方法として、対策キーワードを含めることが効果的です。

例えば「リライト やり方」という対策キーワードでコンテンツを作成した場合は、「how-to-rewrite」のようなURL（スラッグ）にします。
このようにURLに対策キーワードを含めることで、ページの内容をクローラーが理解しやすくなるため、SEOにも効果があるとされています。

URLの長さが直接SEOの評価に影響はしませんが、できるだけ簡潔なものにしましょう。

SEOとURLの関係性とは？SEOに効果的なURLの設定方法を解説

内部リンクを最適化する

繰り返しお伝えしているように、クローラーはリンクを辿りながらサイト内を巡回しています。
つまり、内部リンクがしっかり張られているサイトは、それだけ多くのページへクローラーがたどり着きやすくなるのです。

また、内部リンクの設置はSEOにおいても重要な役割を持ちます。
関連するページへの内部リンクを設置することで、特定のトピックにおける関連性を強めたり、ユーザーの滞在時間が伸びたりするメリットがあります。

さらに、内部リンクが張られていないページは、そのページで直帰される可能性が高まります。
内部リンクを最適化することで、複数のページを連続で読んでくれる可能性が高まり、その結果ユーザーの滞在時間が長くなるのです。

ただ、関連性の低いページの内部リンクは、ユーザビリティの向上に繋がらないので、設置しないようにしましょう。

内部リンクとは？SEOに効果的な張り方や最適化のメリット・コツを徹底解説

被リンクを増やす

被リンクを増やせば、クローラーの巡回を促すことができます。
これは、被リンクが増えることで、外部サイトからクローラーを呼び込めるからです。

また、現在のSEOでは被リンクが重要視されています。
これは、被リンクが多いWebサイトは、他のサイトから役立つサイトであるとGoogleが認識するためです。

ただ、低品質なサイトからの被リンクは逆効果になり得るので、注意が必要です。
具体的には、以下のようなリンクはGoogleのガイドラインに反します。

・ランキングを上げることを目的とした有料で売買されているリンク
・過剰な相互リンク
・リンク収集目的のサイトからのリンク
・質の低いディレクトリやブックマークサイトのリンク
・ランキングクレジットを転送するリンク
・コピーコンテンツからのリンク

引用：Google検索セントラル リンクスパム

上記のようなGoogleのガイドラインに反した被リンクは、ペナルティを受ける恐れもあるので、避けるようにしましょう。

被リンクの増やし方とは？良質な被リンクの獲得方法や事例を紹介

パンくずリストを設置する

パンくずリストを設置することも、クローラーの巡回を促せます。
パンくずリストとは、基本ページ上部に表示されるWebサイトのページ階層をリスト化したものです。

サイトの構造をリスト化してまとめることで、クローラーがサイト内を巡回しやすくなり、ページの漏れも少なくなります。
特にサイトの規模が大きくなり、ページ数が多くなってきたら必ずパンくずリストを設置しましょう。

パンくずリストとは？作り方や種類、設置するSEO上のメリットを解説

ページ表示速度を改善する

ページ表示速度の改善も、クローラーが巡回を促す上で重要な対策です。
ページ表示速度が速まると、ユーザーの利便性が向上するだけでなく、クロールの速度も上がります。

逆に表示速度が遅かったり、サーバーエラーが多かったりする場合は、サーバーに問題があるとみなされ、クロールの巡回が遅くなります。
あまりに遅すぎると、インデックスされない原因ともなり得ます。

また、ページの表示速度が遅いと、ユーザーの直帰率・離脱率にも大きく影響します。
Googleが行った調査によると、サイトの表示速度が1秒から3秒に落ちると直帰率が32%も高まるという結果が出ています。

・読み込み時間が1秒から3秒に落ちる：離脱率32%上昇

・読み込み時間が1秒から5秒に落ちる：離脱率90%上昇

・読み込み時間が1秒から6秒に落ちる：離脱率106%上昇

・読み込み時間が1秒から10秒に落ちる：離脱率123%上昇

引用：Find out how you stack up to new industry benchmarks for mobile page speed

ユーザビリティとクローラビリティどちらの面を考えても、ページの表示速度は速いに越したことはありません。
ページの表示速度は「PageSpeed Insights」というGoogleが提供している無料ツールで簡単に測定できます。

URLを入力するだけで、モバイル版・PC版それぞれのページパフォーマンスを測定してくれます。
100点満点中50点未満の場合は、表示速度が遅いです。

Webサイト表示速度の改善方法とは？読み込みスピードを計測するツールや数値の目安を紹介

リンク切れしているページを削除する

サイト内にリンク切れしているページがあればそのページは削除しましょう。
リンク切れとは、Webページ上のリンクが正常に機能しない状態のことです。

クローラーは、サイト内にあるリンクを辿ってページを巡回しています。
そのため、リンク切れのページが存在すると、本来巡回できるはずのページにたどり着けなくなってしまう可能性があるのです。

また、リンク切れが多いサイトは、ユーザーに不快感を与えてしまい、途中で離脱してしまうことにつながりかねません。
結果的に、SEOでもマイナスな評価を受けて、クローラーの巡回も遅くなってしまいます。

Broken Link Checkerというプラグインを利用して、サイト内にリンク切れを起こしていないかを確認しましょう。

リンク切れとは？発見に役立つチェックツールや原因、対処法を解説

クローラーの巡回を拒否する方法

クローラーに巡回を促すだけでなく、巡回を拒否することもできます。

テスト公開ページや重要度の低いファイルなど、検索結果に表示させたくないページまでクロールされると、サイト全体の評価が下がるリスクがあります。
そういったページに対しては、クロールの巡回を拒否することが重要です。

クローラーの巡回を拒否する主な方法は、次の2つです。

1. robots.txtを使う
2. noindexタグを設定する

それぞれ詳しく見ていきましょう。

robots.txtを使う

robots.txtとは、検索エンジンに該当URLをクロールしないように制御するファイルです。
robots.txtファイルを作り、Webサイトにアップロードすることで、クロールを禁止したり、許可したりとクローラーの制御が行えます。

サイト全体だけでなく、特定のページや画像・動画といった特定のファイルに対してのみ、クロールの制御を行うことも可能です。

robots.txtの書き方・設定方法｜実際の使用ケースや記述例も紹介

noindexタグを設定する

robots.txtは特定ページのクロールを拒否するだけであり、インデックスはされる可能性があります。
完全に検索結果から排除したい場合は、noindexタグを設定しましょう。

各ページにnoindexタグを設定する場合は、プラグインの利用がおすすめです。
「All in One SEO Pack」や「Yoast SEO」というプラグインを使えば、簡単にnoindexタグを設定できます。

このプラグインはnoindexタグの設定だけでなく、SEO対策全般に便利なプラグインです。
そのため、SEO対策をしたい方は導入するべきプラグインです。

noindexタグとは？設定方法やSEOへの影響、実装ページの確認方法を解説

クローラーに関するよくある質問

クローラーに関するよくある質問をまとめました。
ぜひ参考にしてください。

• クローリングを最適化するメリットは何ですか？
• クロールを拒否した方が良いときはありますか？
• なかなかクロールされないのはどんな原因が考えられますか？

クローリングを最適化するメリットは何ですか？

検索エンジンはWebページをクロールすることで、初めてそのページの存在や内容を認識します。
逆に言えば、ページがクロールされない限り、いつまで経っても検索結果に表示されません。

クローリングを最適化することで、新規記事やリライトした記事をいち早くクローラーに見つけてもらいやすくなります。

クロールを拒否した方が良いときはありますか？

ほとんどのページはクロールさせる必要がありますが、あえてクロールさせない方が良い場合もあります。
具体的には、以下のようなケースです。

• 会員ユーザー限定のページ
• テストページ
• 重要度の低いファイル
• 検索ユーザーに必要ないページ

上記のようなケースではrobots.txtやnoindexタグを設定し、クロールを制御するなどの対策が必要です。

なかなかクロールされないのはどんな原因が考えられますか？

クローラーはサイトのリンクを辿ってページを認識するため、サイト内でリンク切れを起こしている場合は、クロールされづらくなってしまいます。

リンク切れを起こしていると、クロールされないだけでなく、ユーザビリティが下がるリスクもあります。
Broken Link Checkerというプラグインを利用して、サイト内にリンク切れを起こしていないかを確認しましょう。

また、robots.txtタグの設定により、クロール自体が拒否されていないかも確認してください。

Googleにインデックスされない原因別の対策方法！クローラーが来ない問題の解決方法やインデックスを促進する方法