クローラビリティとは？SEOにおける重要性や改善方法、状況確認の方法を紹介

SEOに強いWebサイトを作るためには、クローラビリティを高めることが重要です。
クローラビリティとは、クローラーがWebページを見つけて巡回しやすい状態かどうかを示すSEO用語です。

どんなにSEO対策を行ったとしても、その記事がクロールされないと検索結果に表示されることはありません。
自社サイトのクローラビリティを改善することで、クローラーにページを発見してもらいやすくなり、正しく評価されるようになります。

しかし、クローラビリティは目に見えてわかる指標ではないため、どのように対策すれば良いかわからない方も多いでしょう。

そこで本記事では、クローラビリティのSEOにおける重要性や改善方法、状況確認の方法を解説します。
本記事を参考に、自社サイトのクローラビリティを改善し、SEOに強いサイトを作っていきましょう。

クローラーとは？意味や仕組み、巡回を促す対策、拒否する方法をわかりやすく解説

クローラビリティとは

クローラビリティとは、Webサイトがクロールしやすい状態かどうかを示す言葉です。
クローラビリティが高いほど、クローラーが自社サイトを見つけやすく、コンテンツを評価してもらいやすくなります。

SEO対策にはたくさんの施策がありますが、クローラビリティを向上させることはSEOに強いサイトを作る上で非常に大切です。

クローラビリティを理解するためには、まずクローラーについて知っておく必要があります。

クローラーとは

クローラーとは、ネット上に存在する世界中のWebサイトを巡回し、検索順位を決める要素を収集するロボットのことです。
このプログラムは「bot（ボット）」「スパイダー」と呼ばれることもあり、このクローラーがWebサイトを巡回し、Webサイトの情報を収集することを「クロール」と言います。

GoogleやBingなどの検索エンジンは、独自のクローラーを開発・運営しており、企業独自の「ロボット型検索エンジン」を組み込んでいます。
例えば、Googleのクローラーは「Googlebot（グーグルボット）」と呼ばれています。

クローラーはWebサイトの内容を認識する際、人間のような柔軟な評価をすることはできません。
そのため、クローラーがサイトの内容を認識しやすいコンテンツを作成する必要があります。

クローラーとは？意味や仕組み、巡回を促す対策、拒否する方法をわかりやすく解説

クローラビリティが低いと検索結果に表示されづらい

SEOに強いWebサイトを作るには、クローラビリティの向上は欠かせません。

クローラビリティが低い状態では、クローラーが自社サイトのページを発見しづらく、クロールされるまでに時間がかかってしまいます。
最悪の場合、いつまで経っても検索結果に表示されないという事態にもなりかねません。

どんなに時間をかけてSEO対策を行っても、そもそもページがクロールされなければまったく意味がありません。
そのため、SEOに強いWebサイトを作るためには、クローラビリティを高めることを最優先に考える必要があるのです。

クローラーは各検索エンジンに存在する？

クローラーは各検索エンジンに存在しますが、最も有名なのはGoogleのクローラー「Google bot（グーグルボット）」でしょう。

Googlebot はGoogleのWeb上におけるクローラーの総称で、画像検索には「Googlebot-image」、モバイル検索には「Googlebot-Mobile」など、さまざまな種類があります。

ちなみに、国内シェア2位のYahoo!はGoogleの検索システムを採用しているため、Googleのクローラーを意識すればYahoo!のSEO対策もできるということです。
日本の検索エンジンはGoogleとYahoo!でおよそ95%を占めているため、Googleのクローラビリティを高めることだけを意識すれば良いでしょう。

検索エンジンのランキング！日本・世界のシェア率を一覧で紹介！

クローラビリティがSEOで重要な理由

クローラビリティがSEOで重要視されているのは、Webサイトの集客に大きく影響するためです。
SEO対策を行っているほとんどのWebサイトは、Googleなどの検索エンジンからの集客がメインになっているはずです。

クローラビリティの高いサイトなら新しいコンテンツを公開したり、既存コンテンツを更新したときにクローラーがWebサイトの情報をスムーズに収集してくれます。
検索結果にも表示されやすくなり、検索エンジンからの集客もしやすくなるでしょう。

逆にクローラビリティが低いサイトだと、クローラーがWebサイトに訪れる機会が少なくなってしまい、検索結果にも表示されづらくなってしまうのです。
日頃行っているSEO対策を無駄にせず検索エンジンから集客するためにも、自社サイトのクローラビリティを高めておくことは重要です。

自社サイトのクロール状況を確認する方法

記事を公開・更新した後すぐにクロールされるわけではありません。
クロールされるまでには数日～数週間の時間がかかり、その時間もサイトやページによって異なります。

ここでは、自社サイトで公開・更新したページがクロールされているかどうかを確認する方法を紹介します。

1. Googleサーチコンソールのクロールの統計情報で確認する
2. 前回のクロール日時を確認する方法

それぞれ詳しく見ていきましょう。

Googleサーチコンソールのクロールの統計情報で確認する

Googleサーチコンソールの「クロールの統計情報」からも確認できます。
「クロール統計情報」では、登録したサイトがどれくらいクロールされているのか確認できます。

確認方法は、まずGoogleサーチコンソールにログインして、左側のメニューにある「設定」ボタンをクリックしてください。

設定画面を開いたら、「クロールの統計情報」欄にある「レポートを開く」をクリックします。

レポートを開くと、自社サイトの90日間のクロール活動状況をグラフで確認できます。

グラフが右肩上がりで上昇していればクローラビリティが高い傾向にあると考えられます。
一方、右肩が下がりになっているとクローラビリティが低下している恐れがあるので、対策が必要でしょう。

Googleサーチコンソールとは？できることや使い方、登録方法・設定方法を解説

前回のクロール日時を確認する方法

Googleサーチコンソールを使うことで、前回のクロール日時を確認できます。
まずは、Googleサーチコンソールにログインし、左メニューの「URL検査」をクリックしてください。

画面上部の検索窓にクロール状況を確認したいページのURLを入力します。
すると、下記のようにページのインデックス状況が表示されます。

「ページのインデックス登録」タブをクリックすると、その中に「前回のクロール」という項目が表示されます。
前回のクロールから1ヵ月以上経過している場合は、クローラビリティが低い可能性があるので対策が必要でしょう。

クローラビリティを改善するための対策方法

ここでは、クローラビリティを改善するための対策方法を紹介します。

1. Google Search Consoleでリクエストする
2. XMLサイトマップを送信する
3. 内部リンクを適切に設置する
4. パンくずリストを設定する
5. ディレクトリ階層を浅くする
6. リンク切れしているページがないか確認する
7. ページの表示速度を改善する
8. 良質な被リンクを獲得する

1つずつ詳しく見ていきましょう。

Googleサーチコンソールでリクエストする

Googleサーチコンソールを使えば、クロールの巡回をリクエストできます。
新しくページを公開したり、ページを更新したりした際はリクエストしましょう。

具体的には、下記3ステップでリクエストしていきます。

1.Googleサーチコンソールにログインし左メニューの「URL検査」をクリック

2.ページ上部の検索窓にクロールしたいページのURLを入力

3.インデックス登録をリクエストボタンをクリック

最後に「インデックス登録をリクエスト」ボタンをクリックすれば、クロールを促すことができます。

XMLサイトマップを送信する

XMLサイトマップを送信することで、クローラビリティの向上が期待できます。
XMLサイトマップとは、検索エンジンに対してクロールしてほしいページを正確に伝えるためのURLリストです。

Googleサーチコンソールでサイトマップを送信することで、Googleがサイト構造を把握しやすくなり、クローラビリティが向上します。
特にWebサイトの規模が大きい場合やサイト内に画像・動画などのファイルが多い場合は、早めにXMLサイトマップの作成を行いましょう。

送信方法はGoogleサーチコンソールにログイン後、左メニューの「サイトマップ」から、XMLサイトマップのURLを入力し、送信ボタンをクリックするだけです。

なお、WordPressでサイトを作成している場合、「XML Sitemaps」というプラグインを使えば、簡単にXMLサイトマップを作成できます。
「XML Sitemaps」をインストールし有効化しておけば、新規コンテンツを更新したときに自動的にサイトマップも更新し、Googleへの通知も行われます。

XMLサイトマップ(sitemap.xml)とは？作り方やSEO効果、Googleへの送信方法を解説

内部リンクを適切に設置する

繰り返しになりますが、クローラーはサイト内のリンクを辿りながらサイトを巡回しています。
そのため、内部リンクを適切に設置することで、クローラビリティを高めることができます。

内部リンクとは、サイト内のページ同士をつなぐリンクです。

既にクロールされている既存記事に、クロールしてほしい記事の内部リンクを設置することで、クロールしてもらえる可能性が高まります。

また、内部リンクの設置はユーザビリティの観点でも重要な役割を持ちます。
サイト内の関連するページへの内部リンクを設置することで、特定のトピックにおける関連性を強めたり、ユーザーの回遊性を高めたりするメリットがあります。

ただ、とにかく闇雲に内部リンクを設置すれば良いわけではありません。
関連性の低いページへの内部リンクはクローラビリティ・ユーザビリティの向上に繋がらないので、設置しないようにしましょう。

内部リンクとは？SEOに効果的な張り方や最適化のメリット・コツを徹底解説

パンくずリストを設定する

パンくずリストとは、ページ上部に表示されるWebサイトのページ階層をリスト化したもので、Webサイト内の「現在地」を示すための機能です。

TOP > Nobilistaブログ > SEO > 記事タイトル

上記は当サイトのパンくずリストで、現在のページがどの階層にあるのかがわかりやすくなっているのが特徴です。
Webサイトの構造をリスト化してまとめることで、クローラーが巡回しやすくなり、ページの漏れも少なくなります。

また、ユーザーにとってナビゲーションの役割があるため、ユーザビリティの向上も期待できます。
特にWebサイトの規模が大きくなり、カテゴリーが多くなってきたらパンくずリストの設置は必須と言えるでしょう。

パンくずリストとは？作り方や種類、設置するSEO上のメリットを解説

ディレクトリ階層を浅くする

ディレクトリ階層をできるだけ浅くするとクローラビリティが向上します。
ディレクトリとは、URLの「/（スラッシュ）」で区切られた部分です。

• example.com/
• example.com/japan
• example.com/japan/tokyo/shibuya

ディレクトリ階層を深くしすぎるとURLが複雑になるため、クローラビリティが低下する恐れがあります。

Google公式の「URL構造に関するガイドライン」でも、URL構造はできるだけシンプルなものにすることが推奨されています。

過度に複雑な URL（特に、複数のパラメータを含むURLなど）は、サイト上の同じまたは同様のコンテンツを表す多数のURLが不必要に作成される原因となることがあります。
その結果、クロールの際に問題が発生し、Googlebotが必要以上に帯域幅を消費したり、サイトのすべてのコンテンツがインデックスに登録されない状態を招いたりする可能性があります。

引用：URL構造に関するガイドライン

3～4個のディレクトリであれば問題ないですが、5個以上のディレクトリになると複雑なURLになるので注意しましょう。

リンク切れしているページがないか確認する

サイト内にリンク切れしているページがないかも確認しましょう。
リンク切れとは、Webページ上のリンクが正常に機能しない状態のことです。

クローラーは、サイト内のリンクを辿ってページを巡回しています。
サイト内にリンク切れのページが存在すると、本来巡回できるはずのページにクローラーがたどり着けなくなってしまう可能性があるのです。

また、リンク切れがあるとユーザーに不快感を与えてしまい、途中で離脱してしまうことにもつながります。

WordPressを利用している場合、BrokenLink Checkerというプラグインでサイト内のリンク切れをチェックできます。
無料で利用できるプラグインなので、ぜひ活用してください。

リンク切れとは？発見に役立つチェックツールや原因、対処法を解説

ページの表示速度を改善する

ページの表示速度を改善すると、クローラビリティの向上が期待できます。

逆にページの表示速度が遅かったり、サーバーエラーが多かったりする場合は、サーバーに問題があるとみなされ、クロールの巡回が遅くなります。
あまりに遅すぎると、クロールされない原因にもなりかねません。

また、ページの表示速度が遅いとクローラビリティ以外にユーザーの直帰率や離脱率にも大きく影響します。
Googleが行った調査によると、サイトの表示速度が1秒から3秒に落ちると直帰率が32%高まるという結果が出ています。

・読み込み時間が1秒から3秒に落ちる：離脱率32%上昇
・読み込み時間が1秒から5秒に落ちる：離脱率90%上昇
・読み込み時間が1秒から6秒に落ちる：離脱率106%上昇
・読み込み時間が1秒から10秒に落ちる：離脱率123%上昇

引用：Find out how you stack up to new industry benchmarks for mobile page speed

このようにクローラビリティとユーザビリティどちらの面を考えても、ページの表示速度は早いに越したことはありません。
ページの表示速度は、Googleが提供する無料ツール「PageSpeedInsights」で簡単に測定できるので、ぜひ活用してください。

Webサイト表示速度の改善方法とは？読み込みスピードを計測するツールや数値の目安を紹介

良質な被リンクを獲得する

良質な被リンクを獲得することで、クローラビリティが向上します。

被リンクとは、他のサイトで張られた自サイトへの外部リンクのことです。
クローラーはリンクを辿ってサイトを巡回しており、良質な被リンクが増えることで外部サイトからクローラーを呼び込めます。

ただ、被リンクの獲得が多ければ良いわけではありません。

現在のSEOでは被リンクの量よりも質が重要視されており、あくまで良質な被リンクを獲得することが重要です。
下記のような被リンクはむしろWebサイトの評価やクローラビリティを低下させるリスクがあるのでご注意ください。

• ランキングを上げることを目的としたリンクの売買
• 過剰な相互リンク
• 自動化されたサービスを使用して自分のサイトへのリンクを作成する

良質な被リンクは、ユーザーのためになる良質なコンテンツを作成する他に方法はありません。

とはいえ良質な被リンクの獲得は、自分でコントロールできない対策でもあります。
そのため、とにかくユーザーのためになる高品質なコンテンツを作成することだけに注力しましょう。

被リンクとは？増やし方や獲得方法の例、SEOとの関係

どうしてもインデックスされない場合の原因と対処法

クローラビリティを高める工夫をしても、インデックスされない場合もあるでしょう。
ここでは、インデックスされない場合の原因と対処法を紹介します。

1. Googleペナルティを受けている
2. コンテンツの質が低い
3. noindexを設定している

それぞれ詳しく見ていきましょう。

Googleペナルティを受けている

Googleの定めるガイドラインに違反し、ペナルティを受けるとインデックスされません。
たとえ一度インデックスされたページでも、ガイドライン違反が見つかるとすぐにインデックスから除外させられることもあります。

Googleのペナルティには「手動ペナルティ」と「自動ペナルティ」の2つがあります。

自動ペナルティは検索順位が大きく下げられるものの、インデックス自体を除外されるケースはほとんどありません。
一方、手動ペナルティは自動ペナルティよりも重く、インデックスから除外させられるケースも多いのが特徴です。

手動ペナルティを受けた場合、Google Seach Consoleに通知が届きます。
Google Search Consoleにログインし、左メニューにある「手動による対策」をクリックします。

Googleペナルティを受けていない場合は上記のように「問題は検出されませんでした」と表示されます。

一方、手動ペナルティを受けると「〇件の問題が検出されました」と表示されます。
もしも手動ペナルティを受けた場合は、違反内容を確認してすぐに対応してください。

違反内容を修正したら、Googleへ再審査リクエストをしましょう。
審査は数日～数週間で行われ、問題が解消していれば再度インデックス登録されます。

Googleペナルティとは？解除方法や確認方法、原因と対策を解説

コンテンツの質が低い

コンテンツの質が低いとインデックスされない可能性があります。
また、Webサイト内に1つでも低品質のコンテンツがあると、Webサイト全体の評価が下がり、クローラビリティが低下する恐れもあります。

具体的には以下のようなコンテンツが低品質とみなされます。

• ユーザーの悩みや疑問を解決できるほどの情報量がない
• 自動生成されたコンテンツ
• 他のサイトをコピーした内容

これらに該当するコンテンツはインデックスされない可能性が高いです。
低品質のコンテンツは他のページにも悪影響を及ぼすため、ページ自体を削除するか、リライトをしてコンテンツの質を高めましょう。

Googleにインデックスされない原因別の対策方法を解説！クローラーが来ない問題の解決方法やインデックスを促進する方法とは

noindexを設定している

ページにnoindexが設定されていることも、インデックスされない原因のひとつです。
noindexとは、検索エンジンに特定のページをインデックスしないように指示するタグです。

検索結果に表示させる必要のないページや低品質ページにnoindexを設定し、サイト全体の評価を落とさないことを目的に用いられます。
WordPressを利用して作成したコンテンツの場合、デフォルトでnoindexが設定されている可能性もあります。

noindexタグが設定されているかどうかは、Googleサーチコンソールで確認できます。
左メニューの「ページ」から「ページがインデックスに登録されなかった理由」という項目があります。

その中の「noindexタグによって除外されました」をクリックすれば、noindexが理由でインデックスされていない記事のURLが確認できます。

noindexタグとは？設定方法やSEOへの影響、実装ページの確認方法を解説

クローラビリティに関するよくある質問

クローラビリティに関するよくある質問をまとめました。
ぜひ参考にしてください。

クローラビリティはGoogleだけを意識すれば良いですか？

クローラビリティは基本的にGoogleだけを意識して行えば問題ありません。
なぜなら、国内の検索エンジンシェアのほとんどをGoogleが占めているからです。

また、Googleに次いで日本で2番目のシェアを占めるYahoo!もGoogleの検索エンジンを採用しています。
つまり、Googleを意識してクローラビリティ向上に努めれば、日本ユーザーの約9割に対して効果的なSEO対策が行えることになります。

検索エンジンのランキング！日本・世界のシェア率を一覧で紹介！

クローラビリティはなぜ重要なのですか？

クローラビリティがSEOで重要視されるのは、Webサイトの集客に影響するためです。
公開・更新した記事が検索結果に表示されるためには、クロールしてもらう必要があります。

クローラビリティが低いといつまで経ってもクローラーに見つけてもらえず、検索結果に表示されない、もしくは表示されるまでに時間がかかってしまうのです。
逆にクローラビリティの対策を行うことで、公開・更新したページをいち早く発見してもらえて、検索結果に反映してもらえます。

クロールとは何ですか？

クロールとはクローラーがサイトを巡回し、ページ情報を取得する行為です。
サイトのリンクを辿りなら、世界中のページを巡回しています。

別名「クローリング」と呼ばれることもあります。

インデックスとは何ですか？

インデックスとは、クローラーが収集したサイトの情報をGoogleのデータベースに登録することです。
公開・更新したページがインデックスされることで、Google等の検索エンジンで検索したときにユーザーが求める情報が自動抽出され、検索結果に表示されます。

インデックスとは？SEOとの関係や確認方法、登録方法を解説

クロールバジェットとは何ですか？

クロールバジェットとは、1つのサイトに対してクロールできる上限数です。

Googlebotが1 つのサイトをクロールできる時間には限界があります。Googleがサイトのクロールに費やす時間とリソースは、通常、サイトのクロールバジェットと呼ばれます。

引用：Google検索セントラル

新しく公開・更新した記事が検索結果に表示されるには、クロールしてもらう必要があります。

しかし、クローラーも無限にクロールできるわけではなく、能力に上限があるのです。
これを「クロールバジェット」と呼んでいます。

基本的にクロールバジェットは「Webサイトへ同時に接続できる最大数」と「サーバーへの応答にどれだけ時間がかかったか」によってクロールバジェットが決められています。

クロールバジェットとは？大規模サイトのSEOやGoogleの見解を解説

インデックスされない原因は何ですか？

クローラビリティを高める工夫をしても、インデックスされない場合があります。
インデックスされない主な原因として下記の3つが考えられます。

• Googleペナルティを受けている
• コンテンツの質が低い
• noindexを設定している

本記事の「どうしてもインデックスされない場合の原因と対処法」を参考に対策しましょう。

Googleにインデックスされない原因別の対策方法を解説！クローラーが来ない問題の解決方法やインデックスを促進する方法とは

Googleにインデックスされるまでにどれくらいの時間がかかりますか？

公開・更新したページがインデックスされるまでには、数時間～数週間かかります。
ただ、時間が経過すれば必ずインデックスされるわけではありません。

立ち上げたばかりのサイトやGoogleペナルティを受けているサイトは、いつまで経ってもインデックスされない場合があります。
Google公式の基準では「少なくとも1週間は待ってから問題の特定を始めるように」と言及されています。

インデックスのリクエストをしてから、1週間程度は待ちましょう。

SEO対策の効果とは？効果が出るまでの期間や効果の高いSEO施策を紹介

クロールを拒否した方が良いときはありますか？

基本的にほとんどのページはクロールさせる必要がありますが、あえてクロールされない方が良いときもあります。
あえてクロールさせない方が良いのは以下のようなケースです。

• 会員ページ等で会員ユーザー限定のページ
• テストページ
• 重要度の低いファイル
• 検索ユーザーに必要ないページ

上記のようなケースではrobots.txtやnoindexタグを設定し、クロール・インデックスを制御するといった対策が必要です。

robots.txtの書き方とは？確認方法やSEO意識した使用ケース、記述例も紹介