SEO
公開日2023年2月13日
更新日2024年05月31日
Googleにインデックスされない原因別の対策方法!クローラーが来ない問題の解決方法やインデックスを促進する方法
甲斐龍之介
SEOツール「Nobilista(ノビリスタ)」の事業責任者。株式会社IIPにて取締役兼SEO担当者。中小企業庁が設置した経営相談所、福岡県よろず支援拠点にてSEOコンサルタントとしても活動。
詳細を見る
インデックスの問題を解決する効率的な流れは、まず、インデックスされているかどうかを確認することからとなります。
そのうえで、もし本当にインデックスがされていないのであれば、以下でご紹介するインデックスされない原因を確認していきましょう。
- 立ち上げたばかりのWebサイトや新規ページ(記事)
- リンクが少ない(リンク構造の問題)
- 一度に大量のインデックスが必要な状況
- robots.txt の設定ミス
- noindex タグの外し忘れ
- 正規化がうまくできていない
- 「.htaccess」ファイルの設定ミス
- PHPエラー
- ページをリダイレクトしている
- Googleからペナルティを受けている(ガイドライン違反)
- Webサイトやコンテンツ(ブログ記事)の質が低い
インデックスがされず、不安に思う気持ちはよくわかります。
実際に、検索結果への表示が待ち遠しく、すぐ「インデックスに問題があるのでは」と疑ってしまう方は多いです。
しかし、ここはぐっとこらえましょう。
もしかしたら、インデックスに問題はなく「これから」というタイミングかもしれません。
まずは冷静に、インデックスについて理解を深めていきましょう。
大手企業も続々導入中!
多機能型 検索順位チェックツール「Nobilista(ノビリスタ)」
Nobilistaは、365日完全自動で大量の検索キーワードの順位を計測するSEOツールです。
※7日間の無料トライアル実施中
テクニカルSEOとは?コンテンツSEOとの違いや施策の種類、メリット・デメリットを紹介
「インデックスされる」とは?間違った意味に注意
まず「インデックスされる」の意味を、間違えて理解している方を見かけます。
たとえば「インデックスされる=上位表示する(1ページ目に表示する)」という意味ではありません。
インデックスとは「索引」という意味のとおり、Googleが所有するデータベースに、Webサイトの情報を分類・整理して保管すること。
つまり「インデックスされる」とは、Googleのデータベースへの保管が完了したことを意味します。
あらためて、WebサイトがGoogleの検索結果に表示されるまでの流れを見てみましょう。
- クローラーがWebサイトを巡回し、中身を把握する(=クロール)
- Webサイトの情報を持ち帰り、データベースに「インデックス」する
- ユーザーが検索するたび、アルゴリズムによって適切なページをインデックスから選出する
- 検索結果に選出したページを「有益なものから順番に」表示する
インデックスとは?SEOとの関係や確認方法、登録方法を解説
クロールとインデックスの関係性
ご覧のとおり、インデックスには、クローラーの存在が欠かせません。
インデックスがされない原因が、クローラーにある可能性も覚えておきましょう。
クローラー(スパイダー、ロボット)とは、Webサイトの内容を理解し、Googleのデータベースに情報を持ち帰るためのプログラムです。
Googleの場合は「Google bot(ボット)」とも呼ばれます。
ちなみに、クローラーが持ち帰る情報は、ページのテキストだけではありません。
画像や音声、動画といった、Webページを構成するものは大体認識できます。
つまり、画像や音声、動画などもインデックスの対象です。
覚えておきたいのは、すべてのWebサイトが「かならずクロール(インデックス)される」とは限らない点。
何かしらの理由(インデックスされない原因)で、クロールやインデックスがされないことは普通にあります。
クローラーとは?意味や仕組み、巡回を促す対策、拒否する方法をわかりやすく解説
「Google検索にヒットしない=インデックスしていない」とは限らない
最初にもお話したとおり「インデックスされる=上位表示する」ではありません。
もしかしたら、100位あたりに表示されている可能性も考えられます。
また、検索結果の順番(何ページに表示されるか)は、インデックスの問題ではなく、アルゴリズムによる評価の問題です。
インデックスされない問題と、上位表示できない問題は別物と考えましょう。
もちろん、対処法も違います。
だからこそ、この次にお話する「インデックスされているか確認する方法」というステップが必要となるのです。
上位表示ができない理由や、順位が伸び悩んでいるという方は、以下の記事をご覧ください。
昨今のGoogleの傾向から、おすすめのSEO施策をご紹介しています。
検索順位が上がらない理由とは?上位に来ない理由別の対処法
Googleにインデックスされているか確認する方法
「Googleの検索結果に表示されない。インデックスされていないのでは・・・?」
このように感じた方は、まず本当にインデックスされていないのかを確認しましょう。
インデックスされているか確認する方法は、大きく3つあります。
- Googleサーチコンソール「URL検査ツール」
- Googleサーチコンソール「ページのインデックス登録」
- 検索コマンド「site:」
Googleサーチコンソール「URL検査」
特定のページのインデックスについて調べたい。
このような方におすすめなのが、Googleサーチコンソールの「URL検査」です。
URL検査の使い方は次のとおり。
- Googleサーチコンソールのを開き「URL検査」を選択
- 調べたいページのURLを入力
インデックスがされている場合は、次のような表示が出ます。
一方、インデックスされてない場合は以下のような表示が出ます。
ページがインデックスされていない場合は、インデックスがされていない理由が表示されます。
上記の「検出 – インデックス未登録」が理由です。
理由には、原因ごとの決まった項目が出るようになっています。
この理由の具体的な意味は、後ほどくわしく解説するためご安心を。
まずは、URL検査でインデックスされていないとわかったら、「理由」の内容を見る必要があることを覚えましょう。
GoogleサーチコンソールのURL検査ツールとは?使い方や見方、上限を気にせず一括調査するための外部ツールも紹介
Googleサーチコンソール「ページのインデックス登録」
Webサイト全体のインデックス状況が知りたい。
インデックスに問題が起きていないか確認したい。
このような方は、同じくGoogleサーチコンソールの「ページのインデックス登録」がおすすめです。
いま現在、どれくらいのページが、インデックスされているか。
インデックスされていないものには、どのようなページがあるか。
Webサイト全体のインデックスに関する情報を見ることができます。
Googleサーチコンソール「ページのインデックス登録」の使い方は次のとおり。
- Googleサーチコンソールを開き「インデックス作成 – ページ」を選択
- 「ページのインデックス登録」が開く
画像にある緑色の「登録済み」がインデックスされている数。
一方「未登録」は、インデックスされていないページの数です。
インデックスされていないページが多いことは、それほど気にする必要はありません。
というのも、インデックスする必要のないページの方が、基本的に多くなりやすいからです。
もちろん、インデックスしてほしいページが、未登録にあったら対処すべきです。
インデックスされなかった理由を見て、後述の適切な対処を行いましょう。
Googleサーチコンソールとは?できることや使い方、登録方法・設定方法を解説
検索コマンド「site:」
インデックスを簡易的に調べたいのなら、検索コマンド(コマンドオプション/演算子)の「site:(サイトコロン)」もおすすめです。
- 検索窓の先頭に「site:」と入力
- 「site:」に続けて、調べたいURLを入力し検索する
たとえば「https://co.nobilista.com/ja/column/seo/keyword-selection/」のページがインデックスされているか調べたい場合は、以下のように入力します。
site:https://co.nobilista.com/ja/column/seo/keyword-selection/
インデックスされていたら、該当のページが表示。
インデックスされていない場合は「情報は見つかりませんでした」と表示されます。
インデックスされている場合は次のような表示が出ます。
インデックスされてない場合は、次のような表示になります。
ちなみに、Webサイト全体のインデックス状況を「site:」で調べたいのなら、トップページなど一番階層が上のURLを入力します。
弊社であれば、たとえばトップページの「site:https://co.nobilista.com/ja/」です。
この場合「https://co.nobilista.com/ja/column/seo/keyword-selection/」のような、下層にあるページのインデックス状況も表示されます。
ほかにも、以下の方法で、画像のみのインデックス状況を見ることが可能。
ただし「site:」は、Googleサーチコンソールの「URL検査」よりも、1週間程度、情報の反映が遅いことに注意しましょう。
そのため、Googleサーチコンソールではインデックスされているのに「site:」だとページが表示されない、といったこともあります。
Googleにインデックスされない原因別の対処法
もし、あなたのウェブサイトがインデックスされていないのあれば、その理由を調べましょう。
特定のページの場合は、URL検査にある「インデックスされない理由」を見て原因を特定します。
Webサイト全体におけるインデックスの問題を解決したいのなら、先ほどのページのインデックス登録にある「ページがインデックスに登録されなかった理由」のそれぞれの項目を見てください。
ちなみに、インデックスされない原因は大きく3つです。
1、クロールやインデックスに 時間がかかっているだけ | ・立ち上げたばかりのWebサイトや新規ページ ・リンクが少ない(リンク構造の問題) ・一度に大量のインデックスが必要な状況 |
2、robots.txtやnoindex タグなど Webサイトの設定・記述ミス | ・robots.txt の設定ミス ・noindexタグの外し忘れ ・正規化がうまくできていない ・.htaccessファイルの設定ミス ・PHPエラー ・ページをリダイレクトしている |
3、Webサイトの品質の問題 | ・Googleからペナルティを受けている ・Webサイトやコンテンツの質が低い |
立ち上げたばかりのWebサイトや新規ページ(記事)
インデックスされない原因 | まだクローラーが来ていないため。 (Googleによりページは検出済み) |
インデックスに 登録されなかった理由※ | 検出 – インデックス未登録 |
主な対処法 | ・待つ(数日~2週間程度) ・外部リンク(被リンク)を獲得 ・XMLサイトマップの送信 ・インデックス登録のリクエスト |
この原因が考えられるサイト | ・Webサイトを立ち上げて1日~2日 ・新規サイトのページ |
立ち上げたばかりのWebサイトやページは、そもそもクローラーが来ていない可能性を考えましょう。
新規サイトは、インデックスにそれなりの時間がかかるといわれています。
それでも、いつかは問題なくインデックスされるもの。
Googleの発言を見てみましょう。
「一般に、Google のクロール頻度は 1~2 週間は比較的安定しているはずです。」
引用:クロールの統計情報レポート
「Google が新しいページやサイトのクロールおよびインデックス登録を開始するまでに、1 週間程度かかることがあります。ページまたはサイトが新しい場合は、Google が検出してクロールするまで数日お待ちください。」
引用:ページ インデックス登録レポート
個人的には、新規ドメインのWebサイトでも、最近はわりとインデックスが速いと感じています。
以下は、個人の体感による、インデックスにかかる時間の目安です。
- 新規ドメインのWebサイト:数日、遅くて1~2週間
- 新規ページ(記事)の作成:その日のうち~2日以内
いずれにせよ、まずはクローラーが来ているかどうか確認しましょう。
GoogleサーチコンソールのURL検査か、ページのインデックス登録の「ページがインデックスに登録されなかった理由」に「検出 – インデックス未登録」と表示されていたらまだクロールはされていません。
そもそも、なぜ新規サイトはインデックスされづらいのでしょうか。
その理由は、クローラーがやってくるための「リンク」が少ないからです。
クローラーは基本的に、リンクを通ってWebサイトに来ます。
つまり、新規サイトは外部リンク(被リンク)がなく、クローラーに気づいてもらいづらい状態といえるでしょう。
主な対処法は、気長に待つのも良し。
ただ、せっかくなので、以下のようにできることをやるのもおすすめです。
- 外部リンク(被リンク)を獲得
- XMLサイトマップの送信
- インデックス登録のリクエスト
とくに「XMLサイトマップの送信」は、かなり効果が期待できます。
くわしい内容は「Googleへインデックスを促進させる方法」をご覧ください。
被リンクの増やし方とは?良質な被リンクの獲得方法や事例を紹介
リンクが少ない(リンク構造の問題)
インデックスされない原因 | 複雑なリンク構造によって、クローラーが Webサイトやページを見つけられていないため。 |
インデックスに 登録されなかった理由 | 検出 – インデックス未登録 |
主な対処法 | ・内部リンクの設置 ・外部リンク(被リンク)の獲得 ・Webサイトの構造を見直す ・XMLサイトマップの送信 ・インデックス登録のリクエスト |
この原因が考えられるサイト | ・該当ページへのリンクがない ・該当ページのある階層が深すぎる ・サイト構造が複雑 |
既存サイトでも、リンクがないページへは、クローラーも到達できません。
見つけづらいページは、インデックスされづらいと考えましょう。
新規サイトが、インデックスされづらい理由と一緒です。
リンク構造が原因でインデックスされない場合は、XMLサイトマップやインデックス登録リクエストの対応はもちろん。
リンク構造の見直しもおすすめします。
たとえば、インデックスしないページに対して、トップページから「新着記事」や「注目記事」と内部リンクを設置するなど。
もともと、サイト構造が複雑であったり階層が深すぎるのは、SEOの観点からはもちろん、ユーザビリティとしてもおすすめしません。
これを機に、あらためてWebサイトを見直すのはいかがでしょうか。
内部リンクとは?SEOに効果的な張り方や最適化のメリット・コツを徹底解説
一度に大量のインデックスが必要な状況
インデックスされない原因 | インデックスが必要なページが多く、該当のページに クローラーがたどり着いていないため。 |
ページがインデックスに 登録されなかった理由 | 検出 – インデックス未登録 |
主な対処法 | ・待つ ・robots.txt でクロール不要なページを指定する ・XMLサイトマップの送信 |
この原因が考えられるサイト | ・大規模サイト(何万ページ規模) ・リダイレクトチェーンが異常に多いWebサイト ・フィルタやソート機能が大量にあるWebサイト |
何万ページもある大規模サイトのインデックスが、一夜にして完了することはありません。
インデックスが進行している最中だ、と考えるのが妥当です。
とくに、数万単位の規模となると、クロールバジェットの問題も考えられます。
クロールバジェット(クロールの割り当て)とは、サーバーへの負荷を考えて、クロールの回数や頻度をGoogleが制限するプログラム。
もちろん、制限は一時的です。
数日もすれば、たとえ大量のコンテンツでもインデックスは順次行われます。
とはいえ、クロールバジェットはよほどの大規模サイトでない限り、ほとんど心配する必要のないこと。
そのため、この原因に当てはまるWebサイトは少ないでしょう。
ただし、大規模サイト以外にも、異常な回数のリダイレクトを繰り返す「リダイレクトチェーン」の多いWebサイトや、フィルタ・ソート機能のような自動生成する動的コンテンツが大量にあるWebサイトは、可能性がないこともないです。
念のため、Googleサーチコンソールの「設定>クロールの統計情報」で異常が出てないかをチェックしましょう。
もし、この原因に当てはまる場合は「robots.txt」を設定します。
robots.txt は、クロールへの指示書のようなもの。
このページはクロールしなくていい、というのを伝えられます。
つまり、robots.txt にクロールが不要な箇所を記載することで、クロールの節約が行えるというわけです。
具体的な内容は、以下の記事をご覧ください。
robots.txtの書き方と設定方法|実際の使用ケースや記述例も紹介
robots.txt の設定ミス
インデックスされない原因 | robots.txt の記述に間違いがあり、 クローラーが来られない状態になっているため。 |
インデックスに 登録されなかった理由 | URL が robots.txt によってブロックされています。 (robots.txt によりブロックされました) |
主な対処法 | robots.txt の記述を修正または削除 |
この原因が考えられるサイト | ・直近でrobots.txtを使用した ・急にインデックスがされなくなった |
ここからは、設定などWebサイト内の技術的な問題に関する原因を紹介します。
まず考えられるのが「robots.txt の記述ミス」です。
ただしいrobots.txt の記述例は次のとおり。
User-agent: *
Disallow: /wp/wp-admin/
上記の記述の意味は次のとおりです。
User-agent: (記述例) User-agent: * | 指示の対象(制御するクローラーの名前)。 (記述例の意味) 以下は、すべてのクローラーに対しての指示です。 |
Disallow: (記述例) Disallow: /wp/wp-admin/ | クロールを許可しない場所。 (記述例の意味) 「https://example.com/wp/wp-admin/」(の下層を含む)ページへの クロールを許可しません。 |
robots.txt 内の記述は、無効のものがあると、自動で要素が繰り上がる仕組みになっています。
たとえば、以下の場合、指示したい内容は「PC・スマホ用のクローラーは許可して、画像用のクローラーのみ、すべてのページへのクロールを許可しない」です。
user-agent: googlebot
alow: /
user-agent: Googlebot-Image
disallow: /
しかし、よく見ると「allow」がスペルミスで「alow」になっています。
すると「alow」の行が無効化され、以下のような記述に自動で書き換えられます。
user-agent: googlebot
user-agent: Googlebot-Image
disallow: /
この指示の意味は「PC・スマホ用クローラーと、画像用クローラーどちらとも、すべてのページへのクロールを許可しない。」です。
つまり、画像用のクローラーのみ許可しないつもりが、検索結果に表示させるための通常のクローラーにまで、クロールを許可しない指示を出しています。
急にインデックスされなくなったという方や、直近でrobots.txt を作成された方は、robots.txt の記述ミスを疑いましょう。
robots.txt を確認する方法は、主に2つです。
- シークレットブラウザで、robots.txt ファイルのURLをアドレスバーに入力
- Googleサーチコンソールの「robots.txt テスター」で確認
くわしい方法は、以下の記事をご覧ください。
robots.txtの書き方と設定方法|実際の使用ケースや記述例も紹介
noindex タグの外し忘れ
インデックスされない原因 | noindexタグの設置によって、インデックスを 禁止している状態になっているため。 |
ページがインデックスに 登録されなかった理由 | noindexタグによって除外されました |
主な対処法 | noindex の設定があるかの確認→タグを削除 |
この原因が考えられるサイト | ・数週間たってもインデックスされない。 ・最近noindexタグを設置した。 ・新規サイト ・外部に制作を依頼したWebサイト |
noindexタグとは、インデックスを禁止するためのタグです。
noindex タグを設定すると、インデックス内のWebサイトの情報はすべて削除されます。
もちろん、検索結果には表示されません。
この原因は、Webサイトを外部に依頼した際に多いです。
テスト環境で、noindex タグを設置し、納品時に外し忘れていたというケース。
noindex タグがあるかどうかの確認は、ページのソースを表示して「noindex 」と検索する。
または、Chromeの拡張機能「SEO META in 1 CLICK」の利用も便利でおすすめです。
プロは何を使ってる?SEO対策に必須のChrome拡張機能12選!
正規化がうまくできていない
インデックスされない原因 | 別のページを正規ページとしており、 インデックスしない状態になっているため。 =正規化の指定先が間違っている。 (canonical タグのURLの記載ミス) |
ページがインデックスに 登録されなかった理由 | ・代替ページ(適切な canonical タグあり) ・重複しています。 (ユーザーにより、正規ページとして選択されていません) ・重複しています。 (Googleにより、ユーザーがマークしたページとは 異なるページが正規ページとして選択されました。) |
主な対処法 | ・canonical タグの記述を修正(正規のURLに変更) |
この原因が考えられるサイト | ・直近でcanonical タグを使用。 |
重複ページのURL正規化で使用する「canonical タグ」。
Googleは、正規化ページ以外をインデックスしないという仕組みになっています。
canonical タグは、正規化したいページのURLを記載して使うタグです。
しかし、そのURLが間違っているため、インデックスがされないというケース。
この場合、まずは正規化先がどのページになっているかを確認しましょう。
正規化先を簡単に調べる方法は、以下の2つ。
- Googleサーチコンソールの「URL検査」で調べる
- 「SEO META in 1 CLICK」で調べる
Googleサーチコンソールの「URL検査」で調べる方法は次のとおりです。
「SEO META in 1 CLICK」で調べる方法は次のとおりです。
正規化したいURLが違う場合は、canonical タグの記述を修正しましょう。
canonical(カノニカル)とは?設定方法や書き方、重複URLの正規化によるSEOへの影響
「.htaccess」ファイルの設定ミス
インデックスされない原因 | .htaccessファイルにかかわるエラーが サーバーエラー(500エラー)を引き起こし、 クロールができない状態のため。 |
ページがインデックスに 登録されなかった理由 | サーバーエラー(5xx) |
主な対処法 | ・.htaccessファイルを元に戻す ・プラグインをリセット(または停止)し原因を探る ・テーマを元に戻す ・バックアップデータを復元 |
この原因が考えられるサイト | ・WordPressを使用しているWebサイト ・500エラーが出ている ・.htaccessファイルを編集した ・直近でプラグインやテーマを追加・更新した |
以下の条件がそろっている場合は、何かしらの変更(行動)によって.htaccessファイルが自動で書き換えられ、エラーを起こしている可能性があります。
- Webサイトに、WordPress(ワードプレス)を使用している。
- インデックスされないだけでなく、500エラーなど別の問題も見られる。
- 直近 .htaccessファイルを編集した。
- プラグインやテーマを追加・更新した。
最終的に500エラーになると、クロールすることができません。
もちろん、インデックスも不可能です。
.htaccessファイルのエラー原因としては、以下のようなものがあります。
- ファイルの記述ミス
- パーミッション設定のミス
- プラグインやテーマの影響
プラグインはとくに、キャッシュ系プラグインやセキュリティ系プラグインを疑いましょう。
いずれにせよ「.htaccess」ファイルを元に戻したり、プラグインやテーマを停止して原因を探ったり、直近に行った行動を振り返って対処することをおすすめします。
.htaccessとは?書き方や設定方法、読み方、ファイル作成方法を解説
PHPエラー
インデックスされない原因 | PHPエラーによって、サーバーエラー(500エラー)が 起こり、クロールができない状態のため。 |
ページがインデックスに 登録されなかった理由 | サーバーエラー(5xx) |
主な対処法 | ・バックアップ系プラグインのファイルを削除 ・テーマを元に戻す ・バックアップデータを復元 |
この原因が考えられるサイト | ・WordPressを使用しているWebサイト ・500エラーが出ている ・直近でWordPressのアップデートを行った ・古いバージョンのPHPを使っている ・PHPのバージョンい(または変更した) ・プラグインを追加した(更新した) ・バックアップ系プラグインを使用している ・テーマを更新した(変更した、カスタマイズした) |
.htaccessの問題とほぼ同様です。
こちらも、とくにWordPressを使用している方は疑ったほうがよい原因でしょう。
PHPエラーの原因は、以下のものが挙げられます。
- WordPressやPHPのバージョンの影響
- プラグインやテーマの影響
とくに、プラグインはバックアップ系のもので、データ容量がサーバーを圧迫しているケースがあります。
その際は、プラグインを停止し、バックアップファイルを削除してください。
ページをリダイレクトしている
インデックスされない原因 | 該当のページを間違えてリダイレクトしているため。 |
ページがインデックスに 登録されなかった理由 | ・ページにリダイレクトがあります ・リダイレクトエラー |
主な対処法 | ・リダイレクト設定を見直す・解除する ・リダイレクトチェーンの解消 ・リダイレクトループの確認 |
この原因が考えられるサイト | ・リダイレクトを行っている |
正規化としても使われる「リダイレクト」。
Googleは通常、リダイレクト先(最終的にたどり着く最後のURL)をインデックスします。
もしインデックスしたいページがリダイレクトされているのなら、修正を行いましょう。
ただし、リダイレクトが何度も続く「リダイレクトチェーン」や、リダイレクトが最終的にループする「リダイレクトループ」は「リダイレクトエラー」として処理されます。
リダイレクトエラーの場合も、インデックスはされません。
あらためて、リダイレクト設定を見直すようにしましょう。
該当のページがリダイレクトエラーを起こしているかは、URL検査ツールやページのインデックス登録からわかります。
301リダイレクトとは?設定方法・確認方法やSEOとの関係、.htaccessの書き方を解説
Googleからペナルティを受けている(ガイドライン違反)
インデックスされない原因 | ガイドライン違反によるペナルティ措置。 |
ページがインデックスに 登録されなかった理由 | クロール済み – インデックス未登録 |
主な対処法 | ガイドライン違反となっている原因を改善する。 |
この原因が考えられるサイト | ・ブラックハットSEOを行っている ・ペナルティを受けている中古ドメインを使っている ・「手動による対策」を受けている |
ガイドライン違反によってペナルティを受けている際も、インデックスされません。
とはいえ、ペナルティを受けている場合は、Googleサーチコンソールの「手動による対策」から一目でわかります。
万が一、手動による対策を受けていたら、ガイドライン違反の対象を特定します。
そして、改善が終わり次第「再審査リクエスト」を送りましょう。
再審査リクエストから回復までは、数週間かかるといわれています。
どのようなことがガイドライン違反にあたるかは、「Google ウェブ検索のスパムに関するポリシー」をご覧ください。
Googleペナルティとは?解除方法や確認方法、原因と対策を解説
Webサイトやコンテンツ(ブログ記事)の質が低い
インデックスされない原因 | Webサイト、またはコンテンツの質が低い。 |
ページがインデックスに 登録されなかった理由 | クロール済み – インデックス未登録 |
主な対処法 | ・質の高いコンテンツを作る ・記事のリライト |
この原因が考えられるサイト | すべてのWebサイト。 |
Webサイトやコンテンツの質が低いために、インデックスされないケースもあります。
もし、ここまでの原因すべてに思い当たらない場合は、Webサイトやコンテンツの内容を見直しましょう。
とはいっても、多くの方は「自身のWebサイトの質が低いわけない」と思うものです。
けれども実際に、Googleのジョン・ミューラー氏は、質の低さによってインデックスされないケースが増えていると発言しています。
(意訳)クロールやインデックスのためのアルゴリズムは、ビリヤードをしたり、コーヒーを飲んだりするために休むことはない。
いつも働いている。
もし逆に、彼らが働いていない(サイトをクロール、インデックスしない)と感じるのなら、彼らはより重要だと思うサイトで働いているのだろう。
(であれば対策は)重要なサイトを見逃していると、彼らを説得したらいい。
また、Googleはインデックスの基準を引き上げているという話もあるようです。
たしかに、ネット上には今日もクロールやインデックスが必要なWebサイトがあふれています。
であれば、Googleが優先順位を決めて、インデックスを行っている可能性は高いでしょう。
インデックスされない原因がわからない場合。
そのほとんどは、品質に問題があるのかもしれません。
まずは、Webサイトの質や、コンテンツの内容を見直してみてはいかがでしょうか。
リライトのやり方とは?事例や効果が出るまでの時間、注意点を解説
(参考)Googleサーチコンソールの「未登録」理由の各意味
あらためて、Googleサーチコンソールの「ページがインデックスに登録されなかった理由」に表示される、それぞれの項目の意味について触れておきましょう。
この項目には、インデックスがされないおおよその理由が記載されています。
ただし、そのすべてが解決しなくてはならないわけではありません。
インデックスが必要なページのみ、対応するとよいでしょう。
未登録の理由 | 詳細 |
代替ページ (適切な canonical タグあり) | canonical により、別のページが正規化したことでインデックスされなかった。 |
重複しています。 ユーザーにより、正規ページとして選択されていません | canonical などによる正規化はしておらず、Google側が選んだページを正規化したことでインデックスされなかった。 |
重複しています。 Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました。 | 指定した正規化先とは別に、Google側が選んだページが正規化したことでインデックスされなかった。 |
重複ページとそれに伴う正規化によって、インデックスされなかったページ。
重要なページが正規化されていれば、気にする必要はありません。
URL が robots.txt によって ブロックされています。 | 「robots.txt」によってブロックされているため インデックスされなかった。 |
noindex タグによって除外されました | 「noindex」によってインデックスから除外された。 |
ページ削除ツールにより ブロックされました | 「URL 削除リクエスト(URL削除ツール)」によって、 一時的にインデックスがブロックされているため、 インデックスされなかった。 |
設定などによって意図的にクローラーやインデックスを制御し、インデックスされなかったページ。
間違って設定しているのでなければ、こちらも気にする必要はありません。
未承認のリクエスト(401)が 原因でブロックされました | 認証が必要なページ(管理画面やマイページ、ログイン画面など)で クロールできないため、インデックスもできなかった。 |
アクセス禁止(403)が 原因でブロックされました | アクセス権が必要なページでクロールできないため、 インデックスされなかった。 |
ソフト404 | コンテンツのないページや空白となっているページ(低品質のページも)など、 本来404コードとなるべきものが、200(OK:正しく表示された)という矛盾したコードで返ってくる。 エラーを考慮し、インデックスはしなかった。 |
見つかりませんでした(404) | ページが存在しない(削除された、アクセス権がない)ため インデックスされなかった。 |
他の 4xx の問題が原因で、 URL がブロックされました | その他の4xx 系エラーが発生したため、 クロールとインデックスができなかった。 |
基本的に、インデックスが不要なページであれば、対処する必要はありません。
ただし「403エラー」は、制限をした記憶がなければ「.htaccess」などの記述ミスや、サーバーの障害などさまざまな原因が考えられます。
重要なページが、403の場合は修正を行いましょう。
ページにリダイレクトがあります | リダイレクトされているため、インデックスしなかった。 |
リダイレクトエラー | リダイレクトに関するエラーが見られ、 クロール・インデックスを中断した。 |
リダイレクトしているページは、インデックスされません。
また、リダイレクトチェーンやループも、ある程度の回数でクロールを中断します。
サーバーエラー(5xx) | 「.htaccess」やPHPエラーのような「500エラー」や、 サーバーメンテナンス、サーバーへの一時的なアクセス数増加による負荷で起こる「503エラー」のため、 クロールおよびインデックスができなかった。 また、セキュリティシステムによって、ブロックされた。 |
サーバーエラーは、サーバーメンテナンスやアクセス過多によるサーバーダウンといった外部要因と「.htaccess」の設定ミスやPHPエラーといった内部要因があります。
また、ファイアウォールや DoS 対策保護システムのようなセキュリティプログラムが、サーバー負荷による攻撃と思い反応(ブロック)しているケースも考えられます。
この場合は、管理設定に変更をくわえる必要があるでしょう。
クロール済み – インデックス未登録 | クロールはしたが、インデックス登録はされていない。 |
検出 – インデックス未登録 | ページは検出しているが、クロールはまだされていない。 (Webサイトの負荷を考慮し、再スケジュールとなることが多い。) |
Google自身が、Google側の問題として、対応する必要はないとしている項目。
公式には最低限の説明しかないので、なぜクロールされたのにインデックスされないのか、その理由まではわかりません。
ただ「クロール済み – インデックス未登録」の説明が、やや意味深なのが気になります。
「今後、インデックスに登録される可能性がありますが、登録されない可能性もあります。」
引用:ページ インデックス登録レポート
個人的には、もし重要なページがこの項目にあった場合、品質が足りていないサインなのではと解釈しています。
404エラー(Not Found)の意味とは?エラーの原因や解決方法、対処方法を解説
Googleへインデックスを促進させる方法
インデックスされない問題の対処法は、原因ごとにやるべきこと以外にも、以下のようなものがあります。
- Googleサーチコンソールの「インデックス登録をリクエスト」を行う
- XMLサイトマップを作る
- リンク構造を見直す(内部リンク対策と被リンク対策)
- サイト構造をシンプルにする
- Webサイトの更新頻度を高める
- 質の高いコンテンツを作る
- Webサイトの軽量化(一度に大量のページをインデックスさせない、表示スピードの改善)
- URLの変更(再度インデックスを試みる)
「URLの変更」以外は、SEOの観点からもおすすめ。
インデックスされないとお悩みの方は、ぜひ一度お試しを。
Googleサーチコンソールの「インデックス登録をリクエスト」を行う
もっとも簡単で、すぐにでも行える施策です。
それが、Googleサーチコンソールの「インデックス登録のリクエスト」。
特定の記事やページであれば、URL検査から行います。
もちろん、インデックスされない原因がわかっていたら、修正後にリクエストを行うとより効率的といえるでしょう。
ただし、リクエストしてすぐにインデックス処理されるわけではありません。
反映には、1週間ほどかかる点に注意しましょう。
XMLサイトマップを作る
XMLサイトマップは、インデックスの問題解決にかなり有力とされています。
なかには、サイトマップを送ったら、瞬時にインデックスされ始めたという声も。
XMLサイトマップとは、いわばクローラー向けに書かれた、Webサイトの見取り図です。
クローラーは、見取り図を参考にWebサイトを巡回。
つまり、確実に見てほしいページをクローラーに伝えることができるのです。
XMLサイトマップの送信は、Googleサーチコンソールで行えます。
サイトマップのURLを「サイトマップ」の「新しいサイトマップの追加」に入力し送信するだけ。
問題なく送信できたら「送信されたサイトマップ」に情報が加わります。
ステータスが「成功しました」になるのを確認しましょう。
XMLサイトマップの作成方法は、WordPressの場合、標準機能(WordPress 5.5以降)かプラグイン「Google XML Sitemaps」や「All In One SEO Pack」を活用します。
XMLサイトマップ(sitemap.xml)とは?作り方やSEO効果、Googleへの送信方法を解説
リンク構造を見直す
インデックスのためには、クローラーが回遊しやすい環境を作るのも大切です。
とくに、クローラーの通り道でもある「内部リンク構造」はシンプルになるよう意識しましょう。
インデックスのために、行いたいことは以下です。
外部リンクについては、ひとまずSEO効果がないとされる「nofollow属性」の被リンクでもかまいません。
クローラーへの露出度を増やすという考えで、外部リンク獲得を目指しましょう。
たとえば、SNSでリンクを貼り付けたり、無料のプレスリリースサイトを活用したり。
それでも十分、クローラーへのアピールとなります。
また、内部リンクは、新規のWebサイトほど、戦略的に取り組むことをおすすめします。
というのも、コンテンツが少ないほうが、リンクの管理がしやすく有利だからです。
以下は、いま注目の内部リンクを使ったコンテンツ戦略。
これから記事を増やしていくというWebサイトほど、ぜひ挑戦していただきたいです。
トピッククラスターとは?SEO的なメリットや作り方の例、導入時の注意点を解説
サイト構造をシンプルにする
内部リンクと併せて、Webサイトの設計もシンプルに。
あまりにも階層が深いページや、整理されていないWebサイトは、クローラーに見つけてもらいづらく、もちろんインデックスもされづらいです。
基本的に、階層は深くても、3~4層程度に。
また、ブログなどは記事数によって適宜カテゴリを作ると関連性がわかりやすく、クローラーの理解を助けることができます。
Webサイトの更新頻度を高める
コンテンツ量が多く、更新頻度が高いWebサイトは、インデックスしやすい(クローラーが来やすい)傾向にあるようです。
実際に、Googleも「クロール頻度が上昇した理由」にて「新しい情報を大量に追加した場合」や「非常に有用な情報が掲載されている場合」を挙げています。
逆に、このような説明もありました。
「サイトに変更頻度が低い情報がある場合や、サイトの品質があまり高くない場合は、サイトのクロール頻度が落ちる可能性があります。」
引用:クロールの統計情報レポート
ある程度の更新頻度を保ち、コンテンツ量を増やしていきましょう。
更新頻度とSEOの関係とは?高い・低い場合や更新日の変更による影響を解説
質の高いコンテンツを作る
ジョン・ミューラー氏は「1,000ページ以上あるWebサイトのインデックスをサイトマップを使わずにしたい。」という質問に対して、やや皮肉交じりにこのような発言をしています。
(意訳)ページ数は少なくても、より(品質の)良いページを作ることをおすすめします。
とくに、インデックスに苦労しているのなら(問題が出ているのなら)。
つまりは、いくら更新頻度が高くても、コンテンツの量が多くても、品質が良くなければ意味がないといいたいのでしょう。
インデックスされない原因でもお話したとおり、自分では質が高いと思っていても、Googleからしたら、コンテンツの質が足りていないと思うWebサイトは多いのかもしれません。
ではGoogleの思う、質の高いコンテンツとは何か?
それがわかるのが「検索品質評価ガイドライン」に登場する「E-E-A-T」という概念です。
また、以下の2点も、個人的には大切な部分だと感じています。
- SEOを意識しすぎて、記事が読みづらくなってないか(=ユーザーを無視したコンテンツ)
- ほかのWebサイトにも書かれている、ありきたりな内容ではないか(=有益でないコンテンツ)
E-E-A-Tとは?Googleが重要視するSEO最重要評価基準を高める施策を解説!
Webサイトの軽量化
クロールバジェットの問題でもわかるとおり、クロールはサーバーへの負荷を考慮する仕組みになっています。
「Googlebot には、クロール中にサイトが過負荷にならないようにするアルゴリズムがあります。」
引用:クロールの統計情報レポート
基本的に、クロールバジェットの問題は、よほどの大規模サイト以外気にする必要はありません。
しかし、やはりWebサイトは重いよりも軽い方が、クロールしやすいのは事実。
そのため、なるべくWebサイトのレスポンスを軽くすることをおすすめします。
たとえば、ページが表示する速度。
画像が表示される時間。
あなたのWebサイトは、どれくらいかかるでしょうか。
Googleサーチコンソールの「ページエクスペリエンス」を参考に、ぜひユーザビリティにも目を向けてみてください。
ユーザビリティについて知りたいのなら、まずページエクスペリエンスの指標となる「コアウェブバイタル」について理解しておくことをおすすめします。
コアウェブバイタル(Core Web Vitals)とは?対策や改善方法、評価を計測するツールを紹介
URLの変更
いろいろやったけど、やっぱりインデックスしない。
このような状況であれば、最終手段として、思い切ってURLを変更してみましょう。
もちろん、本来SEOの観点からいうと、安易にURLは変えるべきではありません。
ただ、インデックスをしないなら、それはSEO以前の問題です。
実際、URLを変更したら、インデックスされた例はある模様。
自己責任にはなりますが、試してみる価値はあるでしょう。
SEOとURLの関係性とは?SEOに効果的なURLの設定方法を解説
Googleへのインデックスに関するよくある質問
インデックスされない問題で、キーワード順位チェックツールを提供する弊社「Nobilista」が、よくある質問にお答えします。
インデックスがされないことは問題?気にするべき?
個人的には、新規サイトであれば、それほど心配する必要はないと思っています。
というのも、Webサイトを立ち上げたばかりは、基本的に何もかも不安定だからです。
そのため、たとえインデックスがされない問題が起こっていても、それが本当に問題かどうか判断がつきません。
最初にもお話したとおり、そもそもインデックスされない理由が、単純に時間の問題(つまり問題ではなかった)という可能性もあります。
もちろん、インデックスされないと、検索結果に表示されないから問題でしょ!という意見はもっともです。
ただ、技術的なエラーはすぐに解決できます。
となると、高確率でインデックスされない理由は「品質」です。
新規サイトの場合は、品質と併せて信頼性も足りていません。
つまり、結局やることは質の高いコンテンツを作り、信頼を得ること。
ここに行きつくのではないでしょうか。
インデックスがされるまでの時間はどれくらい?
新規サイトの場合は、早くて「数日」~遅くて「2週間」を目安にするとよいでしょう。
既存サイトの新規ページはもっと早く、その日のうち、遅くても3日ほどでインデックスされることが多いです。
ただし、インデックスされる期間と、SEOの効果が出る期間はまた別と考えてください。
もともとSEOの効果は、3か月~1年かかるといわれています。
さらに、扱うトピックやキーワードなど、さまざまな要素によって変わるため、この期間も一概にはいえません。
たとえインデックスが早くても、順位が安定するまでには、それなりの時間がかかることを理解しましょう。
SEO対策の効果とは?効果が出るまでの期間や効果の高いSEO施策を紹介
ページのインデックス登録にたくさんの「未登録」があるけど大丈夫?
未登録が多いことは、気にする必要はありません。
というのも、GoogleはWebサイトにあるすべてのページをインデックスすることはないからです。
たとえば、重複ページ。
パスワードが必要な管理画面。
いずれも、基本的にインデックスする必要はないはずです。
このようなページをGoogle側も理解して、インデックスしないよう処理しています。
そのため、見たいのは未登録の数ではなく、未登録になっているページの中身。
検索結果に表示してほしいページが、未登録のなかにありませんか。
万が一あった際にはじめて、なぜインデックスされないのか、原因を考えるとよいでしょう。
いつまでも「インデックスされない」問題の原因は?
新規サイトで、いつまでもインデックスがされない場合は、以下の原因を疑いましょう。
- noindex タグの外し忘れ
- 中古ドメインでペナルティを受けている
- Webサイトの品質の問題
これまであったインデックスが「されなくなった」問題の原因は?
既存サイトで、これまであったインデックスがされなくなった際は、以下の原因を疑いましょう。
- robots.txt やリダイレクトなど、直近に行った設定のミス
- Googleからペナルティを受けている
- Webサイトの品質の問題(コアアップデート後にペナルティを受けたなど)
とくに、直近に何を行ったのか振り返ることで、インデックスされない原因を突き止めやすくなります。
Googleコアアップデートとは?2023年最新情報や歴史・履歴、対策を解説
WordPressで作ったブログ記事が、インデックスされないのはなぜ?
WordPressだからといって、特別にインデックスされづらいということはありません。
ただし「.htaccess」や「PHPエラー」のような、WordPressによくある問題には注意しましょう。
また、使用テーマによっては管理画面から簡単に「noindex 」の設定が行えます。
その手軽さから、設定を外し忘れるという可能性はあるでしょう。
WordPressのSEO対策設定のやり方とは?初心者向けにプラグインや投稿設定を方法を解説
新規ドメインよりも、中古ドメインの方がインデックスは速い?
新規ドメインよりも、中古ドメインの方がインデックスされやすいという話があります。
たしかに、理論上はそうかもしれません。
なぜなら、クローラーがリンクを通ってWebサイトにやって来るからです。
中古ドメインには、すでに被リンクが集まっていることがあります。
そのため、その分クローラーが来やすく、インデックスもされやすいというのは大いに考えられるでしょう。
とはいえ、中古ドメインは検索順位が急落するなど、リスクも大きいです。
インデックスの速さのために、中古ドメインをあえて選ぶメリットは、現在そこまでないのではと思っています。
中古ドメインのSEO効果とは?調べ方・探し方や当たりドメインの選び方、デメリットを解説
Googleへのインデックスも質の時代に?
インデックスも「質の時代」が到来しています。
もしかすると、今後は、別途インデックスのための対策が必要になるかもしれません。
「インデックス対策」という言葉が生まれる日も近いでしょう。
これからもSEOで、Webサイトで戦っていくみなさまへ。
少しだけ、PRさせてください。
弊社「Nobilista」は、ページごとに指定したキーワードの順位を追える「キーワード順位チェックツール」です。
スマホやタブレットからでもデータが見られる、デバイスフリーのクラウド型。
そのため、いつでも気軽に、計測した数値を見ることができます。
万が一、解約する際もご面倒をおかけすることはありません。
遠慮なくお問い合わせください。
迅速な対応に努めます。
まずはお試しいただきたい、そう思っておりますので、お気軽に以下のボタンよりお試しください。
クレカ登録不要で7日間使い放題
関連する記事一覧
おすすめ記事一覧
新着記事
カテゴリ