クローキングとは？手法の具体例やSEOとの関係、リスクを解説

クローキングとは、人間と検索エンジンに対して別のコンテンツを表示させる手法です。

かつてはSEO施策として使われていた手法ですが、現在はGoogleペナルティの対象となります。
Googleが認識しているページと実際にユーザーが訪れるページに乖離が生じてしまい、ユーザーが混乱する可能性があるためです。
不正にサイト評価を上げようとする「ブラックハットSEO」とみなされてしまうのです。

ただ、このクローキング行為は意図しなくても行っている場合もあります。

本記事では、クローキングの手法や具体例、SEOとの関係性とリスクについて解説します。
意図しないクローキングを避ける方法についても解説するので、意図せずサイトの評価を下げらないような知識を身に付けましょう。

SEOスパムとは？種類一覧や行為によるリスク、判定基準を解説

クローキングとは

クローキングとは、ユーザーと検索エンジンに対して別のコンテンツを表示させる手法です。

クローキングとは、検索ランキングを操作したりユーザーに誤解を与えたりすることを目的に、ユーザーと検索エンジンに異なるコンテンツを表示することです。

引用元：Google検索セントラル

GoogleはGooglebot（グーグルボット）と呼ばれるクローラーを使い、世界中のWebサイトを巡回してそれぞれのページを自動的に収集・評価しています。
このクローラーに対してユーザーが閲覧するページと別のページを表示させることで、Googleからの評価を不正に上げようとする行為を「クローキング」と言うのです。

ユーザーとクローラーのそれぞれに最適化されたページを用意することで、SEOに特化したページを作成することが可能になります。
ただし、Googleはウェブマスター向けガイドラインの中でクローキング行為を禁止しており、クローキングとみなされるとGoogleペナルティの対象になるのでやってはいけない手法のひとつです。

クローラーとは？意味や仕組み、巡回を促す対策、拒否する方法をわかりやすく解説

クローキングの例

Googe公式ではクローキングの例として、次の2つを挙げています。

・検索エンジンには旅行の目的地に関するページを表示しながら、ユーザーに対しては薬の割引に関するページを表示する
・ページをリクエストしたユーザーエージェントが人間のユーザーではなく検索エンジンのみである場合にのみ、ページにテキストやキーワードを挿入する

引用元：Googleウェブ検索のスパムに関するポリシー

ユーザーに対して表示するページとクローラーに対して表示する場合は、クローキングと認識されます。

クローキングは詐欺や違法サイトでよく使われているのが特徴です。

クローラーに詐欺や違法サイトが見つかると検索結果から除外されてしまいます。
そのため、ユーザーには詐欺・違法サイトを表示させて、クローラーには一般的なサイトを表示させるといった使い方をするのです。

クローキングとSEOの関係

ここでは、クローキングとSEOの関係を紹介します。

1. クローキングはGoogleペナルティの対象
2. クローキングの例外
3. かつてクローキングがSEO施策になっていた理由

それぞれ詳しく見ていきましょう。

クローキングはGoogleペナルティの対象

クローキングはスパム行為の1つで、Googleペナルティの対象になります。
そのため、Googleにクローキングと判定されればサイト全体の評価が大幅に下落したり、インデックス登録から除外されるなど重いペナルティが課せられます。

手動によるペナルティを受けた場合、該当箇所を修正し再審査をGoogleにリクエストすることでペナルティの解除はできます。
ただし、元の検索順位に戻るまでには多くの時間がかかってしまいます。

極めて悪質だと判断された場合は、再審査のリスエストを行っても検索順位が上がらなくなるといったケースもあるので注意しましょう。

現在、クローキングを行うメリットはないので、絶対にやらないようにしましょう。

Googleペナルティとは？解除方法や確認方法、原因と対策を解説

クローキングの例外

ユーザーと検索エンジンに対して別のコンテンツを表示させるのがクローキングですが、一見クローキングに見えてもGoogleガイドライン違反にならない例もあります。

結論から言うと、ユーザーにとって有益になるものはクローキングとはみなされません。
具体的には以下のようなものです。

• ユーザーデバイスに最適化するためにPC用とスマホ用のページを振り分ける
• アクセスの時間帯によって異なるコンテンツを表示させる
• アクセスするユーザーの国や地域によって最適化されたコンテンツを表示させる

1つのコンテンツ内で2つ以上のページを用意しても、上記のようにユーザーにとって有益になる場合は問題ありません。

かつてクローキングがSEO施策になっていた理由

現在はGoogleペナルティの対象となるクローキングですが、かつてはSEO施策として横行していました。
というのも、検索エンジンが好むコンテンツとユーザーが好むコンテンツには乖離があるからです。

ユーザーは画像やFlashなど、装飾が多く見栄えが良いページを好む傾向にあります。
一方、検索エンジンはテキスト中心やHTML構造がシンプルなページを評価していました。

ユーザー好みの見栄えが良いページは複雑な構造になるため、検索エンジンで評価されず上位表示しづらい傾向にあったのです。
そのため、ユーザーと検索エンジンそれぞれに最適化したページを表示させるクローキングが重宝されていました。

SEOに効果的なHTMLタグの書き方とは？基本構造やエラーがないかチェックする方法

クローキングの具体的な手法例

ここでは、クローキングの具体的な手法例を紹介します。

1. IPアドレス・ユーザーエージェントを用いた手法
2. 検索エンジンにはテキストメイン・ユーザには画像やFlashメイン
3. 隠しテキストを使う

繰り返しになりますが、クローキングは現在Googleペナルティとなる手法です。
参考までに手法例を紹介しますが、絶対にやらないようにしてください。

IPアドレス・ユーザーエージェントを用いた手法

クローキングの代表例は、IPアドレス・ユーザーエージェントを用いた手法です。

• IPアドレス：
  ネットワーク機器に割り当てられるインターネット上の住所のようなもの
• ユーザーエージェント：
  ネットを閲覧しているユーザーの情報を文字列にしたもの

これは閲覧しているのがユーザー（人間）か、クローラーなのかをIPアドレスやユーザーエージェントによって判断し、その結果によって表示するページを切り替える方法です。
具体的な手順は次のとおりです。

1. IPアドレス若しくはユーザーエージェントで人間かクローラーどちらのアクセスかを判断する
2. クローラーからのアクセスは301リダイレクトで別ページに転送する、もしくは動的なページをクローラーに表示させる
3. ユーザーからのアクセスにはユーザー用のページを転送する

この手法はフィッシング詐欺サイトや違法なアダルトサイトで利用されているケースが未だにあります。

検索エンジンにはテキストメイン・ユーザーに画像やFlashメイン

検索エンジンにはテキストメインのコンテンツ、ユーザーには画像やFlashメインのコンテンツを表示させるのもクローキングに該当します。
これは、ユーザーとクローラーの好みの違いを利用した手法です。

ユーザーはテキストメインのコンテンツよりも、画像やFlashメインのコンテンツの方が見栄えが良く、好まれる傾向にあります。
一方、検索エンジンはHTML構造がシンプルなテキスト中心のページを好む傾向にあります。

どちらも好まれるコンテンツを作成するために、ユーザーが訪れたときには画像・Flashメインのコンテンツを表示させ、クローラーには対策キーワードを多く含んだテキストコンテンツを表示させるわけです。

隠しテキストを使う

隠しテキストを使ったクローキング手法もあります。
隠しテキストとは、ユーザーに見えない文字をページ内に挿入することです。

• 白の背景で文字の色を白にする
• テキストを画像の背後に置く
• CSSを使用してテキストを画像の外に配置する
• フォントサイズまたは不透明度を0に設定する
• 目立たない1文字のみをリンクにする子ことで隠す

このような方法を使うことで、ユーザーが閲覧している時には何も見えない状態ですが、クローラーには認識されるようになります。
かつては対策キーワードをユーザーに見えないように大量に入れ込み、SEOで高い評価を得ようとするWebサイトがいくつかありました。

ただ、現在では隠しテキストを使ったクローキング手法はSEOスパム行為としてGoogleペナルティの対象となります。

隠しリンク・隠しテキストとは？SEOとの関係や探し方・見つけ方を解説

意図しないクローキングを避けるために

Googleペナルティの対象となるクローキングを意図的に行っているサイト運営者はほとんどいないでしょう。
しかし、ユーザーを騙すような行為や不正に検索順位を上げるような目的がなかったとしても、意図せずクローキングと判断されてしまう場合があります。

意図しないクローキングだったとしてもGoogleには伝わらないので、ペナルティを受けてしまいます。
ここでは、意図しないクローキングを避けるためにやるべきことを紹介します。

1. ログインが必要なページがクロールされていないかの確認
2. ハッキングされていないかの確認
3. デバイスによるページ振り分けがされていないかの確認

1つずつ詳しく見ていきましょう。

ログインが必要なページがクロールされていないかの確認

会員制ページなどログインが必要なページなどは、クローラーも認識できません。
そのようなページは「存在しないページ」として扱われるため、基本的にクローキングにも該当しません。

しかし、ログイン後に会員だけが閲覧できるコンテンツがクロール・インデックスされている場合は、クローキングと判定されてしまう場合があります。
これはクローラーには「ログイン後のページ」が表示されるのに対して、ユーザーには「ログイン画面」が表示されるからです。

ログインが必要なページには、クロールされないようにrobots.txtでクロール制御の設定しておきましょう。
具体的な設定方法については以下の記事を参考にしてください。

robots.txtの書き方とは？確認方法やSEO意識した使用ケース、記述例も紹介

ハッキングされていないかの確認

自社サイトがハッキングされていると、ハッカーがクローキングを行うケースがあります。
Google公式でも、ハッキングについて注意喚起がされています。

サイトをハッキングした際に、ハッキングしたことをサイト所有者に気づかれないように、ハッカーがクローキングを行うことは珍しくありません。

引用元：Google検索セントラル

ハッカーはWebサイトをハッキングすると、リダイレクトさせて悪意あるページを表示させて、クローラーには通常サイトを認識させるといった行為を行います。
つまり、自社サイトがハッキングされると知らない間にクローキングを行っている状態にされてしまうのです。

ユーザー保護の観点から、たとえハッカーによるクローキングであっても、自社サイトがペナルティを受けてしまいます。

自社サイトがハッキングを受けていないかを確かめるためには、Googleサーチコンソールを使いましょう。
Googleサーチコンソールの管理画面から左メニューの「セキュリティと手動による対策」→「セキュリティの問題」を選択します。

Webサイトのセキュリティ面で問題がなければ、上記のように「問題は検出されませんでした」と表示されます。

もしハッキングなどセキュリティ面に問題がある場合は「有害なコンテンツが検出されました」や「〇件の問題を検出しました」等のメッセージが表示されます。
ハッキングの予防策としては「セキュリティプラグインの導入」や「二段階認証を使用する」といった方法がおすすめです。

Googleサーチコンソールとは？できることや使い方、登録方法・設定方法を解説

デバイスによるページ振り分けがされていないかの確認

スマホ向けサイトとPC向けサイトを別々に作成している場合、レイアウトや構成などページ情報が大きく異なってしまうと、クローキングと認識されてしまう可能性があります。

GoogleのクローラーにはPC用とスマホ用の2種類があり、それぞれ別々に巡回しています。

• PC向けのサイト：Googlebot DeskTop
• スマホ向けのサイト：Googlebot Smartphone

例えば、PC向けサイトのクローラー「Googlebot DeskTop」に、スマホ向けのコンテンツを表示させる設定にすると、クローキングと判定される恐れがあるのです。
スマホ向けサイトのクローラー「Googlebot Smartphone」に、PC向けのコンテンツを表示させている場合も同様です。

なお、レスポンシブデザインに対応している場合は、同様のページが表示されるため、対策は不要です。

WordPressを利用している場合、レスポンシブ対応のWordPressテーマを導入すれば、クローキングと判定される心配もありません。
Googleはレスポンシブデザインを推奨しているため、Webサイトのレスポンシブ化はSEOの面でもメリットが多いです。

レスポンシブデザインとは？作り方のコツやSEOとの関係、CSS実装方法、テンプレート・参考サイトを紹介

クローキングに関するよくある質問

クローキングに関するよくある質問をまとめました。
ぜひ参考にしてください。

クローキングとは何ですか？

クローキングとは、ユーザーと検索エンジンに対して別のコンテンツを表示させる手法です。
ユーザーとクローラーそれぞれに最適化されたページを用意することで、SEOに特化したページを作成することができるため、かつては横行していました。

しかし、現在ではSEOスパムのひとつとして、ガイドライン違反になるのでやってはいけません。

クローキングは現在でも使えますか？

クローキングはGoogleのガイドラインで禁止されている行為です。
Googleにクローキングと判定されるとGoogleペナルティを受けることになり、サイト全体の評価が大幅に下がってしまいます。

クローキングを行うとSEOでどんな悪影響がありますか？

クローキングを行うとSEOで次のような悪影響をもたらします。

• 検索順位の低下
• インデックスからの除外

検索順位の低下やインデックスからの除外は、サイト全体の集客に大きく関わります。
クローキングを行うのは百害あって一利なしなので、絶対にやめましょう。

検索順位が下がった原因と対策を解説！順位急落後や変動中にやってはいけないこと

なぜかつてクローキングがSEO施策になっていたのですか？

クローキングがかつてSEO対策として横行していた理由は、検索エンジンが好むコンテンツとユーザーが好むコンテンツには乖離があったからです。

ユーザーは画像やFlashなど、装飾が多く見栄えが良いページを好む傾向にあります。
一方、検索エンジンはテキスト中心やHTML構造がシンプルなページを評価していました。

どちらにも好まれるページを作成するために、クローキングが重宝されていたのです。

クローキングにはどんな手法がありますか？

クローキングにはいくつかの手法があります。

• IPアドレス・ユーザーエージェントを用いた手法
• 検索エンジンにはテキストメイン・ユーザには画像やFlashメイン
• 隠しテキストを使う

いずれの手法もGoogleペナルティの対象になるので、絶対にやらないようにしましょう。

クローキングにカウントされない例外はありますか？

一見、クローキングに見えるものでもクローキングにカウントされない場合もあります。

• ユーザーデバイスに最適化するためにPC用とスマホ用のページを振り分ける
• アクセスの時間帯によって異なるコンテンツを表示させる
• アクセスするユーザーの国や地域によって最適化されたコンテンツを表示させる

上記の例とGoogleペナルティの対象となるクローキングの違いは、ユーザーにとって有益になるかどうかです。
ユーザーにとって不利益になるクローキングはガイドライン違反ですが、上記のようにユーザーにとって有益になるものはクローキングとはみなされません。

クローキングを確認する方法はありますか？

キャッシュを確認することで、クローキングされていないかわかります。
検索エンジンはキャッシュを保存しているため、Webサイトをクリックしたときのキャッシュと異なる場合は、クローキングの可能性があります。

意図しないクローキングを避けるためにはどうすれば良いですか？

意図しない場合でもクローキングに該当してしまう場合があります。
そのようなクローキングを避けるために次の3つを確認してください。

• ログインが必要なページ（会員制ページ等）がクロールされていないか
• ハッキングされていないか
• デバイスによるページの振り分けがされていないか