Google検索結果のスクレイピングは規約で禁止！代案「Google Custom Search API」の無料枠の注意点とは？

SEOキーワードの検索順位を測定する方法としてスクレイピングという技術があります。
スクレイピングとは、Webサイト等で公開されている情報の中から、特定の情報だけを抽出するコンピューターソフトウェア技術のことです。

プログラミング言語の「Pyhton」等を使えば、Google等の検索結果（SERPs）をスクレイピングによって簡単に取得できます。
しかし、Google検索結果をスクレイピングによって取得することは規約で禁止されています。

代案としてGoogle Custom Search APIを使えば検索結果を取得できますが、無料枠が少なかったり、正確な順位が測定できなかったり、使い勝手が良いとは言えません。

本記事では、Google Custom Search APIで検索結果を取得する方法や無料枠の注意点、正確かつ大量の順位を計測する方法を紹介します。
SEO対策に欠かせない検索順位を計測ができずに悩んでいる方は、ぜひ参考にしてください。

検索順位チェックツールおすすめ7選！無料・有料の違いやクラウド型、海外対応など機能を比較

Webスクレイピングとは

Webスクレイピングとは、Webサイト等で公開されている情報の中から、特定の情報だけを抽出するコンピューターソフトウェア技術のことです。
スクレイピングには「削る」「こする」といった意味があり、収集した大量のデータの中から余計なデータをそぎ落とし、欲しい情報だけを抽出することを指します。

スクレイピングは様々なところで活用されており、その代表例は次のとおりです。

• ニュースサイトからその日のニュースのタイトルとURLを抽出する
• 株価サイトから当日の株価と前日比を抽出する
• ネットオークションから価格の変動を抽出する
• Google等の検索順位を確認する

スクレイピングを行うことで、データを収集する際にかかる手間や時間の大幅な削減が可能になります。

クローリングとの違い

スクレイピングと混合されやすい用語に「クローリング」があります。

• スクレイピング：
  特定のデータから不要なデータを除去し、重要な情報だけを抽出する
• クローリング：
  クローラーによってWebサイトを巡回して情報を保存する

どちらも情報収集を行う（Webサイトを巡回する）という点では共通していますが、スクレイピングでは情報の加工まで行うという点で異なります。

つまり、あるWebサイトから特定の情報だけ抽出したい場合「対象のサイトをクローリングして、その情報から特定の情報だけをスクレイピングする」といった表現ができます。

クローラーとは？意味や仕組み、巡回を促す対策、拒否する方法をわかりやすく解説

Google検索結果は規約でスクレイピング禁止？

「Google検索結果をスクレイピングしても問題ないの？」と疑問に思っている方もいるでしょう。
ここでは、Google検索結果をスクレイピングする際のルールについて解説します。

1. スクレイピング自体に違法性はない
2. Google検索結果のスクレイピングは規約違反になる

それぞれ詳しく見ていきましょう。

スクレイピング自体に違法性はない

スクレイピング自体に違法性はありません。
なぜなら、スクレイピングの対象がWebサイトに記載されている情報だからです。

Webサイトの情報は一般公開されているものであり、極秘情報を取得しているわけではありません。
スクレイピングはあくまで特定の情報を効率的に取得するために使用されるものであり、実際に検索してサイトから情報収集する行為とスクレイピングは同等とみなされます。

Google検索結果のスクレイピングは規約違反になる

スクレイピングをすることに違法性はないですが、Googleの規約違反になります。
実際にGoogle広告ポリシーヘルプに、禁止されている行為としてスクレイピングの記載があります。

Google検索のスクレイピング、スクレイピングによるデータの購入

Google 検索結果ページやその他の Google のプロパティをスクレイピングすることはできません。また、スクレイピングされた Google のデータをサードパーティから間接的に入手することも、禁止されています。Google 以外の正当なデータソースから入手した検索データを含むレポートを公開する場合、データソースとデータ収集手法をレポートで開示する必要があります。

引用：Google Ads APIのポリシー：禁止されている行為

インターネット上で「google検索結果 スクレイピング」などと検索すると、Python等でスクレイピングする方法がたくさんヒットします。
しかし、Googleの規約違反に該当する行為なので注意が必要です。

スクレイピング以外でGoogle検索結果を取得するためには、Googleが提供する「Google Custom Search API」を使う必要があります。

Google Custom Search APIとは

Google Custom Search APIとは、Googleの検索結果の情報をJSON形式で返してくれるAPIです。
JSONとは、人間が読み書きしながらデータを簡単に扱えるようなフォーマットとして構造化した記述方法のことです。

Googleが提供する検索エンジンAPIで、特定のキーワードやドメイン別の検索結果を取得できます。

基本的に無料で利用できますが、取得できるキーワードの数に制限があり、それ以上のデータを取得するには課金が必要です。

Google Custom Search APIを使って検索結果を取得する方法

Google Custom Search APIを使って検索結果を取得する方法は次の5ステップです。

1. APIキーの取得
2. Custom Search APIの有効化
3. Custom Search Engine（CSE）の取得
4. Google API Client Libraries（Python）のインストール
5. APIでGoogle検索結果の取得

なお、Google Custom Search APIはGoogleアカウントを持っていないと利用できません。
APIキーを取得した後の手順2〜4については特に順番が決まっていないため、どの作業を先にやっても問題ないです。

Google Custom Search APIの仕様と無料枠、課金の注意点

ここでは、Google Custom Search APIの仕様と無料枠、課金の注意点を紹介します。

1. 正確な検索順位を計測できない
2. 無料枠が非常に少ない
3. リセットのタイミング

それぞれ詳しく見ていきましょう。

正確な検索順位を計測できない

Google Custom Search APIを使えば検索順位の計測ができますが、実際の検索結果は異なるため、正確な順位を取得することができません。
具体的な違いは次の3つです。

• Web上の他の検索結果よりも自社サイトの検索結果が強調される：
  カスタマイズした検索結果を返すため、自社サイトの検索結果を優先的に表示する仕様になっている
• アカウントに基づく情報など、一部のGoogleウェブ検索の機能が含まれない：
  Googleアカウントにログインしていなくても利用できる仕様になっているため、アカウントに基づく情報（例：過去の検索履歴）は含まれない
• 10件を超えるサイトが含まれている場合、Googleのインデックスからサブセットの検索結果が表示されることがある

これらの理由からGoogle Custom Search APIを使っても正確な検索順位が計測できないのです。

無料枠が少ない

Google Custom Seach APIは無料でも利用可能ですが、無料枠が少ないというデメリットもあります。

1日100クエリまでは無料で利用できますが、それ以上の計測は1,000クエリあたり5ドル（約750円）の課金が必要です。
また、このクエリというのは、1キーワード（1位〜100位）の取得ではなく、特定のKWの検索結果1ページ分のデータということです。

そのため、特定のKWの1位〜100位までのデータ取得を実行するには10ページ、つまり10クエリが消費されます。

無料枠では100クエリなので、毎日取得することを前提とすると10キーワード（1位〜100位）しか取得できません。
それ以上のキーワードを取得するには、100クエリ（10キーワード）につき5ドル（約750円）の課金が必要です。

また、1日10,000クエリが上限なので、課金をしたとしても取得できるのは最大1日1,000キーワードまでとなります。

リセットのタイミング

Google Custom Search APIの無料枠は非常に少ないため、いつ無料枠がリセットされるのか気になる方も多いでしょう。

毎日の無料枠は、太平洋時間（PT）の午前0時にリセットされます。
太平洋時間というのはアメリカ西海岸地域の標準時で、日本時間でいうと17時（サマータイムは16時）です。

日本人からすると日本時間の午前0時にリセットされると思うかもしれませんが、太平洋時間が基準になりますので、ご注意ください。

「Nobilista」なら正確かつ大量のキーワードの順位計測が可能

前述したとおり、Google Custom Search APIを使って検索結果を取得する場合、次のようなデメリットがあります。

• 実際の検索結果とは異なるため、正確な順位を取得できない
• 1日10キーワード(100クエリ)しか無料で調べられない
• 1日最大1000キーワード(10,000クエリ)計測できるが月に500ドル(約75,000円)かかる

これらの問題を解決するためには、検索順位チェックツールの導入がおすすめです。
検索順位チェックツールとは、Googleなどの検索画面でキーワード別の検索順位を測定するための専用ツールです。

Google Custom Search APIで取得した検索順位は、実際の検索順位と異なる場合があります。
それに対して、検索順位チェックツールならリアルタイムで正確な検索順位を毎日自動で計測できます。

検索順位チェックツールは基本的に有料ですが、SEOで成果を出したい方は必ず導入するべきです。

検索順位チェックツールの代表格はNobilista（ノビリスタ）

検索順位チェックツールはたくさんありますが、その代表格はNobilista（ノビリスタ）です。

Nobilista（ノビリスタ）はクラウド型の検索順位チェックツールで、Windows・Mac問わず利用できます。
Nobillistaでできることや特徴的な機能は次のとおりです。

• 検索キーワードの順位チェックの完全自動化
• 競合サイトとのパフォーマンス比較
• 検索順位が変動したらメールでお知らせ
• 同時ログイン・共有URL機能
• スマホ・タブレットでもストレスフリーで利用可能

PCを起動させることなく、毎日自動的に検索順位を測定できます。

競合サイトとのパフォーマンス比較やキーワード別のSEO難易度など、検索順位以外でSEO対策に欠かせないデータを取得できる点もNobilistaの特徴です。
クラウド型ツールなので、出先でパソコンが開けない場合でも、スマホやタブレットを使って検索順位のチェックも可能です。

※Nobilista(ノビリスタ)は順位取得の方法として、APIを利用しているため、特に違法性やGoogleの規約違反になるような心配はありません。

NobilistaとCustom Search APIの料金比較

Nobilista（ノビリスタ）のプランは次の3種類です。

	Nobilista	Google Custom Search API
月額	990円〜	10,500円(70ドル)〜
キーワード数	150〜	150〜
登録サイト数	3〜	指定なし
計測タイミング	毎日	毎日

Nobilistaは月額990円からと個人でも利用しやすい価格帯です。
キーワードを150個から登録でき、キーワード数ごとの従量課金なので、1キーワードあたり6.6円で検索順位を測定できる計算です。

料金プランを詳しく見る

Google Custom Search APIで1ヶ月間、毎日150キーワードの検索順位（1位〜100位）を測定する場合、1,500クエリの取得が必要になります。
そのうち、100クエリは無料なので、残り1,400クエリを取得するためには70ドル（10,500円）がかかる計算です。

順位計測を継続して行うことを想定すると、Nobilista（ノビリスタ）を利用することで、毎月約10,000円お得になります。

正確かつ大量のキーワードの順位計測を行いたい方は、コスパの高いNobilista（ノビリスタ）の導入がおすすめです。
今なら、7日間無料のトライアルも実施しているので、ぜひお試しください。