この数日間、Google が bot 対策の変更を行い、ほとんどの順位取得ツールや Google のデータを収集するサービスが正確にデータを収集する能力を失いました。
大きな変更が少なくとも 2回にわたって発生したようで、最も最近のものは日本時間の 1月17日に発生しました。連発する問題はほぼすべてのデータベンダーに少なからず影響を与えるものでした。
Barry Schwartz 氏はこの出来事を最初に取り上げた人物の一人でしょう。
当社の対応とお客様への影響
私たちのチームは第一波を乗り越えることができましたが、17日の第二波は修正に時間がかかり昼夜を問わず対応を続けることとなりました。
幸いにも、現在は通常の業務に戻ることができ、サービスを再開しています。しかし Google が今後も変更を加える可能性が高いと予想されるため、引き続き状況を注視し、あらゆる対策を講じていきます。
お客様にはメール等で別途ご連絡させていただきますが、一部のデータで欠損が発生したり通常よりも遅延するモジュールなどがございます。この点について深くお詫び申し上げるとともに、安定性を確保するために引き続きチーム一丸となって対応を進めてまいります。
技術的なご説明
技術的な観点では、Google へのすべてのリクエストがほぼ以下のような結果を返す状態になっていました。

つまり、厳密にいうと、完全にブロックされたわけではなく、「ソフトブロック」の状態です。第一波では JavaScript を使用しないスクレイパーはこの画面で足止めされることになりました。第二波では JS や JS が扱えるブラウザからのアクセスにも同様の画面を表示するようになりました。
当社の場合は毎日ほぼ 100% のデータ取得のために尽力してきましたので、こうした問題は小規模ではありましたが対応経験がありました。そのおかげか、他のソリューションよりも素早く解決策を見つけることができました。
今回の場合は JavaScript ベースのフェッチが鍵となりました。HTTPフェッチよりコストが高くなり、そもそも実装が困難なツールもあるでしょう。当社では、今後も広範囲に対応できるよう、プロセスを見直していきます。
また、注目すべき点として、AIオーバービューの表示率が大幅に低下していることも確認できました。Google がこの情報を第三者に取得させたくない意図があるように思われます。もしかしたら、今回の仕様変更の目的はここにあったのかもしれません。
※ AIオーバービューの非ログインユーザーへの表示は英語圏が中心であり、日本ではまだ出現していません。
SERPデータ分析ツールを選定する際に再考していただきたいこと
私たちがさまざまなツールを確認した限りでは、多くのツールベンダーが何らかの形で今回の問題の影響を受けたようです。一部の企業は依然として復旧作業を進めており、中には復旧が困難であると明言した小規模な会社もあります。今回の件でデータを利用する顧客が考慮すべき重要なポイントは次の3つです。
- ベンダーの復旧スピードはどの程度か?
- ベンダーと顧客はコミュニケーション可能か?
- 最新のフェッチングやスクレイピング技術を有しているか?
また、そうした技術を実装できるアーキテクチャかどうか
これら3つの点は、DemandSphere が特に注力している重要な分野です。今後も様々な問題が予想され、ベンダーとクライアントが協力して課題に取り組まなければならないシーンもあるでしょう。
この問題は、業界全体にとって大きな試練であると認識しております。すべての関係者が復旧に向けて最善を尽くし、通常の業務に戻れることを願っています。
私たちの業界は、本件のようなケースを通じて、解決方法のナレッジが共有されることを期待しています。引き続き貴重なデータが取得でき、多くのビジネスに活用されることを願っています。
不安を感じられたり、なにか問題を見つけられたお客様は当社のカスタマーサクセスチームまでいつでもご連絡ください。