クローキングとは？Googleが罰するSEOスパムの仕組みと現代のリスクを解説

この記事でわかること

• クローキングとは、クローラーとユーザーに異なるコンテンツを表示するスパム手法
• 意図的でなくても、JS依存の構造が「事実上のクローキング」になるケースがある
• 本記事では、仕組み・ペナルティ・意図せず発生するケース・対策を解説します

今朝、グーグルで[google adwords help]もしくは[adwords help]を検索しても、AdWordsのヘルプセンターが見つからなかった。URLで検索してみたが、どうやらインデックスに存在しないようであった。 これはどういうことなのだろうか？ ポーランドのブログ、「Magiczne SEO i SEM」が昨日、検索結果のグーグルアドワーズのヘルプページのスニペットの異変に気付いた。（グーグル翻訳を介した英語版）精査してみると、キャッシュはビジターが見るページとは一致しないように思えた。サーチ・エンジン・ランドは調査を行い、グーグルボットのユーザーエージェントを使って当該のページにアクセスすると、明らかに異なるコンテンツが表示されることに気付いた。とりわけ、“非表示”とマークされた見出しのセクションは際立っていた。 私たちはこの件についてグーグルに質問を投げかけ、広報から以下のように答えが返ってきた:

「グーグルのサポートページの一部がうかつにもグーグルのクローラーにユーザーに見せるコンテンツとは別のコンテンツを見せていました。このエラーは既に修正済みです。私たちは原因を究明し、適切な処置を確実に講じます。」

そして実際に対策を講じたようだ。 グーグルは、グーグルの製品の開発に携わっているスタッフが検索のスペシャリストではなく、勤務している会社の主要な製品が検索エンジンであっただけに過ぎない点を自ら率先して認めている。これは、先日のグーグルの製品に関するSEOレポートカードを発行した件によく現れている。また、グーグルの製品は、以前にもウェブマスターのガイドラインを違反したことがあった（そして対策を講じた）。 事実、グーグルのサポートページはクローキングを実施したために2005年に禁止されたことがあった。（このケースでは、グーグル・サーチ・アプライアンスの設定ミスが原因だったが、再び問題を引き起こす可能性は十分にあり得る）2009年の年明けには、ページランクを上げるため、グーグル・ジャパンがリンクを買っていたことが明るみに出て、この際にも対策が講じられたのだった。 このケースでは、グーグルは迅速に行動した。彼らは警告を受けた直後に行動を起こした。私たちはこの件から何を学ぶことが出来るだろうか？充分な技術的な知識を持っていたとしても、ユーザーに見せるコンテンツとは異なるコンテンツを検索エンジンに見せるべきではないと言うことだ。内部のインフラ（グーグル・サーチ・アプライアンス等）が検索エンジンに異なるコンテンツを見せるように誤って設定されているかどうかチェックしよう。また、SEOの取り組みの模範をグーグルの製品に求めるべきではない。グーグルで働いているからと言って、彼らが検索のエキスパートだとは限らないのだ。 追記 バリー・シュワルツ: どうやらアドワーズのヘルプページだけでは収まらず、グーグルのヘルプセクション全体がこのような仕組みになっているようだ。 グーグル・ウェブマスターのヘルプセクションのキャッシュは、キャッシュなしバージョンに表示されている内容とは異なり、また、Gメールのヘルプフォーラムやその他のセクションとも一致しない。

---

この記事は、Search Engine Landに掲載された「AdWords Cloaks Its Help Pages, Gets Banned By Google」を翻訳した内容です。 This article on SEO – Search Engine Optimization first appeared on Search Engine Land. c Copyright Third Door Media, Inc. Republished with Permission.

Googleの全てのスタッフが検索アルゴリズムに精通しているわけではないですからね。。。クローキングは内容によってはOKという話もありますが、これを読む限りできる限りやらないにこしたことはなさそうです。しかしこの記事でもグーグル・ジャパンの事件が引き合いに出されていましたね。SESのイベントでもたまにこの話題を出す人がいましたし、英語圏でもそれなりに知名度がある事件なんですね。「リンクを買った」と断言されてるのがちょっとかわいそうですが。。。– SEO Japan

意図せずクローキングになる3つのケース

1. JavaScript依存のコンテンツ表示：ユーザーにはJSで動的に表示されるが、クローラーはレンダリングできず空ページを認識。結果的にクローラーとユーザーで見えるコンテンツが異なる。
2. 地域・デバイス別の過度な出し分け：ユーザーエージェントやIPに基づく出し分けが、Googlebotに対して意図しない表示を返すケース。
3. ABテストの不適切な実装：Googlebotに対してテストバリアントが固定表示され、ユーザーとは異なるページを見せてしまう。

【実例】テクニカル監査で「意図しないクローキング」を発見

ある教育サービス事業者の支援では、SEOコンサルの選定で競合100社超のコンペを経て支援を開始しました。初期のテクニカル監査で発見された問題の一つが、会員向けコンテンツの出し分けがGooglebotに対しても適用されており、クローラーがログイン壁で遮断されるページが多数存在していたことです。これは意図的なクローキングではありませんが、結果としてGooglebotとユーザーが見るページが異なる状態でした。robots.txtとmeta robotsの設定を見直し、クロール対象ページを明確に切り分けた結果、インデックス可能なページ数が適正化され、主要KWの順位が改善に向かいました。クローキングは「意図的にやる悪質な手法」だけでなく、「知らないうちに発生している技術的問題」として捉えることが重要です。

よくある質問（FAQ）

Q. クローキングをするとどのようなペナルティを受けますか？

A. Googleの手動対策の対象となり、該当ページまたはサイト全体がインデックスから削除される可能性があります。回復には問題の修正と再審査リクエストが必要で、数ヶ月単位の時間がかかります。

Q. 自分のサイトがクローキングになっていないか確認する方法は？

A. Google Search Consoleの「URL検査」ツールでGooglebotが見ているページと、実際のブラウザ表示を比較します。差異があればクローキング状態の可能性があります。