Googleからページを削除する方法: ウェブマスターに贈る完璧なガイド

作成中のページや誤ってアップしてしまったページがグーグルにインデックスされて困った、、、という経験がある方はいるでしょうか？もしくは制作会社の方であればクライアント企業から「グーグルにインデックスされたページを即効で削除してほしい」と頼まれ、困ってしまった経験はないでしょうか？そんな時に役立つかもしれないこの記事をSEO by the Seaから。 — SEO Japan

サイトのオーナーなら、通常、グーグルに出来るだけ多くのページをインデックスしてもらいたいはずだ。しかし、グーグルに公開したくないコンテンツや投稿したくない情報を誤ってインデックスされてしまい、出来るだけ早く削除したくなるときがあるはずだ。自分が所有するコンテンツ、そして、自分のサイトに投稿したコンテンツをグーグルの検索結果から削除する方法を詳しく知りたいなら、是非、このエントリを読み進めていってもらいたい。

最初からコンテンツをグーグルの検索結果から除外しておく

理想を言えば、グーグルのインデックスに載せたくないなら、絶対にそこに行き着かないようにしておきたい。そのためには以下の方法が最善と言えるだろう:

ログインしなければ情報にアクセスすることが出来ないようにする – この方法は、当然ながら、グーグルを外す効果があるだけでなく、自分が認めた人だけがコンテンツを見れるようにする効果もある。このメソッドが役に立つのは、クレジットカードの番号やソーシャルセキュリティナンバー等の個人情報を非公開にしたい場合、そして、有料コンテンツへのアクセスを管理したい場合が挙げられる。
ロボット排除プロトコルを使って、検索エンジンによるコンテンツのクロール/インデックスをブロックする – robots.txtファイル、robotsのメタタグ、または、X-Robotsのタグをページのヘッダーに利用し、コンテンツをブロックすることが出来る。Disallowステートメントをrobots.txtファイルで用いると、グーグルによるページのクロールを回避することが出来るが、URL自体はインデックスされてしまう可能性がある。noindex robotsのメタタグをページで使うと、グーグルボットはページをクロールするものの、ページのコンテンツのインデックスまたはURLを検索結果に表示させずに済む（グーグルは非公式にrobots.txt内のNoindexのディレクティブに従うものの、このディレクティブの対応は公式には認められているわけではないため、コンテンツをグーグルの検索結果から締めだす方法としては理想的ではない）。

グーグルウェブマスタートレンドのアナリスト、ジョン・ミューラー氏は、先日、コンテンツを加える1日前にrobots.txtファイルをアップデートして、コンテンツをブロックするように提案していた。なぜなら、グーグルはサイトのrobots.txtファイルを24時間キャッシュするからだ。

コンテンツをグーグルの検索結果から外すための効果のないメソッド

コンテンツのオーナーは様々なメソッドを試し、コンテンツをグーグルの検索結果から弾こうとするが、効果のないメソッドもある:

ページにリンクを張らない – URLにリンクがないからと言って、グーグルがクロールしないと言い切ることは出来ない。また、自分のサイトのページにリンクを張っていなくても、その他のサイトがリンクを張る可能性がある。
nofollow属性をページへのリンクに利用する – グーグルはnofollow属性を持つリンクは追跡しないものの、グーグルがリンクを張られたページをクロールしないと言い切ることは出来ない（先程も説明したように）。
JavaScriptもしくはフラッシュのページにリンクを掲載する – グーグルボットはこの類のフォーマットのクロールを改善しているため、グーグルにリンクを見せないようにするためにこれらのページに頼るべきではない。
コンテンツをフォームの裏に掲載する – 少なくとも既に約2年前から、グーグルはフォームのクロールを試している。

インデックスされたサイトのコンテンツを削除する

グーグルの検索結果からコンテンツを外すためのメソッドを利用したにも関わらず、インデックスして欲しくないコンテンツが結局検索結果に掲載されてしまうことがある。「for internal use only」、「embargoed」、そして、「this document contains proprietary information」等の用語で検索を実行してもらいたい。このコンテンツを素早く削除するにはどうすればいいのだろうか？グーグルが検索結果をウェブで利用できるかどうかを基準に表示している点をまず思い出してもらいたい。そのため、ただ単にグーグルのコンテンツを削除を要請するだけでは意味がない。それでは結局次回クロールされてしまうことになる。

まずは、robots.txtまたはrobotsのメタタグを使ってコンテンツをブロックするか、サイトからコンテンツを削除し、404か410のステータスコードをURLに返す必要がある。

いずれかの作業を終えたら、グーグルがページを再びクロールし、コンテンツが自動的に省かれるのを待てばよい。

待ちたくないなら、グーグルのURLリムーバルツールを使って、コンテンツをすぐに削除してもらうよう要請することも出来る。グーグルウェブマスターツールの認証済みのサイトにアクセスし、「Site configuration > Crawler acess > Remove URL」を順にクリックする（サイトの所有権を認証することが出来ないなら、個人情報をGoogleから削除する方法で紹介した一般の削除ツールを利用しよう）。

すると、ダッシュボードが表示され、URLの削除要請を管理することが出来る。「New removal request」をクリックし、削除したいURLを入力しよう。次に、「Remove the page from search results and cache and click the page returns a 404/410 or has been blocked by robots.txt or a noindex meta tag」のチェックボックスを選択する。これを完了したら、クローラーアクセスダッシュボードに「Pending」ステータスと共にリクエストが表示されるはずだ。

グーグルが要請を処理すると（最長48時間以内）、ステータスは「Removed」（削除済み）か「Denied」（拒否）のいずれかに変わる。要請が拒否されたら、「Learn more」（詳細を見る）をクリックして、理由を確認すること。通常、URLがサイトに残っており、グーグルからブロックされていないと、拒否される。

ディレクトリ全体（またはサイト全体）を同じ方法でグーグルから削除することが出来る。しかし、サイトからコンテンツを削除し、404/410を返していても、robots.txtのディレクトリをブロックする必要がある。この作業を終えたら、ツールを利用する際「Remove directory」を選択する。

変更されたサイトのコンテンツのキャッシュを削除する

既に削除した古いコンテンツをグーグルのキャッシュに表示したくないだけであり、グーグルから完全にURLを削除したくない場合もある。ページのコンテンツを変更したら、グーグルが再びクロールして、再びインデックスするのを待つか、または、ページが再びクロールされる前にグーグルにキャッシュを削除するよう要請することも出来る。

再びクロールされたら、グーグルはもう一度キャッシュをアップデートされたコンテンツと共に表示する。また、meta noarchive タグをページに加えることも可能であり、こうすることでページのキャッシュを永遠に（またはタグを削除するまで）回避することが出来るようになる。

ページに変更を加えた後、キャッシュの削除を要請するには、新しい削除の要請を始め、「Remove page from cache only」（キャッシュのみからページを削除する）を選択する。

著作権を持つコンテンツを削除するには

もし、別のサイトが自分の著作権を違反し、グーグルの検索結果で自分のコンテンツが当該のサイトに掲載されているなら、デジタル・ミレニアム・コピーライト・アクト通知を提出し、コンテンツの削除を要請することが可能だ。ユーチューブも同様のポリシーを策定している。

手順を追った説明

自分が所有するコンテンツを完全に削除したい場合:
1. robots.txtまたはrobotsメタタグを使ってコンテンツをブロックし、コンテンツを削除して、404/410ステータスコードを返す。
2. グーグルウェブマスターツールズを介して（認証済みのサイトのオーナーなら）、または、一般の削除ツール（認証済みのサイトのオーナーではないなら）を介して、削除の要請を行う。
古いコンテンツのキャッシュを削除したい場合:
1. ページを修正する（またはサイトを所有しているなら、noarchiveメタタグをページに加える）。
2. キャッシュの削除をグーグルウェブマスターツールズ（認証済みのサイトのオーナーなら）または一般の削除ツール（認証済みのサイトのオーナーではないなら）を介して要請する。
削除したいコンテンツを所有していない場合:
1. サイトのオーナーに連絡を取り、コンテンツを削除するか修正してもらうようにお願いする。
2. 一般の削除ツールを使って削除を要請する。

無事に削除したコンテンツが引き続き表示された場合

ページを変更、削除、またはブロックして、要請がうまくいった旨のメッセージを受け取ったにも関わらず、削除したフレーズで検索をかけると、自分のサイトが結果に掲載されている場合はどうすればいいのだろうか？

まずは、検索結果に表示されたURLを確認して、削除したページのURLと比較してみよう。恐らく、URLが異なる点に気づくだろう。これは正規化の問題により、複数のURLが重複するコンテンツに向かう際に発生する可能性が高い。

例えば、先日、ページに変更を加え、URLのカノニカル版の削除を要請したものの、後に非カノニカルなURLが引き続きインデックスされていることに気づいた（しかし、カノニカルなバージョンがランクを得ていたため、検索エンジンには表示されていなかった）サイトのオーナーに私は手を貸した。これらのURLはカノニカルではなかったため、クロールされる頻度が減り、そのためキャッシュは過去のコンテンツを表示していたのだ。つまり、過去のコンテンツを検索すると、検索結果には非カノニカルなURLが反映されることになるのだ。

このような場合、URLのすべてのバージョンの削除を要請しなくてはいけない可能性があり、また、コンテンツが重複する理由によっては、非カノニカルなURLをカノニカルなURLに301リダイレクトしておいた方がいいだろう（この件の詳細は正規化の問題と解決策を参照すること）。

他の誰かが自分のコンテンツの削除を要請した場合

グーグルウェブマスターツールズで、一般の削除ツールを用いて、サイトのオーナーとして認証されていない人によって削除されたURLを閲覧することが出来る。ただし、これらの要請はコンテンツを削除もしくはブロックした場合のみ（完全な削除）、または、コンテンツを修正した場合のみ（キャッシュの削除）成功する点に注意してもらいたい。

削除の要請をキャンセルするには

コンテンツの削除を要請したものの、やっぱりインデックスしてもらいたいなら、削除ツールを再び開き、URLのそばのReincludeリンクをクリックしよう。グーグルは、要請を3日から5日間以内で処理する。URLは再び表示され、過去のすべてのデータは保持される（ページランク等）。

削除の要請期限を切れた場合

削除の要請は90日後に切れる。コンテンツが引き続きブロックされているなら、削除されているなら、あるいは修正されているなら、削除の期限が過ぎた後もグーグルの検索結果に反映されることはない。90日以内にグーグルは再びクロールし、新しいコンテンツをインデックスするか、もしくは新しいURLのステータス（削除またはブロック）を記録するからだ。

URLの削除ツールを使うべきではないとき

URLの削除ツールを正規化の問題を解決するために利用する過ちがよく見受けられる。例えば、www.site.comとsite.comの双方がインデックスされるなら、どちらかを削除したくなるだろう。しかし、このツールはこのような理由を意図して設けられているわけではない。URLが重複する問題を抱えているなら、この問題の解決に最適なメソッドを利用しよう。

また、サイトの移行時にこのツールを利用する過ちも頻繁に見受けられる。サイトのオーナーのなかにはこのツールを過去のURLのバージョンを削除するために用いる人もいるだろう。しかし、先程と同じように、これも意図する利用ではない。この場合、削除ツールではなく、過去のURLを新しいURLに301でリダイレクトしよう。過去のURLは、グーグルがオリジナルのURL、リダイレクト、そして、新しいURLをクロールするする一定の期間、インデックスに残る可能性がある。移行期間は、すべてをクロールするためにかかる時間によっては、長くなることもある。リダイレクトが適切に実装されている点を確かめたら、グーグルボットはリダイレクトを追跡することが出来るようになる（サーバーログとグーグルウェブマスターツールズのクロールエラーを確認しよう）。しかし、移行を成功させるためには、忍耐力が求められることもある。

その他の情報

この記事で取り上げたトピックをさらに詳しく知りたいなら、以下に挙げる記事を参考にしてもらいたい。きっと役に立つヒントが隠されているだろう:

また、自分がコントロールしていないサイトからコンテンツを削除しようとしているなら、「個人情報をGoogleから削除する方法」にも忘れずに目を通しておいてもらいたい。

この記事は、Search Engine Landに掲載された「Removing Pages From Google: A Comprehensive Guide For Content Owners」を翻訳した内容です。

英語の情報への言及が多いとはいえ、かなりきっちりとまとめられておりSEOやウェブ制作会社の方には参考になるのではないでしょうか？ — SEO Japan

おわりに

Web戦略でお困りではないですか？
自然流入を増やしたい…
もっと問い合わせ、売り上げを増やしたい…
15年以上SEOサービスを提供してきたアイオイクスが、貴社の課題を解決するコンサルティングサービスを提供いたします。
弊社の詳しいサービスについてはこちらからご確認ください。

SEOサービスのお問い合わせはこちら

Webからのお問い合わせ

03-6408-287010:00 – 19:00 （土・日・祝日除く）

アイオイクスではSEOを軸としたWebコンサルティングサービスを提供しています。

いわゆるSEOの型に沿った施策ではなく、お客様の事業やWebサイトの構成を踏まえた最適な施策のご提案を重要視しています。SEOにお困りの際はぜひご相談ください。

→SEOコンサルティングサービスページ

メールマガジンの登録はこちら

SEOに関連する記事の更新やセミナー情報をお届けします。