Google幹部が語る検索アルゴリズム変更の仕組み

今週の初め、グーグルフェローのアミット・シンガル氏がSMX ロンドンでオープニングキーノートのプレゼン（日本語）を行った。普段、グーグルの自然な検索において代表者の役目を務めているのはマット・カッツ氏だが、同氏の領域は基本的にはウェブスパムである。シンガル氏はここ最近表舞台で発言をするようにになっている（特にパンダアップデートが導入された際）。シンガル氏は検索の品質を監視している。 そして、アミット・シンガル氏こそが、プレゼンの中でも説明していたように、2000年にグーグルに入社し、セルゲイ・ブリン氏が作り上げたコードを見て、完全にグーグルのランキングアルゴリズムを書き直した張本人である。

プレゼンが終わる間際に、参加者から、グーグルの検索アルゴリズムの変更に関する決定に対して、どれぐらい収益が考慮されているかを問う質問が出た際に、シンガル氏は“ランキングの変更に収益は全く関係ない”と明言していた。検索の改善、そして、変更の評価の仕組みを生き生きと説明する同氏の姿を見る限り、同氏が都合のよい解釈をしているとは思えない。間違いなく事実を述べているはずだ。シンガル氏はすべてを把握する立場にいる。 クリス・シャーマンは、グーグルのスタッフの中にグーグルの全ての仕組みを理解している人はいるのか尋ねると、シンガル氏は全て（検索、アドワーズ、アンドロイド等）を把握している人はいないものの、検索の仕組みに関しては何でも知っていると確信していると答えた。このような主張を出来る人物はほとんどいない。

シンガル氏のプレゼンの中心は、無料の検索アルゴリズムを改善する際にグーグルが何を見ているのかに関してであった。鍵を握るのはやはり関連性である。

シンガル氏は、グーグルの検索アルゴリズムの進化について説明していた。2003年、グーグルはステミングと同義語に取り掛かった。 つまり、この取り組みによって[watch buffy the vampire slayer]、[watching buffy the vampire slayer]、そして、[view buffy the vampire slayer]の検索に対して全て同じ結果が表示されることを意味する。 2007年、ユニバーサル検索が導入された。これは検索エンジンのユーザーの意図を理解する上で大きな進歩と言える（ユーザーが[i have a dream]と入力すると、マーティン・ルーサー・キングジュニアのスピーチだけではなく、その動画を見たいと思っている可能性がある）。

意図を理解する

10年前、検索結果はキーワードをベースとしていたが、現在、グーグルはワードの裏にある意図を理解する取り組みを強化している。シンガル氏は、フリーベース社を買収したことによって、文字列ではなく、エンティティとしてフレーズを理解する取り組みが大幅に進んだと述べた。「Mount Everest」（エベレスト）は単なる2つのワードではなく、高さ、場所等も掲載される（このプレゼンの直後、エンティティとして理解する次の取り組みとなる、ナレッジグラフをグーグルはローンチ（日本語）した）。意図と音声認識、そして、モバイルデバイスを組み合わせると、数年前にスタートレックでシンガル氏が見たマシンになる。まさに（ほとんど）未来の世界で私達は生活していると言っても過言ではない。

パーソナライゼーション

2012年、サーチ・プラス・ユア・ワールド（日本語）を用いてグーグルはパーソナライゼーションについて大幅に歩みを進めた（前に進んだかどうかは疑問の余地が残るが）。サーチ・プラス・ユア・ワールドは、ログインしているユーザーに対して、検索結果にグーグル+の情報を導入する製品である。これは単にコンセプトを実証したものであった。公開されている情報、そして、ユーザーに対するプライベータな情報を含むあらゆる（安全な）検索の範囲を広げることが目的であった。もしかしたら、いつかグーグルはユーザーの車の鍵を見つけることが出来るようになるのかもしれない。

シンガル氏は、ユーザーのクリック行動を見れば、ユーザーがサーチ・プラス・ユア・ワールドの統合に満足している点が分かると主張した。ただし、改善が必要な点は同氏も認めていた。ヨーロッパでのローンチの時期を問われると、同氏はフィードバックの内容によっては、改善を優先する可能性があると述べた。

関連性とデータ: 変更が評価される仕組み

サーチ・プラス・ユア・ワールドは、全てのランキングアルゴリズムの変更が行われる方法と同じ方法で構築され、そして、評価されている。つまり、構築、評価、ローンチ、学習、改善、繰り返しを経ている。全ての計測において関連性が鍵を握っている。シンガル氏はこのプロセスを順序立てて説明している:

1. グーグルのエンジニアが関連性を全体的に改善するために、新たに導入する、もしくは調整するシグナル（200以上存在する）を考案する。
2. 当該のアルゴリズムの変更がテスト用のデータを用いて行われ、評価者が広範な一連のクエリの結果のテスト開始前と後を評価し（人手によるA/Bテストのようなもの）し、悪化した割合を調べる。
3. このプロセスが何度か繰り返され、“悪化した”クエリの結果が改善されるまで調節が行われる。
4. アルゴリズムの調整によって結果が改善されることが全体的な評価で証明されると、再びテストが行われる。このテストでは、新しいアルゴリズムがデータセンター（検索結果をユーザーの提示するグーグルのインデックスを含む多くのデータセンターの1つ）に導入され、ほんの一握りのユーザーにのみ修正後の結果が表示される（通常は1%）。当該のユーザー達は、調整済みの結果を調整前の結果よりも好んでいるだろうか？ シンガル氏曰く、ユーザーがクリックする場所を比較するようだ。上位のページをクリックする人が増えると、関連性が高まっており、よってユーザーが結果を好んでいる可能性が高い（シンガル氏は明言しなかったが、クリック数や望まれない行動等のデータにも注目している可能性はある）。
5. 第三者のアナリストが結果をまとめ、スタッツを分析し、検索品質会議で報告する。この会議で、エンジニア達はデータを確認し、変更に関する議論を行う。変更が検索の質を改善しているなら（そして、ウェブにとってプラスであり、内部のシステムに過剰に負担をかけていないなら）、変更は実際に導入される。

このプロセスは常に行われており、様々な調整が提案され、そして、テストにかけられている。2011年には525点のアルゴリズムの変更が行われていた。随分多いように見えるかもしれないが、今年の2月、シンガル氏はさらに多くの変更がテストされていると語っていた。

「グーグルは約100個のアイデアを同時にテストしている。年間数千回テストを実施している。昨年は2万回ほど実験を行った。すべてが実際に反映されるわけではないが、グーグルはこのプロセスを非常に科学的に実施している。」

大量のクエリを入力する大勢のユーザーから集めたデータは、明確なパターンを示している。シンガル氏は、より質の高い結果を早く得るユーザーは検索結果のより高いランクのページをクリックし、さらに検索する量も多いと述べていた（この点については、以前、同じくグーグルに所属するメリッサ・マイヤー氏も同様の指摘を行っており、例えば検索結果の表示が1秒遅れると検索が20%減少するようだ）。

アミット・シンガル氏は、サーチ・プラス・ユア・ワールドを介して描いたパーソナライゼーションプラットフォームのような製品は、テストが難しいと指摘していた。ユーザーの評価は関連性を重要視するが、個人の関連性はユーザーによって異なるためだ。グーグルはクリックの行動しか頼りにすることは出来ない。このジレンマについてサーチ・プラス・ユア・ワールドをローンチした2週間後、シンガル氏はダニー・サリバンのインタビュー（日本語）の中でも語っていた:

「ユーザーはこのような結果を得る度に、実は喜んでいます。この製品がいかに個人に特化しているかを考慮すると、個人の経験を基に、または、クリックスルーを通して観察することが可能な総数を基に判断するしかありません。」

また、スクリーンのサイズによってさらにこの問題は複雑化している。ユーザーインターフェースは、モバイルデバイスおよびタブレットの利用が増えるにつれ、スクリーンの面積が減少しているため、さらに重要になっている。

このような変更が、関連性の改善を最も重要視しているなら、なぜグーグル+のみがサーチ・プラス・ユア・ワールドで提示されているのだろうか？なぜフェイスブックやツイッターの情報は提供されないのだろうか？シンガル氏は、個人的な役に立つフェイスブックのデータはログインと言う壁に遮られ、また、ツイッターでは余りにも早いペースでコンテンツが作られているため、グーグルのクロールが間に合わないと説明している。もしくは、たとえ間に合ったとしても、ツイッターのサーバーをダウンさせてしまう可能性があるようだ。ツイッターはクロールを困難にするテクニカルな問題を抱えている（修正済み）。

パンダとペンギンについて

アミット・シンガル氏は、グーグルのアルゴリズムは完璧ではないと断言している（だからこそ1年間で2万回のテストが行われているのだ）。実際に、シンガル氏は、毎日質の低いクエリを目にしている（そして、オーディエンスに協力を呼び掛けていた。コメント欄にとっておきのクエリを残してくれたら、シンガル氏に転送しておく）。しかし、パンダ、そして、ペンギンについて問われると（最近行われたアルゴリズムの変更の中ではどちらも際立っている）、同氏は、得たデータを参考にすると、結果に反映される質の高いサイトの数は大幅に改善されていると述べている。 パンダとペンギンは、格付けにおいてグーグルが用いているシグナルを改善しているだけでなく、グーグルがシグナルを集め、調整する仕組みも改善している（従って、シグナルの質は高くなっている）。グーグルはシグナルにおける異常値を常に探している。

シンガル氏曰く、結局、サイトのオーナー達はサイトがどんな価値を提供しているのか厳しい目で見なければならないようだ。ビジターは分かり切った答えに加え、どんな価値を得ることが出来るのだろうか？最終的にグーグルが検索結果の1ページ目に表示したいのは、プラスアルファを提供するサイトなのだ。

この記事は、Search Engine Landに掲載された「Peeking Into the World Of Google’s Algorithm Changes With Google Search Quality Head Amit Singhal」を翻訳した内容です。