オンライン格付けの落とし穴〜日経サイエンス2010年9月号

人間心理の問題もあって信頼性に疑問

　アマゾンやトリップアドバイザー，イェルプといったウェブサイトは，本やホテル，レストランをお客の評価に基づいて格付けしてきた。この「クラウドソーシング戦略」を支えているのは，「大勢の多様な人々の意見を集約することで事実に即した最も正確な評価が得られる」という考えだ。 
しかしよく調べてみると，この大衆の知恵は賢明でもなければ，必ずしも多くの人の見方から出来上がっているのでもないようだ。よくて不正確，悪くすると欺瞞に終わる。

本質的なバイアス

　ペンシルベニア大学ウォートンスクールでシステム運用管理学の教授を務めるクレモンズ（Eric K. Clemons）によると，オンライン格付けシステムには本質的なバイアスがいくつかかかっている。まず，買い物を評価しているのは，その商品をすでに購入した人だ。なので，その商品を気に入っている人がそもそも多い。 
　クレモンズはこう説明する。「私はたまたまラリー・ニーヴンの小説が好きだ。だからニーヴンの小説が出たら必ず買う。他のファンも同じ。なので，当初の評価は非常に高く，5つ星になる」。この高い評価につられて，それまでSF小説に関心のなかった人がこの本を買う。そして気に入らなかった場合は，その反動で格付け修正が過剰になり，1つ星評価があふれかえる。 
　こうした欠点が，もっとたちの悪い別のバイアスを顕在化させる。人は単に満足しただけのものについては論評しない傾向があるのだ。非常に気に入ったものについては熱心に薦め，大嫌いなものは徹底的にけなす。この結果，同じ商品に1と5の両極端の評価が多くつくことになる。 
　こうして評価が二極分化したと思われる商品について，インターネットを使わずに評価を聞いたところ，評価の分布は釣鐘曲線になった。つまり3か4の評価が多く，2は少なく，1と5はほとんどない。一票を投じたい人が自主的に参加するオンライン投票には，人工的な判定ギャップが生じる。現代の政治のように，大声で叫ばれた極端な意見だけが聞こえるようだ。

スーパーレビュアーの功罪

　ポルトガルにあるマデイラ大学のコンピューター科学者コスタコス（Vassilis Kostakos）はアマゾンの2万品目以上を調べた2009年の研究で，アマゾン利用者のごく少数によってレビューの大部分が書かれていることを発見した。こうした“スーパーレビュアー”（コメントに「トップ・レビュアー」のバッジが表示されるほか，レビュアー自体も格付けされて参加意欲をあおるようになっている例が多い）は，1人で何千件ものレビューを書き，より一般的な利用者の声をかき消してしまう（アマゾンに評価を寄せている人の95%は評価アイテム数が8品目未満）。 
　「これらの人々が評価上手なのはいうまでもない」とコスタコスはいう。「何といったって，たくさん評価しているのだから」。賢い大衆だと思えたものは，実は評価サイトを牛耳っている少数の熱狂者にすぎない。 
　だが一方で，スーパーレビュアーの存在には動かしがたいメリットもある。彼らはめったなことでは“サクラ”にならないのだ。その商品の直接の関係者（例えば本の著者など）による意図的な評価操作はオンライン格付けにおける最も古くて難しい問題だ。

雑音は排除できるか

　一部サイトでは，極端に肯定的または否定的な言葉を検索して疑わしい投稿を排除する自動フィルターを使っており，特に投稿者の経歴説明が短いものは疑わしいとみなす。しかし，こうした透明性の欠如は不信を生み，さらに悪い事態を招きかねない。 
　疑わしい評価をフィルターで排除しているサービス企業評価サイト，イェルプの例を見てみよう。同社の最高経営責任者で創業メンバーのストップルマン（Jeremy Stoppelman）は，評価される企業が肯定的な評価をしてくれた人にお金を支払うという広告を出している例を挙げ，フィルターの意義を強調する。 
　これに対し，もっと邪悪な力が作用していると疑う向きもある。今年初め，サービス企業の経営者たちはイェルプが“デジタル版ゆすり”を働いているとして提訴した。イェルプの営業担当者が電話してきて，「広告を出してくれたら否定的な評価を削除する」と持ちかけたという。 
　同社はこれを全否定し，どの削除も自動的に行われており，低評価が削られた例があったとしても偶然にすぎないと主張している。だが同社は，不心得者に悪用される恐れがあるとして，フィルターの仕組みの公表を拒んでいる。この透明性の欠如のため，イェルプ自体が評価を操作しているのではないかという疑念を生んでいるのだ。 
　とはいえ，この手法がまるでダメというわけではない。クレモンズはビール評価サイトRateBeer.comを例に挙げる。約3000人のメンバーが，それぞれ少なくとも100銘柄のビールを格付けしており，ごくマイナーなものを除き全銘柄が数百回から数千回も評価されている。これだけの膨大なデータを操作するのは事実上不可能だし，サイト利用者は熱心で，ひいき銘柄や大嫌いなものだけでなく，飲んだビールすべてについて投稿する傾向がある。 
　もちろん，1000種類のビールを評価するほうが同数のレストランやホテル客室を評価するよりも簡単だし費用もかからない。他の評価サイトが同様の高品質データを大量に蓄積するまでは，「買ってからでは手遅れ，買い物は慎重に」という古くからの諺が最良のアドバイスなのかもしれない。