投稿日:2014/11/10 更新日: CIKM 論文紹介

From Skimming to Reading: A Two-stage Examination Model for Web Search

Liu, Yiqun
Wang, Chao
Zhou, Ke
Nie, Jianyun
Zhang, Min
Ma, Shaoping
In Proc. of CIKM 2014
http://dl.acm.org/citation.cfm?id=2661907

概要

これまでの研究では、ユーザがSERP上のある検索結果上に閾値以上の時間、視線を向けていたらユーザはその結果を読んでいるとみなしていた。この論文では、視線が向けられていても読んでいるとは限らず、ユーザは読む前に「skimming」を行い、そのうえで検索結果を読むかどうかを決める、というモデルを提案している。このモデルにより、ユーザの行動からのrelevanceの推定精度が上昇することを確かめた。

実験

被験者数は37。各被験者は25個のタスクを実行。各タスクでクエリは固定で、検索結果は上位10件のみ表示される。タスクを実行している間の視線情報、マウスの位置、検索結果のクリック情報を記録。さらに、各タスクの終了後に、各検索結果のタイトルやURLやスニペットを読んだかを被験者に回答してもらう。

さらに、25クエリ×10検索結果のそれぞれについて、3人の評価者が適合度判定を行った。

提案モデルに関する結果

提案モデルは「ユーザはまず検索結果のskimmingを行い、skimingの結果適合している可能性があると思えばタイトルやスニペットを読み、その結果適合していればその検索結果をクリックする」というもの。
従来研究に倣って、視線が500ms以上止まっていたらfixation=trueとする。従来研究ではfixation=trueならばreading=trueとしていた。

実験の結果、fixation=trueとなった検索結果の中で、45.80%のものは被験者は「読んでない」と回答したものであった。また、「読んでいない」と回答したのにクリックされた検索結果の数はノイズレベルに少なかった。以上から、fixationは読むか否かを決めるのに必要で、読むことはクリックするか否かを決めるのに必要なことがわかり、提案モデルの正しさが示された。

検索行動のバイアスに関する結果

以下、fixation=trueかつreading=trueの確率をP(R|F)、reading=trueかつclick=trueの確率をP(C|R)とする。

  • Position Bias
  • P(R|F)は1位と2位で極端に高く、3位から6位まで徐々に下がり、7位から10位で更に下がる。P(C|R)も1位と2位が高いが、3位から10位はほぼ同じ。つまり、P(R|F)の方がposition biasを受けやすい。

  • Domain Bias
  • 信頼できるドメインほどクリックされやすいというバイアス。
    P(R|F)ではdomain biasの影響が見られたが、P(C|R)では見られなかった。また、P(R|F)については、1位と2位の結果に関してはdomain biasの影響は見られず、3位以降の結果にのみ影響が見られた。

  • Attractiveness Bias
  • タイトルやスニペット中にクエリと完全一致する語が含まれるほどクリックされやすいというバイアス。
    P(R|F)ではattractiveness biasの影響が見られたが、P(C|R)では見られなかった。また、P(R|F)については、1位と2位の結果に関してはdomain biasの影響は見られず、3位以降の結果にのみ影響が見られた。

ページの適合度推定

既存研究ではP(C|F)だけを使ってページの適合度を推定していたが、P(R|F)およびP(C|R)を併用することで、適合度の推定精度が上昇した。


-CIKM, 論文紹介

関連記事

Statistical Models of Music-listening Sessions in Social Media

Zheleva, Elena and Guiver, John and Mendes Rodrigues, Eduarda and Milić-Frayling, Nataša In Proc. of …

Regularization of Latent Variable Models to Obtain Sparsity

Ramnath Balasubramanyan, William W. Cohen In Proc. of SDM 2013 概要 LDAのようなトピックモデルでは、単語が所属するトピックの分布や、文 …

Modelling User Interest for Zero-query Ranking

Liu Yang, Qi Guo, Yang Song, Sha Meng, Milad Shokouhi, Kieran McDonald, and W. Bruce Croft In Proc. …

Lessons from the Journey: A Query Log Analysis of Within-Session Learning

Carsten Eickhoff Jaime Teevan Ryen White Susan T. Dumais In Proc. of WSDM 2014 概要 ユーザの検索トピックに対する専門度は …

【論文紹介】Identifying Informational vs. Conversational Questions on Community Question Answering Archives

Ido Guy, Victor Makarenkov, Niva Hazon, Bracha Shapira WSDM 2018 ACM, PDF 概要 Yahoo Answersに投稿された質問がi …