投稿日: SIGIR 論文紹介

Re-Examining Search Result Snippet Examination Time for Relevance Estimation

Lagun, Dmitry
Agichtein, Eugene
In Proc. of SIGIR2012
http://dl.acm.org/citation.cfm?id=2348509

概要

従来の研究では、SERP中のあるページを見る時間が長いほどそのページはクエリとの適合度が高いと仮定していたが、それが本当に成り立つかをeye trackingを用いて実験した。

実験設定

被験者はTREC2009の25個の検索タスクを実施。被験者とは別の人によって、検索結果の各ページのクエリとの適合度は3段階(bad、partially relevant、perfect)で与えられている。

結果

  • これまでの研究の仮定に反して、badなページに視線が向けられる時間とperfectなページに視線が向けられる時間に有意差はなく、badとpartially relevantの間にも有意差は無かった。つまり、長時間スニペットを見ているからといってそのページがクエリと適合しているとは限らない。
  • 検索結果の1位を見ている時間が短いということは、検索結果の下位まで見ており、検索結果の精度が高くないことが予想される。実際、検索結果の1位を見ている時間と検索結果のMAPには中程度の相関があった。

以上の結果から、各ページを見る時間を調べても、各ページとクエリとの適合度は推定できないが、検索結果の1件目を見る時間を調べることで、検索結果の精度はある程度推定できることがわかった。


-SIGIR, 論文紹介

関連記事

【論文紹介】Detecting and Characterizing Eating-Disorder Communities on Social Media

Wang, Tao and Brede, Markus and Ianni, Antonella and Mentzakis, Emmanouil WSDM 2017 ACM, PDF 概要 摂食障害 …

Spatio-temporal Dynamics of Online Memes: A Study of Geo-tagged Tweets

Kamath, Krishna Y. Caverlee, James Lee, Kyumin Cheng, Zhiyuan In Proc. of WWW 2013 http://dl.acm.org …

Improving relevance judgment of web search results with image excerpts

Li, Zhiwei Shi, Shuming Zhang, Lei In Proc. of WWW2008 http://dl.acm.org/citation.cfm?id=1367497.136 …

Enhancing collaborative filtering systems with personality information

Hu, Rong and Pu, Pearl In Proc. of RecSys 2011 概要 協調フィルタリングを用いてあるユーザに推薦するアイテムを決める際、通常はそのユーザの過去のアイテムの …

【論文紹介】How Much Novelty is Relevant?: It Depends on Your Curiosity

Zhao, Pengfei and Lee, Dik Lun In Proc. of SIGIR 2016 概要 心理学の分野では、対象物の刺激が強すぎても弱すぎても人は惹き付けられず、中程度のとき最 …