投稿日: SIGIR 論文紹介

Towards Better Measurement of Attention and Satisfaction in Mobile Search

Lagun, Dmitry
Hsieh, Chih-Hung
Webster, Dale
Navalpakkam, Vidhya
In Proc. of SIGIR2014
http://dl.acm.org/citation.cfm?id=2609631

概要

モバイルサーチに関して、SERPで画面に表示されている領域(viewport)とeye trackingを用いてユーザの検索行動を分析。

実験設定

2種類の検索について実験。1つ目はSERP中にknowledge graph(KG)が表示されるタスクで、2つ目はSERP中にinstant answer(IA)が表示されるタスク(「京都 天気」など)。その他の設定は以下の通り。

  • 被験者数は24人。
  • KG、IAそれぞれ20個の検索タスクを用意し、各被験者は40個すべてのタスクをこなす。すべてinformationalタスク。
  • KGでは、KGがクエリと適合していてかつ表示される、適合していなくて表示される、適合していて表示されない、適合していなくて表示されない、の4種類が存在(各種類20/4=5タスク)。
  • IAでは、IAがクエリと適合していてかつ表示される、適合していなくて表示される、の2種類が存在(各種類20/2=10タスク)。
  • 各タスクでは入力するクエリは決まっていて、ユーザはクエリの修正は行えない。
  • 答えを見つけたら、満足度を7段階で回答。
  • 実験中は被験者の視線の動きと、画面に表示されているSERPの領域を記録。

KGとIAに関する結果

  1. KGが表示された方が満足度は高い。
  2. KGが表示された場合、KGがクエリと適合している方が適合していないときよりも満足度は高い。
  3. KGが表示された場合、KGがクエリと適合している方が適合していないときよりもタスクの達成時間が短い。
  4. KGが表示された場合、KGがクエリと適合していない方が適合しているときよりもKGに視線が向けられる時間が長い。
  5. KGが表示された場合、KGがクエリと適合していない方が適合しているときよりもSERP画面をスクロールする回数が多い。

IAについても2、3、5は成立。

viewportと視線に関する結果

  • デスクトップ検索ではSERPの1位に視線が向けられる時間が最も長く、順位が下がるほど時間は短くなるが、モバイルサーチでは2位が最も長く、続いて3位、1位となり、4位以下は順位が下がるほど時間は短くなる。viewportは3位、2位、1位の順に長く、4位以下は順位が下がるほど時間は短くなる。
  • 全ての視線の68%は画面の上半分を見ており、86%は上3分の2を見ている。つまり下3分の1を見ている時間は全体のわずか14%。
  • vieportと視線の関係を調べたところ、両者には高い相関があり、視線検出装置を使わなくてもviewportである程度代用ができることが明らかになった。

-SIGIR, 論文紹介

関連記事

Identifying topical authorities in microblogs

Pal, Aditya Counts, Scott In Proc. of WSDM2011 http://dl.acm.org/citation.cfm?id=1935843 概要 あるキーワードに …

Semantic Role Labeling of Emotions in Tweets

Saif M. Mohammad Xiaodan Zhu Joel Martin In Proc. of WASSA 2014 概要 これまでにも、ツイートに含まれる感情を推定する研究は行われてきたが …

Optimizing Search by Showing Results In Context

Dumais, Susan Cutrell, Edward Chen, Hao In Proc. of CHI2001 http://dl.acm.org/citation.cfm?id=365116 …

【論文紹介】Bartering Books to Beers: A Recommender System for Exchange Platforms

Rappaz, Jérémie and Vladarean, Maria-Luiza and McAuley, Julian and Catasta, Michele WSDM 2017 ACM, P …

Characterizing the influence of domain expertise on web search behavior

White, Ryen W. Dumais, Susan T. Teevan, Jaime In Proc. of WSDM 2009 http://dl.acm.org/citation.cfm?i …