投稿日: WWW 論文紹介

【論文紹介】Cats and Captions vs. User Characteristics and the Clock: A Time-Controlled Analysis of Multimodal Content

Hessel, Jack and Lee, Lillian and Mimno David
In Proc. of WWW 2017

概要

Redditと呼ばれるソーシャルニュースサイトに投稿された画像の人気度を推定することを目的とした論文。画像特徴量、画像に付与されたテキスト情報、画像を投稿したユーザの情報、画像が投稿されたタイミングから推定している。

予備調査

Redditの6コミュニティを対象に、投稿された画像データを収集。Redditでは投稿された画像に対して、他のユーザがupvoteかdownvoteを投票することができる。upvoteとdownvoteの各数は取得できず、upvoteからdownvoteを引いたスコアのみ取得できるので、この研究ではこのスコアを画像の人気度として使用している。

画像が投稿された時刻とスコアの関係を調べるために、24時間を30分刻みに分割して、各時間帯での平均スコアを算出。その結果、午前9時では高スコアなのに対して午前0時は低スコアと、時間による影響が大きいことがわかった。

画像スコア推定

上記で述べた投稿時刻による影響を排除し、コンテンツから人気度を推定するため、各コミュニティでごく短い時間(たとえば30秒)の間に異なるユーザによって投稿された2つの画像ペアを大量に抽出。ペアワイズのlearning to rankにより、人気度を推定。使用する特徴量は大きく分けて以下の4カテゴリ。

  • 画像特徴量
  • HOG、GIST、画像ヒストグラムの他、深層学習に関するVGG-19とResNet50と呼ばれる特徴量も使用。

  • テキスト特徴量
  • 画像と一緒に投稿されたテキストに関して、単語ユニグラムやトピック、テキストの長さなどを使用。

  • ユーザ特徴量
  • これまでに画像を投稿した回数やコミュニティに参加している期間、平均コメント長などを使用。

  • 投稿タイミング
  • ペアの2つの画像のうち、どちらが早く投稿されたかなどを使用。

評価結果

4カテゴリの各特徴量を単独で使用した場合、最も精度が高かったのは画像特徴量のResNet50。テキスト特徴量に関しては、複雑な特徴量よりも、単純なユニグラムが最も高精度であった。
画像特徴量+テキスト特徴量というコンテンツに関する特徴量を使用した場合と、ユーザ特徴量+投稿タイミングというよりメタな特徴量を使用した場合では、前者の方が精度が高かった。

論文中では高スコア、中スコア、低スコアと推定された画像を示して定性的な評価も行っており、全体的に明るい画像が高スコアになりやすい傾向があった。


-WWW, 論文紹介

関連記事

From Skimming to Reading: A Two-stage Examination Model for Web Search

Liu, Yiqun Wang, Chao Zhou, Ke Nie, Jianyun Zhang, Min Ma, Shaoping In Proc. of CIKM 2014 http://dl. …

Mining Contentious Documents Using an Unsupervised Topic Model Based Approach

Amine, Trabelsi and Osmar R., Zaiane In Proc. of ICDM 2014 概要 ある話題に関する文書集合が与えられたときに、「賛成」や「反対」などの各観点( …

Tagging Your Tweets: A Probabilistic Modeling of Hashtag Annotation in Twitter

Ma, Zongyang Sun, Aixin Yuan, Quan Cong, Gao In Proc. of CIKM2014 http://dl.acm.org/citation.cfm?id= …

Time-critical search

Mishra, Nina and White, Ryen W. and Ieong, Samuel and Horvitz, Eric In Proc. of SIGIR 2014 概要 一緒にいる人 …

Improving the exploration of tag spaces using automated tag clustering

Radelaar, Joni Boor, Aart-Jan Vandic, Damir Van Dam, Jan-Willem Hogenboom, Frederik Frasincar, Flavi …