投稿日: WSDM 論文紹介

【論文紹介】Identifying Informational vs. Conversational Questions on Community Question Answering Archives

Ido Guy, Victor Makarenkov, Niva Hazon, Bracha Shapira
WSDM 2018
ACM, PDF

概要

Yahoo Answersに投稿された質問がinformationalとconversationalのどちらのタイプかを分類することを目的とした論文。QAサイトにおける質問のinformational、conversationalという概念は2009年にHarperらによる以下の論文で提唱されたものである。

F. Maxwell Harper, Daniel Moy, Joseph A. Konstan, Facts or Friends? Distinguishing Informational and Conversational Questions in Social Q&A Sites, CHI’09 [PDF]

Informationalな質問とは、質問者が何らかの知識を得ることを目的とした質問で、fact型の質問やアドバイスを求める質問が該当する。Conversationalな質問では、ある話題に関する議論が展開されることを目的とした質問で、「○○についてどう思いますか」というタイプの質問が代表的な例である。Harperらは質問のタイトルだけを使って分類していたのに対して、この論文では回答やメタ情報なども使うことで分類精度の向上を実現した。

データセット

2006年から2016年の間にYahoo Answersに投稿された英語の全質問からサンプリングした4016件に対して質問タイプを人手でラベル付けを行った。55.6%がinformationalであった。

分類に使用する特徴量

Harperらの論文では以下の3カテゴリの特徴量が提案されている。

  1. カテゴリ:質問は階層性のあるカテゴリに分類されているので、最上位のカテゴリと最下位のカテゴリ情報を使用。
  2. テキスト:質問のタイトル中のunigramとbigramで出現頻度の高い500個を使用。
  3. ユーザネットワーク:ユーザがノード、回答者から質問者に枝が張られる有効グラフを作成。質問者の隣接ノード数やクラスタ係数を使用。

この論文では上記の2をタイトルだけでなく質問の本文とベストアンサーも使用し、trigramまで使用するよう拡張。さらに、質問に対する回答数やベストアンサーの単語数などのメタ情報も使用。すべての特徴量をつかってアンサンブル学習をしたときに最も分類精度が高くなることを示した。

さらに、LSTMを使用して質問のタイトルのみから特徴量を作成することで、最も高い分類精度になることを示した。LSTM、カテゴリ、ユーザネットワーク、メタ情報のアンサンブル学習を行っても、LSTM単体の精度を上回ることはなかった。


-WSDM, 論文紹介
-, ,

関連記事

【論文紹介】Online Actions with Offline Impact: How Online Social Networks Influence Online and Offline User Behavior

Althoff, Tim and Jindal, Pranav and Leskovec, Jure In Proc. of WSDM 2017 概要 スマホのArgusという活動記録アプリのログから …

Towards Better Measurement of Attention and Satisfaction in Mobile Search

Lagun, Dmitry Hsieh, Chih-Hung Webster, Dale Navalpakkam, Vidhya In Proc. of SIGIR2014 http://dl.acm …

Modelling User Interest for Zero-query Ranking

Liu Yang, Qi Guo, Yang Song, Sha Meng, Milad Shokouhi, Kieran McDonald, and W. Bruce Croft In Proc. …

Fusion Helps Diversification

Liang, Shangsong and Ren, Zhaochun and de Rijke, Maarten In Proc. of SIGIR 2014 概要 検索結果を多様化する際に、複数の検 …

Analyzing and evaluating query reformulation strategies in web search logs

Huang, Jeff Efthimiadis, Efthimis N. In Proc. of CIKM2009 http://dl.acm.org/citation.cfm?id=1645966 …