この研究では、人がなぜ・どのように歌詞を閲覧するのかを分析しています。人がなぜ・どのように音楽を聴くのかを明らかにすることを目的とした研究はこれまでに多数取り組まれてきましたが、人がなぜ・どのように歌詞を閲覧するのかを明らかにした研究はこの研究が世界初です。

最近では、SpotifyやApple Musicなどの音楽配信サービスが提供するスマートフォン用アプリにおいて、ユーザが楽曲を再生中にその楽曲の歌詞を閲覧できる機能が実現されています。この研究では、その機能を使った歌詞閲覧行動に着目し、「なぜ」と「どのように」を調査しています。

「なぜ」を明らかにするために、206名を対象としたアンケート調査を実施しました。歌詞を見る理由として8種類の理由を用意し、各理由で歌詞を見ることがどの程度あるかを5段階（1：まったくない～5：よくある）で回答してもらいました。以下がその8種類の理由と結果です。

• 確認：歌詞を聴き取れなかった箇所が何と歌われているのか確認するため
• 理解：歌詞をより深く理解するため
• 歌唱：カラオケなど人前で歌うためではなく、自分で口ずさむため
• 構造：楽曲の構成（A メロ・B メロ・サビなど）を確認するため
• 練習：カラオケなど人前で歌う練習をするため
• 退屈：手持ち無沙汰を解消するため
• 言語：語学の勉強のため
• 作詞：作詞の勉強のため

歌詞を見る理由としては「確認」「理解」がポピュラーであり、「歌唱」「構造」「練習」も半数以上の回答者が「それなりにある」または「よくある」と回答していました。論文中では、各理由について「歌詞を見ると決めるのは曲を再生する前か後か」「歌詞の一部分だけ見るか大部分を見るか」といった詳細な分析もしています。また、歌詞を見る理由に応じてユーザを支援するための、歌詞閲覧や楽曲推薦の機能も提案しています。

「どのように」を明らかにするために、スマートフォンの音楽再生アプリから収集された2,300万件以上の歌詞閲覧ログを分析しています。基礎的な統計量の分析として、下の図のように1日の中での各時刻におけるログ数の分布などを調べています（図の「LyLog」は歌詞閲覧ログ、「Lastfm」は楽曲再生ログ）。

より発展的な分析として、同じ曲の歌詞を繰り返し見る行動も分析しています。ユーザがある曲の歌詞を見始めたとき、最初のうちは短いスパンで繰り返しその曲の歌詞を見るのですが、時間が経つにつれて、その曲に飽きたり、歌詞を覚えて見る必要がなくなったりすることで、徐々にその曲の歌詞を見るスパンが長くなっていくことなどを明らかにしています。

発表論文

• K. Tsukuda, M. Hamasaki and M. Goto
  Toward an Understanding of Lyrics-viewing Behavior While Listening to Music on a Smartphone
  Proceedings of the 22nd International Society for Music Information Retrieval Conference (ISMIR 2021), pp.705–713, Nov. 2021.
  [Paper] [Poster]
• 佃洸摂，濱崎雅弘，後藤真孝
  人はなぜ・どのように歌詞を閲覧するのか：スマートフォンでの楽曲聴取時の歌詞閲覧行動分析
  ARG 第17回Webインテリジェンスとインタラクション研究会(WI2)，pp.67-72，2021年12月
  [Paper] [Slide]

発表資料

ARG 第17回Webインテリジェンスとインタラクション研究会の発表資料。

概要

この研究では、画像検索時にユーザの持つ様々な意図が、画像検索結果に対する満足度や画像検索結果の評価指標に与える影響を分析しています。分析する際は、先行研究により作成され公開されている、画像検索データセット（タスク実行時のユーザの入力クエリ、クエリの画像検索結果に対する満足度、タスクに関する満足度、クエリと各画像の適合度などが含まれる）を使用しています。ユーザの検索意図として、先行研究に基づいて以下のように階層化された意図を分析対象としています。

• Why型
• 目的別
• Locate：資料作成などに使用するために画像をダウンロードしたい
• Learn：何かについて調べたい
• Entertain：好きな俳優の画像などを検索して楽しみたい
• シチュエーション別
• Work&Study：仕事や勉強のために画像を探したい
• Daily-life：日常生活のために画像を探したい
• How型
• 具体性別
• Specific：あるテーマについて明確に探したいことがある
• General：あるテーマに関する一般的なことを探したい
• 内容別
• Mental Image：探したい画像が明確に頭に描けている
• Navigation：探したい画像が頭に描けていない

画像検索意図が満足度に与える影響
クエリレベルの満足度とタスクレベルの満足度を対象として分析し、以下のようなことが明らかになりました。

• LearnやWork&Studyといった、より切実度の高い意図のもとではクエリ満足度とタスク満足度はともに低くなりやすい。そうした意図を持つユーザは、1個目のクエリで満足のできる検索結果が得られずに苦労しているので、最初のクエリ投入時にクエリ推薦を多めに出すなどの支援が考えられる。
• LearnとGeneralの意図を持ったユーザは、一度満足のできる検索結果が得られた後もクエリを入力し続ける傾向にあり、満足のできるクエリを多く入力するほどタスクの満足度も高くなる。したがって、ユーザが満足する検索結果を返せたとシステムが判断できた場合でも、引き続きユーザの検索支援をすることでさらに満足度を向上できる可能性がある。

画像検索意図が評価指標に与える影響
先行研究で、画像検索に特化した評価指標が提案されています。その評価指標では、画像検索結果では画像がタイル状に並んでおりユーザの視線は列の中央に向けられやすいため、列の中央に近い位置にクエリとの適合度が高い画像が多く配置されているほど評価指標の値が高くなります。画像検索意図がその評価指標に与える影響として以下のようなことが明らかになりました。

• Learn、Daily-life、Mental Imageの意図の元では、提案された評価指標が従来の評価指標よりも優れていた。それ以外の意図では、提案された評価指標と従来の評価指標の間に大きな差は見られなかったため、検索意図に応じた評価指標の提案といった研究トピックが考えられる。

発表論文

• K. Tsukuda and M. Goto
  Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Image Search Intents
  Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2020), pp.1877-1880, July 2020.
  [Paper] [Slide]

発表資料

SIGIR2020の発表資料です。

概要

この研究では、ユーザが過去に消費したことのあるコンテンツを再度そのユーザに推薦する際に推薦理由を提示する手法を提案しています。既存研究では「あなたが購入した商品と一緒によく購入される商品はこのような商品です」のように、ユーザにとって未知（未消費）のコンテンツを推薦するための推薦理由の生成に焦点があてられてきました。それに対してこの研究では、楽曲の聴取や飲食店の訪問など、ユーザが同じコンテンツ（楽曲や飲食店）を繰り返し消費することの多いドメインを対象として、繰り返し消費されるコンテンツを対象とした推薦理由の生成に焦点を当てている点に新規性があります。

任意のサービスにおいてサービス固有の特徴に応じた推薦理由の生成を可能とするために、人とコンテンツの関わり方を考慮した「属人的要因」「社会的要因」「コンテンツ的要因」の3要因に基づく汎用的な推薦理由の生成フレームワークを提案しています。これにより、例えば楽曲配信サービスであれば、属人的要因を基にすることで「あなたがこの楽曲を初めて聴いてから今日でちょうど5年が経過したので、また聴いてみませんか」といった推薦理由が提示できます。また、訪れた飲食店を記録するサービスであれば、社会的要因を考慮することで「あなたが過去に訪れたこのレストランを好きと言っているユーザが1,000人に到達したので、また訪れてみませんか」といった推薦理由が提示できます。このような推薦理由を提示することで、ユーザは懐かしさや嬉しさを感じながらコンテンツを再度消費することが期待できます。

楽曲の聴取では繰り返し消費されるコンテンツの割合が特に高いことが知られているため、この研究では楽曲推薦における9種類の推薦理由を上記の3要因に基づいて提案し、622名を対象としたアンケート調査を行うことで、提案した推薦理由が消費済みコンテンツの推薦において説得力の向上に有用であることなどを示しました。

発表論文

• K. Tsukuda and M. Goto
  Explainable Recommendation for Repeat Consumption
  Proceedings of the 14th ACM Conference on Recommender Systems (RecSys 2020), pp.462–467, Sep. 2020.
  [Paper] [Slide]
• 佃洸摂，後藤真孝
  繰り返し消費されるコンテンツを対象とした推薦理由の提示
  情報処理学会 情報基礎とアクセス技術研究発表会 研究報告，Vol.2021-IFAT-142，No.3，pp.1-10，2021年3月
  [Paper] [Slide]

発表資料

第142回情報基礎とアクセス技術研究発表会の発表資料。

RecSys 2020のポスター。

概要

「Kiite Cafe」は、人々がWeb上で集まって同じ瞬間に同じ楽曲を聴きながら、リアルタイムにコミュニケーションが取れる音楽発掘カフェです。Kiite Cafeでユーザが楽曲を聴取する体験は、次の２つのアーキテクチャによって特徴づけられます。

1. ユーザの楽曲に対する「好き」という反応が可視化される
2. Kiite Cafeで再生される楽曲はユーザの好みの楽曲から選択される

アーキテクチャ1を実現するために、以下の4種類の可視化機能を提供しています。

• 再生中の楽曲を自分のお気に入りに登録すると自分のアイコンにエフェクト付きのハートマークが表示される
• 楽曲に対する印象や気持ちを表現するためにコメントを投稿して自分のアイコンの上に表示させる
• 楽曲を聴いて高まった気持ちなどを表現するために自分のアイコンを回転させる
• 楽曲を聴いて高まった気持ちなどを表現するために自分のアイコンを移動させる

また、アーキテクチャ2を実現するうえでは、Kiite Cafeに滞在している全てのユーザの好みの楽曲（お気に入り楽曲やプレイリストの楽曲）から公平に再生する楽曲が選ばれるような選曲アルゴリズムを実装しています。これにより、KiiteCafeで再生される楽曲の多様性が確保され、自分の好みの楽曲が選択されないことに不満を持つユーザが出ないようになります。

Kiite Cafeのユーザの利用ログを分析することで、2つのアーキテクチャによって以下の3つの効果がもたらされることを明らかにしました。

• アーキテクチャ1によって、Kiite Cafeの滞在ユーザ数が多くなるほど「好き」を伝える意義が大きくなり、ユーザはより積極的に「好き」を伝えるようになる
• アーキテクチャ2によって多様な楽曲を聴く機会が得られるため、ユーザが一人で聴いて好きになる楽曲よりも、KiiteCafeで聴いて好きになる楽曲の方が多様性が高くなる
• アーキテクチャ2によって、どのユーザでもキュレータとして貢献できる機会が得られ、かつアーキテクチャ1によって自分の好きな楽曲を他のユーザが好きになる瞬間を見られるため、キュレータとしての貢献が大きくなるほど自分の好みの楽曲が再度選ばれることが楽しみになり、KiiteCafeの滞在時間が長くなる

Webサービス

• Kiite Cafe

謝辞

Kiiteおよびニコニコ動画のユーザ、VOCALOID楽曲のクリエータ、VOCALOID楽曲の日毎・週毎の人気度ランキングの作成者、そしてVOCALOID文化とそれに関連した文化を築き、支援し、楽しんでいる全ての人々に感謝します。また、Kiite を共同開発したクリプトン・フューチャー・メディア株式会社、我々の研究活動を初期は暗黙的に（後に明示的に）応援してきたニコニコ動画に感謝します。

紹介記事

• 【その他（お知らせ）】Kiite最新情報♪新機能「Kiite Cafe」本日正式リリース＆モバイル版登場！Kiiteとミクナビの連携もスタート！

発表論文

• 佃洸摂，石田啓介，濱崎雅弘，後藤真孝
  Kiite Cafe: 同じ楽曲を同じ瞬間に聴きながら楽曲に対する気持ちを伝え合う音楽発掘サービス
  第26回一般社団法人情報処理学会シンポジウム インタラクション2022, 2022年3月
  インタラクティブ発表賞
  [Paper] [Slide]
• K. Tsukuda, K. Ishida, M. Hamasaki and M. Goto
  Kiite Cafe: A Web Service for Getting Together Virtually to Listen to Music
  Proceedings of the 22nd International Society for Music Information Retrieval Conference (ISMIR 2021), pp.697–704, Nov. 2021.
  第38回 電気通信普及財団賞 (テレコム学際研究賞) 入賞
  [Paper] [Poster]
• 佃洸摂，石田啓介，濱崎雅弘，後藤真孝
  Kiite Cafe: 同じ楽曲を同じ瞬間に楽しんで「好き」が伝わる音楽発掘カフェ
  情報処理学会 音楽情報科学研究会 研究報告，Vol.2021-MUS-132，No.15，pp.1-10，2021年9月
  [Paper] [Slide]

発表資料

第26回一般社団法人情報処理学会シンポジウム インタラクション2022の登壇発表資料です。

概要

この研究では、ユーザにアイテムを推薦する際に、アイテムの多様化に加えて、推薦理由も多様化するための手法を提案しています。下図のようにアーティストの推薦システムを例にとると、推薦理由というのは「The Beatlesはあなたの好きなアーティストOasisに似ているのでお薦めです」のような「アーティストベース」のものや、「The Beatlesはあなたの友人のTomが好きなアーティストなのでお薦めです」のような「友人ベース」のものがあり、全部で7種類の推薦理由を扱っています。

ロックが大好きでポップも少し好きというユーザに対して、一番左の推薦リストのように、ロックのアーティストばかりを上位に推薦すると、ユーザが「今はポップ系のアーティストの曲を聴きたい」という意図を持っているときに対応できません。そこで、アーティストのタグを使うことで、真ん中の推薦リストのように、ロックだけでなくポップに関連するアーティストも推薦されるようにします。
しかし、2位と3位のポップ系のアーティストには、いずれもアーティストベースとタグベースの推薦理由が提示されているため、ユーザがこれらの推薦理由は説得力に欠けると感じると、いずれのアーティストも聴かれない可能性があります。そこで、右の推薦リストのように、アーティストの多様化に加えて推薦理由も多様化することで、ポップ系のアーティストに別々の推薦理由が提示されるようにします。こうすることで、友人ベースの推薦理由に説得力があると思っているユーザであっても、聴きたくなるアーティストを1組は見つけられる可能性を高くしています。

推薦時にアイテムの多様化を行う研究はこれまでにも取り組まれていましたが、推薦理由の多様化に初めて着目し、そのための手法を提案した点がこの研究の貢献のひとつです。推薦理由の多様化手法では、推薦リスト内での任意のアイテム間の推薦理由の多様化に加えて、類似したアイテム間では類似した推薦理由が提示されないように推薦理由を多様化するという工夫をしています。より詳細な内容は下にある論文PDFをご覧ください。

発表資料

RecSys2019論文読み会の発表資料です。


RecSys 2019のポスター発表用資料です。

概要

この研究では、複数人のクリエータが協力してひとつの動画コンテンツを創作する「コラボレーション」に関する分析をしています。ニコニコ動画に投稿された動画の中でも、VOCALOIDを用いて創作された楽曲を歌ったり、踊ったり、演奏したりする「派生動画」におけるコラボレーションを扱っています。

分析はコラボレーションと（１）動画の視聴のされ方との関係、（２）クリエータの活動との関係、（３）クリエータの特性との関係、といった観点から行いました。代表的な結果を以下に記述します。

動画の視聴のされ方との関係
コラボレーションによって創作された動画（コラボ動画）と、一人のクリエータによって創作された動画（非コラボ動画）の再生数の分布を調べると下図のようになりました。コラボ動画の方が分布が右に偏っていることから、コラボ動画の方が再生数が多い傾向にあることがわかりました。コラボ動画の場合、創作に関わった各クリエータの動画を日頃視聴して
いるユーザが同じコラボ動画を視聴するために再生数が多くなるのではないかと推測されます。

クリエータの活動との関係
コラボレーション動画を一度でも創作した経験のあるクリエータと、一度も経験したことのないクリエータの活動期間の長さの分布を調べると下図のようになりました。クリエータの活動期間は、その人の最初の動画投稿日と最新の動画投稿日の差により定義しています。図から、コレボレーションの経験したクリエータの方が活動期間が長い傾向にあることがわかりました。現状では相関があることだけがわかっており、因果関係までは検証できていませんが、コラボレーションを経験した結果として活動期間が長くなることが明らかになれば、より容易にコラボレーションができるような環境づくりをしてクリエータ間のコラボレーションを支援する研究への発展などが期待できます。

より詳細な内容は下にある論文PDFをご覧ください。

概要

この研究では、ユーザ生成コンテンツ（UGC）を推薦するためのモデルを提案しています。UGCとは、プロのクリエータではない一般の人々によって創作されたコンテンツのことで、YouTubeの動画やFlickrの写真などがその一例としてあげられます。
UGCを扱わない一般的なeコマースサービスなどでは、ユーザは消費者としての役割しか持たないのですが、UGCを扱うWebサービスでは、一人のユーザが消費者としての役割に加えて創作者としての役割も持つのが特徴です。この特徴を活かし、従来の推薦モデルが「ユーザがどのコンテンツを消費したか」という情報だけを使っていたのに対して、提案モデルではその情報に加えて「ユーザがどのコンテンツを創作したか」という情報も使い、それにより推薦精度の改善を実現しました。

より具体的には、まず各ユーザに対して消費者に対応するk次元ベクトルと創作者に対応するk次元ベクトルを用意します。そのうえで、ユーザuの消費者としての性質と創作者としての性質が似ていれば、uの消費者ベクトルの値と創作者ベクトルの値が近くなるように目的関数に制約を加えます。
このとき、「uの消費者としての性質と創作者としての性質の類似度」≒「uの消費コンテンツと創作コンテンツの類似度」≒「uの消費コンテンツの消費ユーザとuの創作コンテンツの消費ユーザの類似度」とみなして類似度を測ります。「uの消費コンテンツの消費ユーザ」は下図のユーザ集合Aに、「uの創作コンテンツの消費ユーザ」は下図のユーザ集合Bに相当し、AとBの重複が大きくなるほどuの消費者ベクトルの値と創作者ベクトルの値が近くなるようにベクトルの値を学習します。

実験を通して、提案モデルの推薦精度がRecSys 2018で提案されたUGC推薦の最新手法の精度を上回ることを示しました。
より詳細な内容は下にある論文PDFおよび発表スライドをご覧ください。

概要

従来の動画検索では、動画のタイトルやタグに含まれる語をキーワードとして入力して、自分の興味のある動画を探す方法が一般的でした。この研究では、動画に投稿された時刻同期コメントを利用することで、みんなが「かわいい」や「高音綺麗」、「イントロ超かっこいい」などと言っている動画を探すことを実現しました。
より具体的には、コメントの長さや文字バイグラム、類似コメントの数や曲のサビでの生起確率などを素性として機械学習によりコメントの有用度を推定することで、有用度の高い思わず検索に使用したくなるコメントを求めています。

ニコニコ動画に投稿された動画およびコメントを対象として提案手法を適用したWebサービス「Songriumコメント分析」を公開しています。Songriumコメント分析では、サービス側が表示するおすすめのコメントから動画を探したり、自分が興味のあるコメントを直接入力して動画を探したりできます。視聴者の反応を利用することで、より直感的な動画の検索を目指しています。

Webサービス

Songriumコメント分析

発表論文

• K. Tsukuda, M. Hamasaki, and M. Goto,
  “SmartVideoRanking: Video Search by Mining Emotions from Time-Synchronized Comments”,
  Proceeding of 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW 2016), pp.960-969, Dec, 2016.
  [PDF]
• 佃洸摂，濱崎雅弘，後藤真孝
  SmartVideoRanking：視聴者の時刻同期コメントに基づく動画ランキングシステム
  Webとデータベースに関するフォーラム(WebDB Forum 2015)，2015年11月
  [PDF] [Slide]

発表資料

概要

この研究では、オリジナルコンテンツから次々と新しい派生コンテンツが創作されるN次創作活動において、派生コンテンツの創作を引き起こした要因を推定するためのモデルを提案しています。
提案モデルでは、クリエータが派生コンテンツを創作する際に次の３つの要因が影響すると考えています：（１）オリジナルコンテンツの魅力、（２）オリジナルコンテンツの人気、（３）派生コンテンツの人気。

ニコニコ動画に投稿されたオリジナルコンテンツおよび派生コンテンツを対象として提案モデルを適用した、派生要因鑑賞サービス「Songrium 派生要因分析」を公開しています。Songrium派生要因分析では、N次創作活動におけるオリジナルコンテンツの特性の可視化、オリジナルコンテンツから派生コンテンツが創作される過程の可視化、クリエータが３つの各要因から受けた影響の大きさの可視化などの機能を提供しています。
動画コンテンツの探索や視聴をする際に、これまでは明らかではなかった、派生コンテンツ間の関係やクリエータの特性を可視化することで、ユーザやクリエータの新たなコンテンツとの出会いやN次創作現象のより深い理解の支援を目指しています。

Webサービス

Songrium 派生要因分析

発表論文

• K. Tsukuda, K. Ishida, M. Hamasaki, and M. Goto
  Songrium Derivation Factor Analysis: A Web Service for Browsing Derivation Factors by Modeling N-th Order Derivative Creation
  IEICE Transactions on Information and Systems E101-D(4), pp.1096-1106, Apr, 2018.
  [PDF]
• 佃洸摂，石田啓介，濱崎雅弘，後藤真孝
  Songrium派生要因分析：N次創作活動のモデル化による派生要因鑑賞サービス
  第9回データ工学と情報マネジメントに関するフォーラム(DEIM2017)，G7-1，2017年3月
  最優秀論文賞
• K. Tsukuda, M. Hamasaki, and M. Goto
  Why Did You Cover That Song?: Modeling N-th Order Derivative Creation with Content Popularity
  Proceedings of 25th ACM International Conference on Information and Knowledge Management (CIKM 2016), pp.2239-2244, Oct, 2016.
  [PDF] [Poster]
• 佃洸摂，濱崎雅弘，後藤真孝
  コンテンツの人気度を考慮したN次創作活動のモデル化
  第9回Webとデータベースに関するフォーラム(WebDB Forum 2016)，2016年9月
  山下記念研究賞
  [PDF] [Slide] [Poster]

発表資料

WebDB Forum 2016の発表資料