ktsukuda-0415 のすべての投稿

Songriumコメント分析：視聴者の反応に基づく動画検索

研究テーマ

概要

従来の動画検索では、動画のタイトルやタグに含まれる語をキーワードとして入力して、自分の興味のある動画を探す方法が一般的でした。この研究では、動画に投稿された時刻同期コメントを利用することで、みんなが「かわいい」や「高音綺麗」、「イントロ超かっこいい」などと言っている動画を探すことを実現しました。
より具体的には、コメントの長さや文字バイグラム、類似コメントの数や曲のサビでの生起確率などを素性として機械学習によりコメントの有用度を推定することで、有用度の高い思わず検索に使用したくなるコメントを求めています。

ニコニコ動画に投稿された動画およびコメントを対象として提案手法を適用したWebサービス「Songriumコメント分析」を公開しています。Songriumコメント分析では、サービス側が表示するおすすめのコメントから動画を探したり、自分が興味のあるコメントを直接入力して動画を探したりできます。視聴者の反応を利用することで、より直感的な動画の検索を目指しています。

Songriumコメント分析

Webサービス

Songriumコメント分析

発表論文

  • K. Tsukuda, M. Hamasaki, and M. Goto,
    “SmartVideoRanking: Video Search by Mining Emotions from Time-Synchronized Comments”,
    Proceeding of 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW 2016), pp.960-969, Dec, 2016.
    [PDF]
  • 佃洸摂，濱崎雅弘，後藤真孝
    SmartVideoRanking：視聴者の時刻同期コメントに基づく動画ランキングシステム
    Webとデータベースに関するフォーラム(WebDB Forum 2015)，2015年11月
    [PDF] [Slide]

発表資料


Songrium派生要因分析：N次創作活動のモデル化

研究テーマ

概要

この研究では、オリジナルコンテンツから次々と新しい派生コンテンツが創作されるN次創作活動において、派生コンテンツの創作を引き起こした要因を推定するためのモデルを提案しています。
提案モデルでは、クリエータが派生コンテンツを創作する際に次の３つの要因が影響すると考えています：（１）オリジナルコンテンツの魅力、（２）オリジナルコンテンツの人気、（３）派生コンテンツの人気。

ニコニコ動画に投稿されたオリジナルコンテンツおよび派生コンテンツを対象として提案モデルを適用した、派生要因鑑賞サービス「Songrium 派生要因分析」を公開しています。Songrium派生要因分析では、N次創作活動におけるオリジナルコンテンツの特性の可視化、オリジナルコンテンツから派生コンテンツが創作される過程の可視化、クリエータが３つの各要因から受けた影響の大きさの可視化などの機能を提供しています。
動画コンテンツの探索や視聴をする際に、これまでは明らかではなかった、派生コンテンツ間の関係やクリエータの特性を可視化することで、ユーザやクリエータの新たなコンテンツとの出会いやN次創作現象のより深い理解の支援を目指しています。

Webサービス

Songrium 派生要因分析

発表論文

  • K. Tsukuda, K. Ishida, M. Hamasaki, and M. Goto
    Songrium Derivation Factor Analysis: A Web Service for Browsing Derivation Factors by Modeling N-th Order Derivative Creation
    IEICE Transactions on Information and Systems E101-D(4), pp.1096-1106, Apr, 2018.
    [PDF]
  • 佃洸摂，石田啓介，濱崎雅弘，後藤真孝
    Songrium派生要因分析：N次創作活動のモデル化による派生要因鑑賞サービス
    第9回データ工学と情報マネジメントに関するフォーラム(DEIM2017)，G7-1，2017年3月
    最優秀論文賞
  • K. Tsukuda, M. Hamasaki, and M. Goto
    Why Did You Cover That Song?: Modeling N-th Order Derivative Creation with Content Popularity
    Proceedings of 25th ACM International Conference on Information and Knowledge Management (CIKM 2016), pp.2239-2244, Oct, 2016.
    [PDF] [Poster]
  • 佃洸摂，濱崎雅弘，後藤真孝
    コンテンツの人気度を考慮したN次創作活動のモデル化
    第9回Webとデータベースに関するフォーラム(WebDB Forum 2016)，2016年9月
    山下記念研究賞
    [PDF] [Slide] [Poster]

発表資料

WebDB Forum 2016の発表資料


Lyric Jumper：歌詞のトピックに基づく楽曲探索

研究テーマ

概要

これまで、膨大な楽曲の中から興味のある楽曲を探す際には「曲名」「アーティスト名」「歌詞フレーズ」などで検索する方法が一般的でした。それに対してこの研究では、歌詞を解析することで、楽曲ごとのトピック（「青春」「センチメンタル」「大人の恋愛（女性編）」など）を推定し、トピックに基づいて楽曲を探すことを実現しました。

より具体的には、アーティスト、歌詞、単語という3階層の構造を考慮しながら、歌詞でのさまざまな単語の出現の仕方からトピックを解析して、事前に決めた個数のトピック群を推定しています。そのようにして推定したトピックを元に楽曲を探せる歌詞探索サービス「Lyric Jumper」を公開しています。「Lyric Jumper」を使うことで、ユーザーは探し求めているイメージをたどりながら歌詞に出会うことができます。

Lyric Jumper

Webサービス

Lyric Jumper

プレスリリース

報道

コラボレーション

発表論文

  • 佃洸摂，石田啓介，後藤真孝
    Lyric Jumper：アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス
    第22回一般社団法人情報処理学会シンポジウム インタラクション2018, 2018年3月
    [    PDF] [Slide]
  • K. Tsukuda, K. Ishida, and M. Goto
    Lyric Jumper: A Lyrics-Based Music Exploratory Web Service by Modeling Lyrics Generative Process
    Proceedings of the 18th International Society for Music Information Retrieval Conference (ISMIR 2017), pp.544-551, Dec, 2017.
    [PDF] [Poster]
  • 佃洸摂，石田啓介，後藤真孝
    Lyric Jumper：アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービス
    第10回Webとデータベースに関するフォーラム(WebDB Forum 2017)，2017年9月
    [PDF] [Slide] [Poster]

発表資料

インタラクション2018で使用した発表資料。


WebDB Forum 2017で使用した発表資料。


Taste or Addiction: 音楽の再生モチベーション推定

研究テーマ

概要

ある人がある曲を聴いたときに、なぜその人はその曲を聴こうと思ったのか、そのモチベーションの推定を目的とした研究です。人がいつ、どの音楽を聴いたかを表す情報として、この研究ではLast.fmやApple Musicのような音楽配信サービス上での曲の再生情報を利用しています。

音楽を再生するモチベーションは様々だと思いますが、次の二つの要因は特に影響が大きいのではないかと仮定しました。

要因1. 日頃の音楽の好み
ロックが好きな人は日頃からロックを頻繁に聴いたり、懐メロが好きな人は日頃から懐メロを聴いたり、というように、あるジャンルの曲が好きだから聴いた、というものが該当します。

要因2. 特定のアーティストにハマった
自分が普段聴くジャンルからは外れるけれど、テレビであるアーティストの曲を聴いたことがきっかけでそのアーティストに一時的にハマってそのアーティストの曲を聴いたり、友だちからあるアーティストのアルバムを勧められて聴いてみたらハマってしまった、という場合に相当します。このように、日頃の好みとは無関係に、特定のアーティストにハマったことが理由で音楽を聴いた、というものが該当します。同時期に複数のアーティストにハマることも想定しています。

以上の二つの要因を仮定したうえで、あるユーザがある曲を再生したときに、それが要因1と2のどちらの影響によるものかを推定するモデルを提案しました。要因1だけを考慮したモデルはWWW’10で提案されており、それを拡張したモデルとなっています。音楽配信サービスの実際の再生ログを使った実験により、要因1だけを考慮したモデルよりも、要因1と2を考慮したモデルの方が優れていることを示しました。

提案モデルを使うことで、以下に示すような様々なデータを推定できるようになります。

1. 各ユーザの日頃の音楽の好み
ユーザAはロックとジャズを日頃好んで聴いている、ユーザBはヒップホップを日頃好んで聴いている、ということが推定できます。

2. 各ユーザがハマっているアーティスト
ユーザAはAKB48にハマっている、ユーザBはMr.ChildrenとONE OK ROCKにハマっている、ということが推定できます。

3. 時間と各要因の影響度の関係
各ユーザが音楽を再生した時間と各要因の影響力の関係を推定し、その結果を全ユーザについて集約することで、時間と各要因の影響度の一般的な関係を知ることができます。今回用いたデータでは、朝早い時間帯はハマっているアーティストの曲が聴かれやすく、夜の時間帯は日頃の好みに応じた曲が聴かれやすい、という結果が出ました。ここからは推測ですが、朝は忙しいので、好みに応じて色々な曲を聴く余裕がなく、ハマっている特定のアーティストの曲を聴いているのかもしれません。そのため、ユーザに色々なアーティストの曲を推薦するのであれば、夜の方が受け入れられやすい、ということもあるかもしれません。また、土日よりも平日の方が要因2の影響力が大きいという結果も出ており、こちらも、平日は仕事で忙しいからということが影響しているとも考えられます。

発表論文

  • K. Tsukuda and M. Goto,
    “Taste or Addiction?: Using Play Logs to Infer Song Selection Motivation”,
    Proceeding of the 21st Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD 2017), pp.721-733, May, 2017. [PDF]

発表資料

PAKDD 2017で使用した発表資料。