投稿

1月, 2020の投稿を表示しています

【論文紹介】Neural Graph Collaborative Filtering (SIGIR 2019)

イメージ
こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 今回は、Neural Graph Collaborative Filteringという論文について読んだので、要点まとめ記事を書きました。 [ Neural Graph Collaborative Filtering](https://arxiv.org/abs/1905.08108) ## 概要 Matrix Factorizationなどの協調フィルタリング系の手法では、userとitemを空間に埋め込み、それらの交互作用を内積などでモデル化し、間接的に交互作用を考慮したベクトル表現を獲得していたが、埋め込む際に明示的に交互作用を考慮していなかった。 本研究では明示的に交互作用を考慮して空間に埋め込むNeural Graph Collaborative Filtering(NGCF)を提案。 ## 従来の手法の欠点 Matrix Factorizationなどの手法は、大きく二つの機能から成り立っています。 * embedding * interaction modeling embeddingは、userとitemをある空間に埋め込むことを指しています。 直接IDなどをone hotベクトルにして行列をかけたり、userやitemの情報(性別とかジャンルとか)を使ってDNNなどでベクトル表現を得るなどの方法があります。 interaction modelingは、得られたuserとitemのembeddingから交互作用をモデル化する部分を指しています。 Matrix Factorizationでは単純な内積ですが、より高次の交互作用をモデル化するためにDeepと組み合わせた研究も多くあります。交互作用をelement-wiseに扱うのか、vector-wiseに扱うのかといった観点でも工夫の余地があるところです。 従来の手法では、user-itemの交互作用はinteraction modelingを通じてのみ学習されています。 Matrix Factorizationであれば内積を通してuser-itemの関係を表現し、lossが小さくなるよう

【論文紹介】Latent Relational Metric Learning via Memory-based Attention for Collaborative Ranking (WWW2018)

イメージ
こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 今回は、Collaborative Metric Learning (CML)を改善したLatent Relational Metric Learning (LRML) モデルの論文を読んだので、要点をまとめます。 CMLについてはこちらに詳しく解説しています。 【論文紹介】Collaborative Metric Learning (WWW2017) ## 概要 CMLは埋め込み空間先が制限的なため、ログの個数が増えるほどuser-itemペアが同じ点に埋め込まれやすくなるという欠点がある。本研究ではログに出現したuserとitemを近づけるのではなく、user vectorとlatent relation vectorの和とitem vectorを近づけるように学習するLRMLモデルを提案。latent relation vectorはMemory-basedな注意機構(LRAM)により算出。 ## Collaborative Metric Learning (CML)の問題点 CMLでは観測されたuserとitemのペアの距離より未観測のペアの距離を遠ざけるようにembeddingを学習しますが、 観測されたログが多いと近づけるべきuserとitem間の条件が多くなってしまい、観測されたuserとitemを同一の点に埋め込むようになってしまうという弱点があるとのことです。 CMLはill-posedな問題という指摘もしています。 変数の個数(embeddingの要素数)に対して、観測されるuser-itemのペアがとても多いので、近づけるべき組を制約としてみると制約の個数が多すぎてしまい、問題が退化しているような状態になるのだと考えられます。 個人的には、同一の点には埋め込まないんじゃないの?(全ての条件にマッチするような埋め込みを探すのは難しそう、局所解多そうなどの感想は持つけれど)と思うのですが、どうなんでしょうか。 実験で実際にCMLで得られるembeddingがとても制限的であること、およびLRMLがそれを解消できていることを示してくれて

【論文紹介】Collaborative Metric Learning (WWW2017)

イメージ
こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 今回は、協調フィルタリングとmetric learningを組み合わせたCollaborative Metric Learning (CML)の論文を読んで要点をまとめました。 ## 概要 従来の協調フィルタリングでは、内積によりuser-itemの交互作用を考慮することでuserの好みを潜在表現として獲得していたが、内積では三角不等式を必ずしも満たさないので、良い表現が得られない可能性があります。 本研究では協調フィルタリングとMetric Learningを組み合わせたCollaborative Metric Learning (CML)を提案し、user-userやitem-itemの類似度も考慮した空間に埋め込み、近似最近傍探索に応用することでtop-k推薦を高速化しました。 ## 協調フィルタリングの問題点 Matrix Factorizationなどの手法では、userとitemをある空間に埋め込み、 それらの内積によりuserがitemを好むかどうかを表現しています。 このようにして得られるuser,itemのembeddingは、正しく学習されれば近い場所に埋め込まれるはずです。 userがitemを好めば内積が大きくなるように学習するので、当然ですね。 では、似たようなuser同士や、似たようなitem同士は近くに埋め込まれるのでしょうか? なんとなく近くに埋め込まれる気もしますが、必ずしもそうはならない、というのが本論文の主張です。 論文中にある次の図を見るとわかりやすいです。 <div class="separator" style="clear: both; text-align: center;"><a href="https://3.bp.blogspot.com/-wmH1_d-EaC0/Xhcpj0qnAlI/AAAAAAAADYk/Lfwh_SGk4YISPLPaXrRkH7EL5IZcLpq5wCLcBGAsYHQ/s1600/difference_of