【論文紹介】Neural Graph Collaborative Filtering (SIGIR 2019)-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回は、Neural Graph Collaborative Filteringという論文について読んだので、要点まとめ記事を書きました。

[ Neural Graph Collaborative Filtering](https://arxiv.org/abs/1905.08108)

## 概要

Matrix Factorizationなどの協調フィルタリング系の手法では、userとitemを空間に埋め込み、それらの交互作用を内積などでモデル化し、間接的に交互作用を考慮したベクトル表現を獲得していたが、埋め込む際に明示的に交互作用を考慮していなかった。
本研究では明示的に交互作用を考慮して空間に埋め込むNeural Graph Collaborative Filtering(NGCF)を提案。

## 従来の手法の欠点

Matrix Factorizationなどの手法は、大きく二つの機能から成り立っています。

* embedding
* interaction modeling

embeddingは、userとitemをある空間に埋め込むことを指しています。
直接IDなどをone hotベクトルにして行列をかけたり、userやitemの情報(性別とかジャンルとか)を使ってDNNなどでベクトル表現を得るなどの方法があります。

interaction modelingは、得られたuserとitemのembeddingから交互作用をモデル化する部分を指しています。
Matrix Factorizationでは単純な内積ですが、より高次の交互作用をモデル化するためにDeepと組み合わせた研究も多くあります。交互作用をelement-wiseに扱うのか、vector-wiseに扱うのかといった観点でも工夫の余地があるところです。

従来の手法では、user-itemの交互作用はinteraction modelingを通じてのみ学習されています。
Matrix Factorizationであれば内積を通してuser-itemの関係を表現し、lossが小さくなるように間接的にembeddingが交互作用を学習します。

本論文が指摘しているのは、user-itemの共起関係を内積などのinteraction modeling(ひいてはlossの勾配を伝搬させたもの)から間接的に学習してembeddingを得るのは最適ではないのでは、ということです。

直接user-itemの交互作用からembeddingを作るようなモデルの方が良いのでは？というアイデアですね。

## Neural Graph Collaborative Filtering (NGCF)

直接user-itemの交互作用からembeddingを作るようなモデルを、Graph Convolutional Networks(GCN)
を使って作っています。著者らはNGCFと呼んでいます。

user-itemのインタラクションは二部グラフとして表現することができます。

左が二部グラフで、右側はuser $u_1$を中心に展開したグラフになります。

* 近いほどノード同士の影響が大きくなってほしい
* $i_4$の方が$i_5$より$u_1$からのpathが多いので$u_1$への影響が大きくなってほしい

のなどをうまく表せると嬉しいです。

NGCFの全体図はこちらです。

一層目の入力は、Matrix Factorizationなどと同様にuserもitemも埋め込み行列で変換したembeddingです。

以降、Embedding Propagation Layersを複数層重ねることで高次の交互作用を直接考慮したembeddingに変換していきます。

$l$層目のEmbedding Propagation Layersは次のような変換をします。

隣接したノードのembeddingと自分自身のembeddingから作ったmessage(一本目)と、自分から自分へのmessage(二本目)を足して活性化関数をかけて$l+1$層目の自分のembeddingとしています。

各層ごとに全てのノードにembeddingが学習されるわけです。
一層目は距離が1のノード同士の交互作用、二層目は距離が2のノード同士の交互作用が扱われていると考えられるので、最終的にuserとitemのembeddingは、Embedding Propagation Layersの全ての層のembeddingをconcatして作ります。

得られたembeddingを用いて、予測は単純にそれらの内積を取っています。
implicit feedbackを想定しているため、lossはBPRを用いています。

【論文紹介】BPR: Bayesian Personalized Ranking from Implicit Feedback (UAI 2009)

## 実験

SOTAとの比較の他にも、ハイパーパラメータに関する検証、embeddingの可視化、インタラクションがあまりないuserでの精度検証など、実験が手厚い印象でした。

特に、インタラクションが少ないuserでの精度が他の手法より良い結果になっているのが面白いと思いました。

右に行くほどインタラクションが多いuser層での精度を表しています。
(後ろの水色の棒グラフは各user層のデータ数を表しています。紛らわしい)

二部グラフ上でいうと、インタラクションが少ないuserが繋がっている数少ないitemと隣接しているuserまで広げてembeddingを学習しているので、隣接している情報が少ない場合にはより遠くの関係も拾って推薦してくれている、という感じでしょうか。

従来の内積から間接的に交互作用が伝搬してくる方法だと、関連が遠い場合には学習に効いて来ないのかな、と感じました。

## 関連する論文

* [HOP-rec: high-order proximity for implicit recommendation](https://dl.acm.org/doi/10.1145/3240323.3240381)
* [[1706.02263] Graph Convolutional Matrix Completion](https://arxiv.org/abs/1706.02263)
* [[1806.01973] Graph Convolutional Neural Networks for Web-Scale Recommender Systems](https://arxiv.org/abs/1806.01973)

最後の論文は解説記事がありました。

[[論文メモ] Graph Convolutional Neural Networks for Web-Scale Recommender Systems - Qiita](https://qiita.com/nishiba/items/6452fa20cdf6a012278b)

## まとめ

Collaborative Metric Learning (CML)でも思ったことですが、直接インタラクションがあるuser-itemの組についてはうまく学習できても、もう一つ遠いノード同士の関係を学習できているかは従来の手法では怪しいところなのかな、という感想です。

CMLでは三角不等式を必ずしも満たさない内積を使っていることが原因と指摘していましたが、こちらではembeddingに明示的にインタラクションの情報を使っていないことが伝搬しない原因では？と繋がるのかも、と思いました(これは僕個人の感想なので論文中には書かれていないですが、所感です。)

CMLについてはQiitaに記事を書いたのでこちらもどうぞ！

Collaborative Metric Learningの関連研究まとめ - Qiita

2 件のコメント:

Unknown2020年1月31日 22:50
ぐぐりらさん、はじめまして！株式会社DROBEの代表を務めているものです。弊社はファッション購買×AI/MLにチャレンジしておりまして、ぐぐりらさんのブログを参考にしながらよく議論しております。卒業、就職と忙しいタイミングかもしれませんが、もし少しでもお時間あれば是非弊社のデータ等も用いてレコメンドアルゴリズムの社会実装等にチャレンジいただけないかと思い、不適当な場とは思いつつ(TwitterのDMも空いておらず、、)、コメント記載させていただきました。もし少しでもご関心いただけましたらご連絡頂戴できますと幸いです。
返信削除
返信

コメントを追加

【論文紹介】Neural Graph Collaborative Filtering (SIGIR 2019)

2 件のコメント:

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT