【論文紹介】CFM: Convolutional Factorization Machines for Context-Aware Recommendation (IJCAI2019)-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回は、CFM: Convolutional Factorization Machines for Context-Aware Recommendation (IJCAI2019)を読んだのでまとめてみます。

## 3行まとめ
FMのembeddingの各次元同士の作用を考えつつ、高次の交互作用をexplicitに扱うモデルとして3D CNNとFMを組み合わせたConvolutional FMを提案。BPR lossを最適化してtop-k推薦を行なった。

## 背景
CFMに至る研究のポイントとしては

* Factorization Machines(FM)は交互作用をembeddingの内積で表すので、各次元同士の作用は考えていない
* FMは二次の交互作用までしか考えていない
* 高次の交互作用をexplicitに考えるモデルがない

という現状がある。なので、embeddingの各次元同士の相互作用を扱い、また高次の交互作用をexplicitに扱うモデルを作ろう、という流れだった。

本論文のConvolutional Factorization Machines (CFM)では、

* embeddingの内積ではなくouter product operationを用いて次元間の作用を計算
* 3D CNNを用いてexplicitに高次の交互作用を扱う

としている。

## 疑問

## 一点目

外積を使ってembeddingの各次元の相互作用を扱う、というのは他にもPNN(<a href="https://arxiv.org/abs/1611.00144">Product-based Neural Networks for User Response Prediction</a>)
とかで扱っていたように思えるが、related workには載っていない。

related workには、Matrix Factorizationに外積をつけた研究として

<a href="https://arxiv.org/abs/1808.03912"> Outer Product-based Neural Collaborative Filtering</a>

は引いていたが、それ以外にこの点で類似した研究は引用していなかった。

## 二点目

高次の交互作用をexplicitに考えるモデルは、いくつかあるのでは、と思った。

例えば、<a href="https://arxiv.org/abs/1708.05123">Deep Cross Network (CrossNet)</a> や<a href="https://arxiv.org/abs/1803.05170">xDeepFM</a>なんかはそういう研究だと認識している。

これらが引用されていないし、実験で比較もない。

ちなみにxDeepFMについてはこちらで記事にしています。

【論文紹介】xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems 【論文紹介】Neural Factorization Machines for Sparse Predictive Analytics

## Convolutional Factorization Machines (CFM)

NFMの定式化のように、線型部分はそのままに、交互作用項の部分を3d CNNで置き換える。

置き換えた部分は、主に三つのパーツからなっている

* self-attention feature layer
* interaction cube
* 3d CNN

全体図はこちら

## self-attention feature layer
一つ目のself-attention feature layerは、embeddingを受け取って、fieldごとに一本のembeddingにまとめる作業を行う。

Field-awareなFMに関してはQiita記事に書いてみたので読んでみてください。

Field-awareなFactorization Machinesの最新動向(2019) - Qiita

自分の調べた感じ、Deep + FMでfieldの情報を扱っているものがそろそろ出てきそうだな、っと思っていたので、今回のはそういう意味では待ってました、って感じです。

fieldごとに０以外が立っている要素が１つとは限らない (one-hot と対比してmulti-hotというらしい)ので、
fieldの個数まで減らそうというアイデア。

不要な情報を落としつつ計算コストを減らすのが狙いだそう。

poolingにはmax poolingなども考えられるが、今回はself-attentionを用いている。

自分はself attentionと聞くとAttention is all you needのものを思い浮かべてしまうのだけれど、これは違っていた。

単純にembeddingをMLPに入れてスコア出して、softmaxで正規化したものをattentionベクトルとするあれ。どっかで見たことあるような構造。

## interaction cube

fieldの個数のembeddingが得られたら、それらの外積をとる。
外積は、ベクトルを返すのかと思いきや、ベクトルとベクトルの外積で行列が返ってくるような演算だった。

これって一般的なんですかね

各embeddingの組に対して行列が返ってくるのを全組み合わせ行うので、出力は3次元(cube)になる。
内積と違ってembeddingの各次元が他の次元とも関わるようになっている。

## 3d CNN

interaction cubeを突っ込んで、ベクトルを出力して、これを出力層に渡してスコアを出す。
これが交互作用部分の出力になる。

高次の交互作用をexplicitに考えている部分が3d CNNである.
3d CNNの深さが上がればより高次の交互作用を扱っている事になる。

## 実験

## データセット

* frappe
* Last.fm
* movie lens

の三つ。movie lensだけexplicit feedbackなので、無理やりimplicit feedbackに変えて実験に用いている

## 評価指標

* NDCG@K
* HR@K

hit ratioはrecallみたいなやつ

## 手法

* PopRank (人気なやつ順)
* FM
* NFM 
* DeepFM
* ONCF　(MF + Outer product)
* CFM (提案手法)

全部BPR　lossで最適化している。

事前学習として、FMをBPR lossで最適化しておいて、得られるembeddingを使用する。

## 結果

* best scoreだった (画像は省略)
* 3D CNN部分を他の構造にしてみたが3D CNNが一番良かった
* poolingをmaxやmeanにしてみたがself-attentionが一番良かった

3dCNN部分を、
* multi channel 2d CNNにする
* interaction cubeをtileみたいに敷き詰めて2dにしてCNNする
* interaction cubeをmax poolingしてからCNNする

と比較しても、3d CNNが一番強かったという図。まあそうじゃないとexplicitに高次の交互作用を考えてない事になるのでそれはそうなって欲しい。

poolingもmax poolingやmean poolingと比較して、attentionが良かった。
poolingなしのCFMと比較しても良い性能が出ていて、計算時間も短縮できている。

## おわりに

Related workまわりで引用抜けがあるような気がしましたが、Field-awareとdeep + FMの研究は気になるのでざっと読みました。(韓国旅行の合間に目を通しただけだけど割と内容がつかめてよかった)

これまでのdeep+ FM研究と違ってlossがBPRでtop-k推薦を行っていることも新しさかな、と感じました。BPR関連の論文は引き続き追いかけていきたいです。

ありがとうございました。

【論文紹介】CFM: Convolutional Factorization Machines for Context-Aware Recommendation (IJCAI2019)

0 件のコメント:

コメントを投稿

PROFILE

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT