【論文紹介】Interaction-aware Factorization Machines for Recommender Systems(AAAI2019)

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回はAAAI2019のInteraction-aware Factorization Machines for Recommender Systemsの論文紹介記事になります。

FM論文読み企画、ついに2019まで来ました！笑

よろしくお願いします。

論文のリンクはこちらです。

<a href="https://arxiv.org/abs/1902.09757#">Interaction-aware Factorization Machines for Recommender Systems</a>

## 3行まとめ
FMの交互作用項をfeature levelとfield levelの二つのレベルの予測への重要度で重み付けするように改善したInteraction-aware FM(IFM)を提案。またより高次の交互作用を捉えるInteraction-aware Neural Network(INN)およびDeepIFMを提案。

## 研究のモチベーション
Factorization Machine(FM)にはfeature aspectとfield aspectの二つの改善するべきポイントがあるとしている。

* fature aspectとは

予測に重要なfeature pair interactionとそうでないfeatureの交互作用を同じ重みで扱うのではなく、予測に効きそうなpairの重みを大きくするようにしようよ、というもの。

* field aspectとは

違うfieldとのinteractionはlatent vectorの重要度も違うべき、というもの。

## 関連研究

### AFM

Attentional FMのこと。
<a href="https://arxiv.org/abs/1708.04617">論文リンク</a>

研究のモチベーションではfeature aspectに対処する研究という位置付け。

feature interactionごとに重要度が違うので、予測に効きそうなfeature pairに注目するようなattentionベクトルを学習する、という手法。

ただ、AFMではFieldの情報が入っていないattentionになっているので、今回提案したInteraction-aware FMではFieldの情報をfeature interaction importanceの学習に取り込んだという点がcontributionとしている。

### FFM

Field-aware FM。
研究のモチベーションではfield aspectに対処している。

交互効果を考える相手のfieldごとに違うlatent vectorを学習するモデルで、Fieldを考慮したFMが研究されるようになったきっかけの研究であるといえる。

以前FFMについての論文紹介記事を書いたので参考にしてみてください。

【論文紹介】Field-aware Factorization Machines for CTR Prediction (RecSys2016) 【論文紹介】Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising(WWW2018)

今回の研究との差分は、field interactionごとに重要度の重みの部分をfieldのembeddingのHadamard積とprojection matrixにfactorizeするというところ。

## 提案手法
### Interaction-aware Factorization Machine

* Embedding Layer
* Pair-wise Interaction Layer
* Inference Layer
* Fusion Layer
* Output Layer

からなる.

#### Embedding Layer

feature embeddingとfield embeddingを計算する。

FFMのように相互作用する相手のfieldごとに違うembeddingを学習するわけではなく、FMのように一つのベクトルを学習する。

#### Pair-wise Interaction Layer

featureのinteractionと,fieldのinteractionをそれぞれ学習する。

FMではfeature interactionはembeddingの内積だが、今回は要素積にしているのでfeature interactionはスカラーではなくベクトルである。

Field interactionも同じ。

#### Inference Layer

feature interactionベクトルからfeature interactionのattentionを学習する。

feature interactionのattentionベクトルは「非零featureの個数」の長さを持つ。

field interactionベクトルからfield interactionのattentionを学習する。
field $i,j$の重要度はある埋め込み次元のベクトルとして表される。

#### Fusion Layer

feature interactionのattentionベクトルで重み付けしたfeature interactionと、field interactionのattentionの内積をとる。

#### Output Layer

Fusion Layerで計算した内積の和を計算して出力。
線形項とbias termももちろん足す。

### Interaction-aware Neural Network

Inference LayerまではIFMと同じ。
得られたattention ベクトルとfeature(field) interectionをconcatenateしてMLPにいれる。

### DeepIFM

DeepFMという既存手法の、wide partをFMからIFMに変えたものとしてDeepIFMを提案している。

しかし、

実験の章の最初にはDeepIFMの性能を既存手法と比較する、と書いていてconclusionにもDeepIFMが性能良かったと書いてあるのに、実験結果にはDeepIFMが一度も出てこないのがよくわからない。

DeepFMはFMのようにembeddingしたものをFMとDNNの入力に共通して利用する手法だが、wide partの部分をIFMに変えるというとembeddingもfeature とfieldの二つになるので必然的にdeep partもINNのOutput Layerのように変える必要があると思うのだが、具体的な説明がなくわかりませんでした。

### Sampling
feature interactionを計算する際に、field interactionの重要度の大きさに比例した確率でfeatureのペアをサンプリングする、という工夫も提案。

このサンプリングによって、あまり予測に関係ないfeatureのペアが選ばれなくなっていく、と説明されている。

## 実験

### dataset

* movie lens
* frappe

### 比較手法
* FM
* DeepFM
* FFM
* NFM
* AFM
* IFM-sampleing
* IFM
* INN

あれDeepIFMは？

### 実験結果

* RQ1(Model Performance)
* RQ2(Impact of different aspects and sampling)
* RQ3(Impact of factorization)
* RQ4(Effect of hyperparameters)

簡単に

#### RQ1

* IFM,INN,IFM-samplingが既存手法より強いのでfeatureとField両方考えるといい
* FMよりFFMの方が、AFMよりAFFMの方が強いのでField大事

#### RQ2

重み付けを、

* featureだけ
* fieldだけ
* 両方つかう
 
の三つを比較.
両方使うのが一番強くて、次がfeatureだけ.fieldの寄与もある程度あるがfeatureの寄与よりは小さいことがわかった。

また

* samplingするとだいぶ高速になる。性能はあまり落ちない

ことも、CTR predictionのタスクを別で実験して検証した

#### RQ3

field pairの重要度を単純に組み合わせ分の重みで扱うか、今回のようにfieldごとのembeddingにfactorizeして
扱うのがいいのか。

factorizeするとパラメータも少なくてすみ、overfittingも防ぐことができるので性能もよくなったことが見て取れた。

ただMovie lensだとfieldの個数が3と少ないのでfactorizationのメリットをあまり享受できず、factorizationありなしではあまり変わらないこともわかった。

#### RQ4

特筆すべきところがなかったので省略

## まとめ

Interaction-aware Factorization Machines for Recommender Systems(AAAI2019)の論文紹介記事でした。

AFMやFFM、FwFMなどで別々に考えられていたfeature,fieldごとのattentionを統合して両方のレベルで交互効果を考慮するモデルを作ったのは面白かったのですが、DeepIFMの詳しい説明や、実験に出てこないのがもやもやしました。

なにか読み違えているのかもしれないと思い何度か読み直しましたがDeepIFMの性能検証はされていないように見えます。。。読んだ方、何かありましたらコメントorDMください!

だいぶField-awareなFMのサーベイが溜まってきたので、そろそろまとめ記事を書いてみようかなと思っています.

読んでいただきありがとうございました.

このブログを検索

ぐぐりらにっき

【論文紹介】Interaction-aware Factorization Machines for Recommender Systems(AAAI2019)

コメント

コメントを投稿

【論文紹介】Interaction-aware Factorization Machines for Recommender Systems(AAAI2019)

この記事をシェアする

コメント

コメントを投稿