【論文紹介】Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising(WWW2018)

【論文紹介】Field-aware Factorization Machines for CTR Prediction (RecSys2016) 【論文紹介】Field-aware Probabilistic Embedding Neural Network for CTR Prediction(RecSys2018)

今回の研究では、FFMの性能の高さをキープしつつパラメータの個数を削減したい、というモチベーションが根底にある。

実際にシステムに載せる場合にもパラメータの個数は気にすべきなので、大事な問題。

## 提案手法

Field-weighted Factorization Machines(FwFM)の具体的な内容を紹介する。

### 気持ち
そもそも、FFMがFMよりもいい結果を出すのはなぜかというと、「相互作用する相手の属するFieldによってembeddingを変える」ことが有効だからで、もっというと「Fieldの組ごとに予測への寄与の大小が違う」から、と考えられる。

これをembeddingするベクトルを増やして、その内積でいい感じに適応してくれ、という感じで対処しているのがFFMだけれど、それだけだったら「Fieldの組ごとの予測への寄与の大小」をexplicitに重みとしてmodelに入れてしまおう、という気持ちでFwFMを提案するに至る、という流れ。

実際に、どれくらい「Fieldの組ごとに予測への寄与の大小が違う」のかを調べる実験を行っていて、
Fieldの組とラベルの相関係数を計算してヒートマップを作ったものが載っている。

図を見ると、案の定fieldの組ごとにlabelへの貢献度がかなり異なっていることがわかるので、FFMがうまくいっているのはこの効果を捉えたembeddingが得られているからなのかも、と確信度が高まる。

### 交互作用部分の改良点

モデルはこちら。

FMと比べてほとんど同じ、違いはembedding vectorの内積で表現した交互作用項にfieldの組み合わせごとに異なる重み($r_{F(i),F(j)}$)をかけている部分のみ。

この部分が先ほど書いたヒートマップのような相関係数の傾向に近い重みになるといいね、という気持ち。

### 線形部分の改良点

線形部分もFMと異なるものを提案していて、

通常のFMの線形部分はembedする前のfeatureから線形回帰するみたいなことをしているけれど、今回はそれとは別の線形部分のモデルを二つ提案している。

* FwFM_FeLV
* FwFM_FiLV

どちらも、線形部分も元の特徴量を使う代わりにembedding vectorを使う。

FwFM_FeLVでは各特徴量ごとに異なる重みベクトルとembeddingの内積を線形項として扱う。
FwFM_FiLVでは、各Fieldごとに異なる重みベクトルとembeddingの内積を線形項として扱う。

それぞれFeature levelとField levelの略になっている。

実験では
普通のFMの線形部分を使ったやつをFwFM_LWと表記して、三つのバリエーションの性能比較を行っている。

### パラメータ数の比較

|Model|Number of Parameters|
|----|----|
|LR|$m$|
|Poly2|$m+H$ of $m+m^2$|
|FM|$m+mK$|
|FFM|$m+m(n-1)K$|
|FwFM_LW|$m+mK+\frac{n(n-1)}{n}$|
|FwFM_FeLV|$2mK+\frac{n(n-1)}{n}$|
|FwFM_FiLV|$(m+n)K+\frac{n(n-1)}{n}$|

$m$が特徴量の個数、$n$がfieldの個数。$H$はPoly2のハッシュ先の次元数、$K$はembeddingの次元数を表す。

nはmよりもかなり小さい、またKも10ぐらいというのを想定しているのでFFMよりもFwFMはかなり少ないパラメータになっている。

(一応)
Poly2は二次の交互作用も加えた線形回帰みたいなモデルで、ハッシュトリックを使わずに実装すると$m+m^2$個の重みが必要になるが、ハッシュを使っていくつかの重みを共通で使うようにすると$m^2$が$H$まで削減できる。

## 実験

### データセット,評価指標

* criteo
* oath

でctr prediction

AUCで評価。

### 既存手法と比較
ここでは取りあえずFwFM_LRをFwFMとして既存手法と比較。

* FFM以外にはFwFMが勝利
* パラメータたくさんバージョンFFMがベストパフォーマンス
* FFMは過学習してる

最後のはFFMはtrainだとFwFMに大差つけて勝ってるけど、testだと割とFwFMとの差が縮まってるよね、ということを根拠に主張しているけど、そうかなあ、と表を見て思った。過学習しがちなのは認めるけどこの結果からわかるのかな？

まあでもparamsが少なくてそこまでAUCで大きく負けてないっていうのはわかる。

### FFMとFwFMを同じパラメータ数で比較

次、パラメータ数を揃えて比較。

FFMのパラメータ削減は
* embeddingの次元を小さくする
* poly2みたいにhashトリックを使う
にて行う。

結果、同じパラメータ数ならFwFMが勝利。

### FwFM_hoge同士の比較
線形項の部分に三つバリエーションをつけたが、そこの比較。

結果FwFM_FiLVが一番テストでAUCが高かった。

他のFwFM_LW,FwFM_FiLVはtrainではAUCが高かったものの、testでは負けてしまっていて、論文中ではこれら二つのモデルのパラメータ数が多くてモデルの表現力の高さから過学習してしまったことが原因ではないかという考察がされていて、納得。

(疑問に思ったけど、なぜこちらの実験を先にやってそのあとの実験をFwFM_FiLVでやらなかったんだろう？？)

### ハイパーパラメータのチューニング

あんまり面白いことが書かれていなかったので省略

### 学習された重みとfield interaction strengthの可視化

モデルを組む前に確認のために行ったどれくらい「Fieldの組ごとに予測への寄与の大小が違う」のかを表す
Fieldの組とラベルの相関係数を計算して作ったヒートマップみたいなものを、学習した重みでも作ってみて、どれくらい傾向が似ているかを可視化、定量化する実験。

各fieldの組ごとに交互作用項の絶対値の平均をとって、学習された重みの各fieldの組ごとのfield interactionの大きさの指標を計算した。

同じようにこれでヒートマップを作るとFM,FMM,FwFMでそれぞれこうなった。

FwFMが一番データセットから相関係数を計算して作ったヒートマップに近い。
実際相関係数と学習された重み方の指標のピアソンの相関係数を計算するとFwFMが一番高く,学習された重みがデータセットから計算した相関係数の傾向をよく表せていた、ということがわかる。

念の為、FwFMのembedding vectorの内積部分とfield pair weightの部分に分けて改めてヒートマップおよびピアソンの相関係数を計算してみると、field pair weightがかなりデータセットから計算した相関係数の傾向と似ていることがわかった。

## 考えたこととか

FwFMはFFMのembeddingsにはその特徴自体を表すembeddingと、fieldの組ごとの予測への寄与度の違い、の二つの要素があるとして、それを明確に二つに分けてモデリングしたと言える。

FwFMはFFMに制限をかけたようなモデルと考えることもできて、

FFMによって得られる相手のfield分のembeddingが、互いに定数倍の関係になっている場合がFwFMと同じという風に解釈できる。

また、future workに書いてあったが、field pair weightを今回はそのままスカラーの重みとして定式化したが、他の方法も考えられる。

あとは、FM+attentionはいくつか研究があって、この研究と同じようにどの特徴量の組み合わせが予測に効くかを適応的に重み付けていくわけだけれど、

それらの研究とFwFMの違いは、重みが入力によって適応的に決まるかどうかという部分で、

attentionがそもそも入力に対してどこに着目するべきかを適応的に決める、という定義なのかもしれないが、

この研究ではどんな入力が来ても、学習済みのモデルはどのfieldのペアにどのくらいの重要度で重み付けるか固定である。

似ている研究に、FAT-DeepFFMがある。

詳細はこの前書いた紹介記事を参考に。

【論文紹介】FAT-DeepFFM: Field Attentive Deep Field-aware Factorization Machine(ICDM2019)

このブログを検索

ぐぐりらにっき

【論文紹介】Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising(WWW2018)

コメント

コメントを投稿

【論文紹介】Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising(WWW2018)

この記事をシェアする

コメント

コメントを投稿