【論文紹介】Field-aware Probabilistic Embedding Neural Network for CTR Prediction(RecSys2018)-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回はRecSys2018で出ていたField-aware Probabilistic Embedding Neural Network for CTR Predictionを読みました。

自分用にまとめたものを元に記事にアップしているので文調が固めですがご容赦ください。。。

## 3行まとめ
Field-awareなFactorization machinesとしてFFMがあるが、精度が高いものの過学習しやすいという欠点がある。この研究ではFFMの埋め込みベクトルを点推定する代わりにそのベクトルが従う確率密度分布を推定することでFFMの汎化性能を高めたFPENNを提案。

## 既存手法

### FFM
本研究の一番関連の深い既存手法はField-aware Factorization machines(FMM)である。
Field とは、入力する特徴量のを関連する単位で区切ったグループの単位で,カテゴリ変数をonehotにした時のonehot部分などを想像すればいい。

純粋なFMではこのfieldの情報を使わずに各特徴量につき一つのlatent vectorに埋め込んでいたが、FFMでは各特徴量につき自分の属していないfieldに対してそれぞれ異なるlatent vectorに埋め込む。

特徴量$x$の$i$番目の特徴$x_i$に対応するlatent vectorはFMでは$v_i$と一つであるが、

FFMでは$x_i$が属していないfieldの分だけlatent vectorをもつ。特徴量の個数が$d$個、fieldが全部で$f$個あり、$k$次元のlatent vectorに埋め込む場合、全部でlatent vectorは$d \times (f-1)$本あるので、全体としては$d \times (f-1) \times k$のテンソルが得られる。

交互効果の部分はFMでは各特徴量のlatent vectorの内積を重みとするが、FFMでは複数あるlatent vectorのうち相手の属するFieldに対応するlatent vectorを埋め込みベクトルとする。

同じfieldに属する特徴量同士のlatent vectorは考えない(各fieldにつき非ゼロ要素は一つと考えている)ので(fieldの個数-1)のlatent vectorでいいということ。

### DeepFM

こちらからの差分はないものの、この研究が出た時の強いモデルは
線形モデル + 二次の交互効果　 +  deep

という、いろんなレベルの交互効果を考慮するのがいいよね、という段階で、ちょうどDeepFMが最強だった頃なので、DeepFMのモデル構成も参考にしている。

## 提案手法

大きく分けて

* linear component 
* quadratic component
* deep component
* FPE(Field-aware Probabilistic embedding) component

の4つのcomponentからなる。

linear componentはembedする前の特徴量から線形回帰,
quadratic componentはlatent vectorをFFMみたいに普通に内積取って重みとすることで二次の交互作用を考慮する。

deep componentはlatent vectorをflattenしてMLPに入れることでより高次の交互作用を考えることができる。
基本的にはDeepFMの構成を受け継いでいるため、まだ高次の交互作用を考える際にpoint-wiseなモデルアーキテクチャになっていて、vector-wiseにはなっていない。

出力は
* linear component 
* quadratic component
* deep component
の三つの出力の線形和とする.
binary classificationならこれをsigmoid関数にかけて確率にする。

### FPE component
既存手法のFFMは、fieldの効果を考えられるようになり結構強いのだけれど、埋め込みベクトルが増えていることからわかる通り、モデルの表現力が大きく向上していて過学習しやすいことが問題点として指摘されている。

少し学習をやめるタイミングが遅れるとすぐに精度が悪化するという問題は、実際に使おうとすると使いづらい。

正則化項をつけるという手もあるが、そうすると過学習は防げるもののベストな性能自体も落ちてしまうという問題もある。

そこで今回の研究では、FFMの埋め込みベクトル(というかテンソルだけれど)自体を学習するのではなく、latent vectorsが従う確率密度分布を推定する、という改良が行われている。

確率密度分布には多次元ガウス分布を仮定して、それぞれの成分は独立であると仮定している(すなわちガウス分布の分散共分散行列は対角行列)。

ちなみに、FFMを真似ているのでlatent vectorsは普通に考えると$d \times (f-1) \times k$のテンソルであるわけだが、これをflattenして得られるベクトルが$d \times (f-1) \times k$次元ガウス分布に従うとしている。

学習時にはこの多次元ガウス分布の平均と分散を学習する。

### training

ただこのままだとガウス分布からのサンプルがlatent vectorになり、これを使って回帰なり分類なり行うわけなのでback propagationができない。

この問題はreparametrization trickを使うと解消できる。
VAEとかでも使われているので知っているかたも多いかもしれないが、reparametrization trickでは$N(\mu,\sigma)$からのサンプルを

$$ 
   \mu + \sigma\epsilon, \epsilon \sim N(0,1)
$$
とする。

こうすることで、$N(0,1)$からのサンプルを取ってくるとdeterministicになるので各パラメータについて微分ができる。

### testing

学習後、latent vectorの確率密度分布のパラメータが得られるが、これらを使って推論する際に論文中では二つの手法が提案されている。

* TS-strategy
* UCB-strategy

とは言ってもそんな仰々しいものではなく

TS-strategyは推論時も得られた分布からlatent vectorをサンプリングしてきて計算しよう、というアイデア。
Thompson samplingというから身構えてしまったけれど、普通にガウス分布からサンプリングするだけっぽい。なんでこういう名前なのかがわからない。

UCB-strategyはUpper confidence bound strategyのこと。
latent vectorの従う確率密度分布として、平均だけでなく分散も得られているため、分散が小さい(すなわちある程度信頼できる平均値が得られている)場合はそのまま平均を使用し、分散が大きくて推定された平均値の信頼度が小さい場合は補正する、ということをする。

具体的には次のようにdeterministicにlatent vectorを得る

$$
\mathrm{vec}(V)_i= \hat\mu_i + \alpha\hat\sigma_i 
$$

$\alpha$はハイパーパラメータで、分散による信頼度を使った補正をどのくらい行うかを調整する。

分散によって信頼度がわかるというのはわかるし、その情報を組み合わせてlatent vectorを計算したいというのもわかるけど、単純に足すのでいいのか？という気持ちになった。

いつでも正の方向に補正がかかってしまうけど大丈夫なのか？

ちなみに実験をしてみるとTS-strategyよりUCB-strategyの方が強かったそう。
そうだろうなと思った

なんかbandit感が急に出てきたけど全く関係ないのね。。。

## 実験

AvazuとCriteoを使ってclick予測。

### 手法
* LR(logistic regression)
* FM(factorization machines)
* FFM(Field-aware factorization machines)
* CCPM
* DeepFM
* FPENN(提案手法)

CCPMはCNNベースのモデルで論文の本文中では紹介されているのに結果のテーブルにはいなくて謎

### 細かい設定

3%しか正例がないので負例をダウンサンプリングして1:1にしたらしい

実験したらTS-strategyよりUCB-strategyの方が強かったので結果はUCB-strategyの方だけ載せる

### 結果

FMMとFPENNの比較。
学習を続けるとFMMはすぐ過学習するけど、FPENNはそこまで性能が下がらない。
確率密度分布を仮定してその分布を推定することで汎化性能強くなっているねっていう。

この中だとFPENNが全部に勝ってる

FFMは高次の交互作用を捉えられないし、DeepFMはField awareではないので、それぞれのモデルのいいところを取ってきてそれにプラスして確率分布を仮定した部分の差分があるのでまあうまくいくんだろうなあ。

deep へのlatent vectorの渡し方がpoint-wiseなのがxDeepFMとかと比べると古い感じがするけど、組み合わせたらもっと良くなるのかなと思ったり。

## まとめ

Field-aware factorization machinesのlatent vectorが確率密度分布に従うとし、その分布を推定するField-aware Probabilistic Embedding Neural Networkを紹介しました。

Factorization machines関連の論文はある程度読んできたからか、さくっと読めて楽しかったです。

他のFM関連の論文紹介記事はこちら。

【論文紹介】xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems 【論文紹介】Neural Factorization Machines for Sparse Predictive Analytics

【論文紹介】Field-aware Probabilistic Embedding Neural Network for CTR Prediction(RecSys2018)

0 件のコメント:

コメントを投稿

PROFILE

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT