【論文紹介】Collaborative Denoising Auto-Encoders for Top-N Recommender Systems (WSDM2016)-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回は、Denoising Auto-Encoder (DAE)を推薦タスクに応用したCollaborative Denoising Auto-Encoders (CDAE)を提案した、

[Collaborative Denoising Auto-Encoders
for Top-N Recommender Systems](https://alicezheng.org/papers/wsdm16-cdae.pdf)

を読んだので、紹介記事を書きました。

## 3行まとめ

Denoising Auto-Encoder (DAE)をTop-N推薦に応用したCollaborative Denoising Auto-Encoders (CDAE)を提案。
単純にDAEを適用するのではなく、userごとのembeddingを中間層に加えることで良い性能を獲得している。

## Denoising Auto-Encoder (DAE)

DAEって、元の入力にノイズを混ぜて入力して、出力はオリジナルの(ノイズを混ぜる前の)データと比較するのだと思っているのだけど、

CFでは入力それ自体が欠損しているので、どうやってDAEで学習するのだろう？

と最初思って読み始めたのですが、
すでに欠損しているのは置いておいて、入力からいくつかpreferred itemを欠損させて入力して、元のと比べることで欠損しているところを1として埋めようとするdecoderができる、ということだと思います。

そのままuserのinteraction historyを入力とするDAEではなく、userのembeddingも中間層に加えるのが特徴的。
工夫せずにつっこむやり方と比較して良い結果らしい。

interactionのみ扱う
追加の特徴はfuture work

## Collaborative Denoising Auto-Encoders (CDAE)

モデルの構成はこちら。

単純にDAEを推薦に応用するとなると、一番簡単に思いつくのが、userごとにinteractionの情報を集めたベクトルを入力にし、そこから一部のinteractionをランダムに0にして(ノイズをのせて)encoder,decoderに流し、出力とノイズを載せる前のinteractionのベクトルを近づけるように学習する方法です。

(式12では 出力とノイズが乗った方を比較したlossの表記だけど、ミスだよね？)

入力では本当は1がたっているitemをランダムに0にし、出力では1になるように復元することで、推薦に応用するというアイデアです。

CDAEではこの単純なDAEの応用のほかに、userごとに異なるuser embeddingを追加します。他のencoderやdecoderは共通です。

そのままitemの数の次元を扱うと入力、出力はitem数の次元数となって計算が大変なので、
negative itemをサンプリングする方法を採用したらしいです。
この方法を参考 ([Large-scale learning of embeddings with reconstruction sampling](https://dl.acm.org/doi/10.5555/3104482.3104601))にしています。

この問題の解決策として、階層softmaxも使えるアイデアらしいですが、使ってはいませんでした。
[[1402.1454] An Autoencoder Approach to Learning Bilingual Word Representations](https://arxiv.org/abs/1402.1454)

推薦する際は、入力をそのまま(ノイズ乗せずに)いれて得られる出力のうち、未観測のitemの中で高いスコアの順に推薦します。

## 他の推薦モデルとの関係

論文中では、既存の推薦モデルをいくつかのカテゴリーに分類していました。

* Latent Factor Model (LFM)
* Similarity Model (SM)
* Factorized Similarity Model (FSM).
* LFSM (LFM+FSM)

LFMはMatrix Factorizationなど、embeddingの内積で予測するモデル。
SMは、itemの類似度ごとにitemのembeddingを重み付け平均して予測するモデル。

FSMはSMの類似度行列をfactorizeしたもの。

LFSMはFSMとLFMを組み合わせたモデル。

既存のモデルの分類はこちら。

CDAEは、LFMやFSM,LFSMなどのモデルの一般化になっているという説明がなされていました。

* 活性化関数を恒等関数にしてnoiseを足さない=>LFSM
* 入力をランダムに0にする確率を1にする=>LFM
* user input nodeを取り除く=> FSM

## 実験

活性化関数、損失関数、入力の一部を0にする確率、などをいじってどのモデルが良い結果かを調べる実験を行っていました。

損失関数は、二乗損失やロジスティック損失を試している。
もともとはBPRなどのpair-wiseなlossも試したそうですが、CDAEではpoint-wiseの方がいい結果を出していたそうです。

通常、ランキング学習ではpair-wiseの方がいい結果だったりするイメージだったので、個人的にとても気になるポイントです。
top-N recomendationではとくにpair-wiseが強いわけではないかもしれないという結論を出していました。

### dataset

* MovieLens 
* Netflix
* Yelp

ratingが4以上を1にしたimplicit feedbackとして扱う.

### 結果

* CDAEの中でも、活性化関数がSigmoid、損失関数が Logisticのモデルが強い
* user embeddingを入れるCDAEが単純なDAEより良い結果
* tied weightにはしない方が良い結果
* 他手法と比較しても良い結果

CDAEとDAEの比較表はこちら。

ちなみにtied weightとは、encoderとdecoderの重みを同じにすること。

## future work

* stacked DAE、marginalized DAEに適用
* 追加の特徴を扱えるようにする

【論文紹介】Collaborative Denoising Auto-Encoders for Top-N Recommender Systems (WSDM2016)

0 件のコメント:

コメントを投稿

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT