【論文紹介】Visually-Aware Fashion Recommendation and Design with Generative Image Models (ICDM 2017)

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回は、アイテムの画像情報を取り入れたimplicit feedbackでのranking学習を、end-to-endで行う手法の論文を読んだので、まとめます。

論文リンクはこちら

<a href="https://arxiv.org/abs/1711.02231">Visually-Aware Fashion Recommendation and Design with Generative Image Models</a>

### 3行まとめ

画像情報を取り入れたimplicit feedbackでのranking学習を、end-to-endで行うDVBPRを提案した。
またGANと組み合わせることによってuserの好みのitemの画像の生成を行う機構も提案した。

### 先行研究からの差分

一番近いのが、AAAI2016のVBPR: Visual Bayesian Personalized Ranking from Implicit Feedbackである。
画像の情報を取り入れてimplicit feedbackからランキング学習を行うモデル。lossにはBPR(Bayesian Personalized Ranking)を用いる。

提案モデルであるDVBPRのVBPRからの差分は

* 画像情報をpre-trainしたCNNで抽出していたVBPRとは違い、DVBPRはend-to-endに学習することで、画像の特徴ベクトルがfashion recomendationに適したものになる
* GANを用いることで、userが好みそうなitemの画像(服とか)を生成する。これにより、デザインの手助けになったりする。

細かいモデルの差分として、itemに関するembeddingをVBPRでは画像に関連するものとそうでないものにexplicitに分けてモデリングしていたが、今回DVBPRではitemに関するembeddingをCNNベースのものにまとめた、という部分もある。(これは試したらこれが良かったからこうした、と書いてあったので理由とかは特にない）

### ランキング作成の部分

普通のMatrix Factorization(MF)がこう

$\alpha$, $\beta_u$ ,$\beta_i$ はそれぞれoffset、userのバイアス項、itemのバイアス項で、
$\gamma_u$, $\gamma_i$ はuserとitemのembeddingを表す。

先行研究のVBPRがこう

$\theta_u$が画像に関するuserのembedding、$f_i$がitemの画像情報のベクトル(pre trainされたCNNの出力) $E$が画像情報の次元を落とすための変換行列、$\beta^{'}$は画像情報のbias term。

従来のuser, itemのembedding(つまり$\gamma_u$, $\gamma_i$)は履歴から学習される部分のembeddingで、
$\theta_u$と$Ef_i$は画像情報に関するuser, itemのembeddingというように分けられているイメージ。

より詳しく知りたい方は、こちらにVBPRの論文紹介記事を書いたのでよろしければどうぞ！

【論文紹介】VBPR: Visual Bayesian Personalized Ranking from Implicit Feedback (AAAI2016) 【論文紹介】BPR: Bayesian Personalized Ranking from Implicit Feedback (UAI 2009)

### 画像生成の部分

conditional GANを用いて、userが好みそうなitemの画像を生成する。

提案手法では、学習したGANに画像を生成させて、その画像をDVBPRに食わせてpreference scoreを出す。
このscoreが高いほどuserが好みそうなので、これを最大化する。

ただし、画像のクオリティも欲しいので、実際にはtrade offを調整するハイパーパラメータ$\eta$として、
次のような最適化問題をといてGANのseedを見つけてくる。

一項目が、好みにあった画像を生成できると大きくなる。二項目が画像のクオリティを高めるための項。もっというと、GANのdiscriminatorが本物と判定するものほど良い、というイメージ。

一番スコアがいいものを生成する、というモデルになっているが、複数画像を生成するのにも拡張できる。

一番簡単な方法は、スコアを出してsortして、top-kを生成する、みたいな方法だけど、これだとdiversityが小さくてよくない。
なので、論文中では次のようなsoftmax関数を使って算出した確率に応じて生成する、という方法を採用している。

比較対象として、画像を生成するのではなく、一番preferenceスコアが高いitemを持ってくる手法も調べている。

仮説としては、既存の画像よりもpreferenceの高い画像をGANが生成してくれるはず！(datasetは離散だけどGANならある程度連続的に画像を作れるはず。。。)

加えて、既存の画像をよりuserの好みにあった画像に変える方法も提案している。

queryとして与えられる画像に近いように画像を生成するイメージ。

### 実験設定

#### データセット
* Amazon dataset 三つ
* tradecy.com

VBPRを踏襲している

#### 比較手法

* Random (RAND) 
* PopRank　(人気度ベース。not-personalized)
* WARP
* BPR-MF 
* VisRank (画像ベクトルの類似度ベースの手法)
* Factorization Machines(FM) + BPR
* VBPR
* DVBPR

FMやWARPはlightFMの実装を使ったらしい。
僕も使ってみたいとも思っていたので、こういうところで使われているのは安心ですね。

#### 評価指標

ランキングの部分は、いつも通りAUC。

画像生成の部分は、

* preference score(ランキング作るときに学習したやつ)
* quality -> inception score
* diversity -> Opposite Mean SSIM (1-SSIM)

で評価。個人的にあまりGANとかどうやって評価しているのか知らないので、こういうの使うんだーという気持ち

### 実験結果

* DVBPRがAUC一番高い
* etaをあげるとdiversityが下がってquality が上がる

などがあった(省略)

生成した画像の評価はこんな感じ

上段二つはランダムにサンプリング/生成したもの、下二つが紹介した手法(一番下がGANで生成するやつ)

qualityも同等で、preference scoreが大きい画像が生成できていることがわかる。

実際に作った画像を載せた定性的な評価もしていたけれど、今回は省略。

### おわりに

VBPRを読んだ時に、「え、画像情報はpre-trainしたやつなの？end to endで学習しないの？」という疑問は当然出てくると思うので、自然な研究だと思いました。
GANを使ってitemの画像を生成するのは意外でした。

あまりGANについて詳しくないので、実験の評価の部分とかが新鮮でした。

次は<a href="https://arxiv.org/abs/1903.02939">ViTOR: Learning to Rank Webpages Based on Visual Features</a>あたりを読んでみたいと思います。

ありがとうございました。

このブログを検索

ぐぐりらにっき

【論文紹介】Visually-Aware Fashion Recommendation and Design with Generative Image Models (ICDM 2017)

コメント

コメントを投稿

【論文紹介】Visually-Aware Fashion Recommendation and Design with Generative Image Models (ICDM 2017)

この記事をシェアする

コメント

コメントを投稿