【論文紹介】Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate (SIGIR 2018)-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回は、久しぶりの論文紹介記事です。

しばらくデータ分析コンペに参加することが多くそちらに時間を割いていましたが、一旦コンペは落ち着けて論文紹介記事の活動もぼちぼち再開したいと考えています。
  
今回の記事では、広告のConversion Rate(CVR)予測タスクに対してマルチタスク学習を適用した研究の論文を紹介します。

## 概要

CVR予測タスクの課題であるsample selection bias (SSB)とdata sparsity (DS)を解決する手法として、マルチタスク学習を利用したEntire Space Multi-Task Model (ESMM)を提案。clickedデータだけでなく全てのimpressionを用いて学習することで上にあげた課題に対処している。

## リンク

[[1804.07931] Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate](https://arxiv.org/abs/1804.07931)

SIGIR 2018

## Post-Click Conversion Rate予測の課題

Post-Click Conversion Rate (CVR)予測タスクにおける以下の2つの課題があげられています。

* sample selection bias (SSB)
* data sparsity (DS)

なお、Post-Click Conversion Rateと書いているのはClickされたという条件のもとでのConversionが生じる確率ということを強調するための表現だと思います。(単にCVRというとこちらを指す認識です)

impression時点からみたConversionする確率であるCTCVR (Click Through & Conversion Rate)と異なることに注意です。以後、Post-Click Conversion Rateを単にCVRと書いたりします。

### sample selection bias (SSB)

従来のCVR予測モデルを学習する際、clickされたデータを用いて学習を行う必要がある一方で推論時はclickされる前の全てのimpressionに対して予測を行う必要があり、学習時と推論時で対象とするデータの集団が異なるバイアスが存在しました。

この辺りの界隈ではsample selection bias (SSB)と呼んでいるようです。

<div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj-KmYXYS2QVy4NidL2kvP80_4FbusZFkPUMYtb_MllyVPRavNzAxAXML7ouGtgb99uPRlgdwkuOydSYjQVpvMGTojzGw5ra9P9iT5JGe5Gn9wyb_QgPmAyMCMJkakeWbtbTj0VREsv67QA/s631/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2021-06-14+16.41.15.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="400" data-original-height="246" data-original-width="631" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj-KmYXYS2QVy4NidL2kvP80_4FbusZFkPUMYtb_MllyVPRavNzAxAXML7ouGtgb99uPRlgdwkuOydSYjQVpvMGTojzGw5ra9P9iT5JGe5Gn9wyb_QgPmAyMCMJkakeWbtbTj0VREsv67QA/s400/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2021-06-14+16.41.15.png"/></a></div>
  
### data sparsity (DS)

post-click CVR予測のタスクでは、CTR (click through rate)予測のタスクと比較して、学習に用いることのできるデータの量が一般的に少ないという問題があります。

SSBと並んで、CVR予測の問題ではこの課題をdata sparsity (DS)と名付けられているようです。

## Entire Space Multi-Task Model (ESMM)

上で挙げられているCVR予測タスクにおける2つの課題(SSB, DS)を解決する手法として、本論文ではEntire Space Multi-Task Model (ESMM)が提案されています。

* clickedデータだけでなく全てのimpressionのデータを使って学習する->SSBを解決
* clickedされたかのlabelを用いてMulti Task学習する->  DSを解決

という意図です。

提案モデルであるESMMの全体像を載せます。

左側がメインのタスクで、CVRを予測するモジュールです。
右側はCTRを予測するモジュールで、モジュールの構造はCVR予測と同じものを用いています。

これらのモジュールはembedding layerを共有しています。

損失関数は、予測CTRと予測CVRからCTCVRをつくり、CTRとCTCVRそれぞれに対してloglossを計算し、2つのloglossの和を全体の損失関数とします。

$y_i$はclicked=1,non_clicked=0のラベル、$z_i$はconversion=1, non converion=0のラベルになっています。

CTCVRがCTRとCVRの積で表されることを利用した損失関数の定義になっているわけですね。

<div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjKySYQGfSgI-povz7KaeFLK-Adx5bc1msEFi84yQTS1fEiAuMoueJUTOZkcrcQlizo-JuwNo5tCz5nyHkO3dszuGoQVu2mpc5O239gpffOEFD4MEz6JMCqDL6hT5o_2CuhluqSmZ3yJIeq/s557/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2021-06-14+17.10.53.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="600" data-original-height="94" data-original-width="557" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjKySYQGfSgI-povz7KaeFLK-Adx5bc1msEFi84yQTS1fEiAuMoueJUTOZkcrcQlizo-JuwNo5tCz5nyHkO3dszuGoQVu2mpc5O239gpffOEFD4MEz6JMCqDL6hT5o_2CuhluqSmZ3yJIeq/s600/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2021-06-14+17.10.53.png"/></a></div>
  
CVR予測モジュールの出力を、clickedデータだけで学習するのではなく、CTRモジュールの出力と掛けてCTCVRを予測するように学習することで、clickedデータ以外の全てのimpressionデータを使って学習でき、SSBの問題を解決しています。

本来欲しかった予測CVRはいわば副産物として得られるイメージです。

Multi Task学習によりembedding layerを共有することでDSの問題に対処しており、SSB, DSの両方に対応しているモデルになっています。

## 実験

### データセット

publicのデータセットがなかったため、自社サービスのログから1%サンプルして公開したものを使用しているとのことです。
Publicが公開したデータセットで、Productがサンプリングする前のデータセットとなっており、これらで評価を行っています。

### 比較手法

* BASE : ESMMのモジュール一個分で単にCVR予測
* AMAN : 既存手法
* OVERSAMPLING : 既存手法
* UNBIAS : 既存手法
* DIVISION : CTRとCTCVRを別で予測して後で割る
* ESMM-NS : ESMMのembedding layerを共有しないバージョン

### 評価方法

CVR予測だけでなくCTCVR予測の評価も行っています。
CTCVRの評価をするのはclickedデータだけでなく全てのimpressionデータの入力空間に対して良い予測ができているかを見るためです。(SSBに対応する)

BASEなどの手法はCTR予測を同じ構造のモデルで行って積をCTCVRとするという方法で評価しています。評価指標はAUCです。

### 結果

<div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjyGvAMG5I7fONqLz-XaKN6p4zJ-ao7B40jHFXHkYNFek-IyG7VTV0uwFgNee0wQcUBzaVFu3UmJJEAgCszOfdC-fs9OaL9D83JsDs3SHEkmewO4y97pPebxn1d44ms3-82drjSgp7NZOW1/s686/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2021-06-14+17.27.35.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="600" data-original-height="271" data-original-width="686" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjyGvAMG5I7fONqLz-XaKN6p4zJ-ao7B40jHFXHkYNFek-IyG7VTV0uwFgNee0wQcUBzaVFu3UmJJEAgCszOfdC-fs9OaL9D83JsDs3SHEkmewO4y97pPebxn1d44ms3-82drjSgp7NZOW1/s600/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2021-06-14+17.27.35.png"/></a></div>
  
Public, Productの両方で良い結果となっています。
ESMMが一番良い結果なのはそうとして、DIVISION(CTRとCTCVRを別で学習する)も他の既存手法よりは良い結果になっているのを見ると、clickedデータ以外の全impressionデータを使って学習することで対処したSSBの問題は結構大きいのかなという印象を持ちました。

## おわりに

今回はCVR予測タスクの2つの課題(SSB,DS)に対処したESMMという手法を提案した論文である[Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate](https://arxiv.org/abs/1804.07931)を紹介しました。

マルチタスク学習のCVR予測への適用はいくつか他にも例があり、何本か論文を読んだので近いうちにまとめ記事を出そうと思います。

公開したらぜひ読んでいただければ嬉しいです。(Qiitaで書いたらいいねもお願いします！というYouTubeの終わり際の宣伝感)

最後までお読みいただきありがとうございました。

【論文紹介】Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate (SIGIR 2018)

0 件のコメント:

コメントを投稿

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT