【論文紹介】ViTOR: Learning to Rank Webpages Based on Visual Features (WWW2019)-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回は、

WWW2019の　ViTOR: Learning to Rank Webpages Based on Visual Featuresの紹介記事です。

## 3行まとめ

Web文書検索において、従来の特徴量に加えてページの画像情報を用いてランキングを学習するモデルとしてViTORモデルを提案。事前学習したCNNベースのモデルを利用し、入力にはsaliency heatmapや検索クエリをハイライトしたスクリーンショットを用いている。作成したデータセットを公開している。

## 問題設定と貢献

検索エンジンに入力されたクエリを受け取って、関連するwebページを返すタスクに、webページの画像情報(スクリーンショットのようなもの)も使おう、という研究。

関連研究として一番近いのが
<a href="https://arxiv.org/abs/1710.06997">Learning Visual Features from Snapshots for Web Search　(CIKM2017)</a>

だが、これはGOV2というデータセットを用いていて、画像情報の多様性が小さいこと、スクリーンショットに画像やスタイル(多分CSSみたいなこと？)が含まれていないことなどが問題点として指摘されている。

今回はこの画像情報を用いたLearning to rank、すなわちVisual learning to rank (ViTOR)と呼んで、これ用のいい感じのデータセットを作りました、という研究。

もちろん自分たちでモデルも作って、既存のもの(ViPと呼ばれている)よりもいい結果が出ている。

貢献をまとめると

* 画像情報を用いたランキング学習ViTORデータセットをつくった
* ViTORモデルを作って既存モデルViPに勝利

## モデル

## 全体の構成

初めてだからか、そこまで工夫しているかんじでもなかった。

画像とcontent feature(TF-IDFとかPageRankとか、古典的な特徴量を想定)を受け取って、ランキングを作る。

今回はexplicit feedback(ratingが陽に与えられる)の設定で、明言されていないが多分ratingを回帰してsortしてランキングを作っているのだと思う。

画像は、pre-trainしたVGGやResnetで変換して、MLPに突っ込んで次元を落とす。VGGやResnetはImageNetで事前学習していて、今回の学習ではfreezeしている。MLPはscrach.

MLPが出力したベクトルと、content featureをconcatenateして、一層の全結合層に流してスコアを得る。

とてもシンプルなモデルに感じた。

## 入力する画像
普通にスクリーンショットそのまま突っ込むのが一つ、あと二種類の入力を試している。

* クエリをハイライトした画像
* synthetic saliency heatmap

こんな感じ。

一つ目はあー、そういうこと、ってかんじで、入力されたqueryをハイライトした画像。ブラウザでweb page内を検索するときにctrl + Fするとハイライトされるあれみたいなイメージ。赤でハイライトしている。

二つ目は、userの視線をtrackingしてできるsaliency heatmapを入力するというやり方。
といっても実際はrecomendする前にわからないので、予測したheatmapを人工的に作って、それを入力にする。

saliency heatmapってどうやって作るんって思ったのだけど、eye-trackingしたデータから作ったsaliency heatmapと、元の画像のデータセットがあるらしい。

* SALICON : データサイズが大きい。natural images
* webpage saliency dataset : データサイズが小さい。webpage画像

今回は、先程と同様に、他のデータセットでpretrainされた画像認識モデル(多分VGGとかResnetとかだと思うけど)の上にMLPをつけて、上の二つのデータセットでfine tuningする。これでsaliency heatmapを予測する。

予測したsaliency heatmapをViTORモデルの画像部分に入力する、という流れ。

読んでいて思ったのが、VGGやResnetにsaliency heatmapを食わせてうまくいくのか？？という疑問。
ImageNetの入力みたいなのを想定しているのに、saliency heatmapきて大丈夫？しかもVGGやResnetのパラメータはfreezeするらしいし。。。

## データセット作り

ClueWeb12とTREC WEB Trackというのを使っている。あとWayback Machine.

あまりちゃんと読めていないが、ClueWeb12に入っているweb page一覧とTREC WEB Trackで出てきたクエリログに共通するサイトに行って、スクリーンショットをとる感じ。

もともとClueWeb12にもページのHTMLソースはあるらしいが、CSSとか画像がないからこれだとこれまでのデータセットと変わらないよね、ということでスクリーンショットをとる手法にしている。

ただ、普通にスクリーンショットを撮るとクエリログに現れていた時期に表示されていたページの表示と異なる可能性があるので、Wayback Machineというアーカイブを用いたらしい。

web pageのアーカイブなんてあるのか。。。びっくり

content featureはClueWeb12やTREC WEB Trackからとってきて作っている。
選択した特徴量は次の通り。

<a href="https://arxiv.org/abs/1306.2597">LETORデータセット</a>で使われている特徴量を参考に作ったらしい。

あとはratingの情報を含めて終わり。ratingは-2 ~ +4となっている。

## 実験

ViTORは合計で7種類試している。

* ViTOR baseline: 画像使わない
* ViTOR snapshots: 画像そのまま
* ViTOR highlights: クエリハイライトしたやつ
* ViTOR saliency: saliency heatmapを入力する

baseline以外の画像使う手法はそれぞれVGGとResnetがあるので、1+2×3=7

比較手法として
* ViP snapshots
* ViP highlight

(なぜVip + saliency heatmapをためしていない？)

画像情報を使わない手法は

* BM25
* RankBoost
* AdaRank
* LambdaMart
を試している。

評価指標はprecision, ndcg, MAP.

## 結果

VGG + highlightsと、Resnet + saliencyが強いという結果だった

この二つを比較するとVGG + highlightsのほうが強そうな結果だったので、やっぱりsaliency heatmapを入れるのはそこまでいい手ではないのかな〜という印象だった。

さらに、追加の実験として、
LETORデータセットの46個の特徴量と、ViTORの11個の特徴量で画像を使わないモデルで比較実験を行っている。

さすがに46個使ったほうがいい性能が出るんだけど、11個でもそこまで性能が落ちてないし、いい11個選んだでしょ！っていう主張。

## おわりに

最近implicit feedbackからランキング学習する系の論文を読んでいて、その流れで見つけたはずなんだけど全然関係ない感じの論文だった。。。

画像を使ってランキング学習、というのはVBPRだったりDVBPRとかで読んでいたので、そちら経由だったかもしれない。(この二つはimplicit feedbackの問題設定)

この二つはこちらで記事を書いています。

【論文紹介】VBPR: Visual Bayesian Personalized Ranking from Implicit Feedback (AAAI2016) 【論文紹介】Visually-Aware Fashion Recommendation and Design with Generative Image Models (ICDM 2017)

【論文紹介】ViTOR: Learning to Rank Webpages Based on Visual Features (WWW2019)

0 件のコメント:

コメントを投稿

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT