【論文紹介】Improving Pairwise Ranking for Multi-label Image Classification (CVPR 2017)-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回は画像に複数のラベルを予測するMulti label image classificationを扱った論文を読んだので、まとめます。

## 3行まとめ

Multi label image classificationを扱った論文。
損失関数log-sum-exp pairwise (LSEP) lossを提案し、
ランキングをだしてから、実際に上位のどこまで予測に入れるかを扱うlabel decision moduleを提案した。

論文リンクはこちら。

[[1704.03135] Improving Pairwise Ranking for Multi-label Image Classification](https://arxiv.org/abs/1704.03135)

## Multi label image classification

ある画像に対して、対応するタグが複数あり、そのタグを予測するタスクを解きたい。
対応するタグは画像によって個数が異なる状況を考えている。

ランキング学習の手法を用いて解く研究では、まずタグのランキングを予測し、その後上位いくつかを最終的な予測に含める、といった手法が主流そう。

論文中ではこちらの図のようにまとめられている。

今回の論文では、

* ランキング学習の部分の損失関数としてよく使われるWARP lossにかわるLSEP lossを提案
* 生成したランキングから最終的な予測を得る部分を画像情報を用いて改善するlabel decision moduleを提案

という二点が大きな貢献となっている。

## LSEP loss

定式化はこちら。

推定したrankをつかってhinge lossを重み付けするWARP lossと違い、LSEP lossはrankを推定しない。

WARPについてはこちらで記事にしたので、よろしければ参考にしてみてください！

【論文紹介】WSABIE: Scaling Up To Large Vocabulary Image Annotation (IJCAI 2011)

WARPのhinge lossの部分と違って、すべての場所でsmoothなので最適化しやすいことが長所。

理論的にはLSEPは漸近的にhinge lossの上界になっているらしい。

LSEPでrankをつけた場合も前実験でやってみたけど、結果はよくなかったそう。
筆者はimplicitにrankを考えて重み付けできているからではないか、と考察している。

## Label Decision

画像を受け取り、それぞれのtag(item)にスコアを予測してそれに基づきランキングを出したあと、実際にどこまでを予測に含めるかの部分。

既存の方法では、

* top k (ランキングの上位k個を予測にする)
* global thresholding (スコアが一定以上のitemを予測にする)

などがあるが、どちらも画像の特徴を無視している。

直感的には、画像中の情報が多ければ関連するtagも増えそうなので、正解となるラベルの個数は画像の情報から予測できるかもしれない！というアイデア。

上のそれぞれの手法を、画像の情報から学習するようにして改善する。

* Label count estimation
* Threshold estimation

## Label count estimation

Label count estimationでは、top $k$の$k$を学習し、画像情報から予測する。
与えられた画像によって柔軟に最終的な予測に含めるラベルの個数を変化させるという仕掛け。

scoreを予測するCNNの最終層の一つ手前の層の出力を別のMLPにつなぎ、最後にsoftmax関数をかけて$n$次元のベクトルを出力する。一番大きな値のインデックスをlabelの個数として予測する。

$n$は先に決めておく。$n$より多いlabelを持つ場合は$n$個にまとめてしまうらしい。

正解データは、正解ラベルの個数を用いる。

## Threshold estimation

Threshold estimationでは、thresholdを学習する。
global thresholdはすべての画像、tagに対してthresholdは同じ値としていたが、今回は画像、tagによってthresholdが変わるようにしている。

Threshold estimationでもCNN最終層の一つ手前の層の出力を別のMLPにつなぐ。最後はtagの
個数と同じ次元のベクトルを出力する。tagの個数分のthresholdを予測する、という感じ。

lossは、sigmoid(score-threshold)を各tagについて計算して、cross entropy lossのようにする。

scoreが高くても、thresholdの値が高く予測されたtagだと最後の予測に入らないことがあるのが特徴か？
逆転があり得る設計です。

tagによらず一つのthresholdを予測するバージョンがあってもいいのかなと思ったが、、、

## trainingについて

ランキング学習の方のCNNのパラメータは固定して、label decisionの残りの層のみを後から学習している。
multi task learningのように同時に最適化することもできるが、別で学習したほうが良い結果が出たと報告している。

## 実験

結果の概要まとめ(ざっくりなので結果は論文参照でお願いします。)

* 今回改良したやつは、それぞれ改良する前と比べて、precisionはよくなってrecallは悪くなっている傾向がある気がする。完全matchでは性能向上している
* WARPよりはいい結果が出ているように見える
* label decisionなしでやるとLSEP lossが一番良いAUC
* 複雑な画像ほど高いthresholdで予測する傾向にある

実験結果の見方めも

* per-class と言っているのは、tagごとにthresholdを予測するということ。
* 既存のlabel decisionのparameter($k$とか$\theta$)はF1スコアでクロスバリデーションしたものを使用している。

## おわりに
 
 BPRやWARPといったランキングの損失が提案されたのが割と昔で、BPRについてはその後の改善論文がいくつかあり、自分でも以前調査してQiitaにもまとめたのですが、
 
 
 (こちらです)

Bayesian Personalized Ranking (BPR)の派生研究まとめ - Qiita

【論文紹介】Improving Pairwise Ranking for Multi-label Image Classification (CVPR 2017)

0 件のコメント:

コメントを投稿

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT