【論文紹介】Spatial Transformer Networks (NIPS2015)-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

論文読み記事です。
今回はNIPS2015で採択されたSpatial Transformer Networks を読みました。

## 3行まとめ

画像認識に使われるCNNはmax-poolingなどにより空間的な不変性を実現しているが、その性能は限定的です。
本研究ではSpatial Transformerモジュール(STモジュール)という、画像に対する変換を行うlayerを既存のCNNやDNNに導入することで空間的不変性を実現し、性能向上を図っています。

## Spatial Transformers

大きく分けて3つのコンポーネントからなります。

* Localisation Network 
* Parameterised Sampling Grid
* Differentiable Image Sampling

全体図はこちら

### Localisation Network

ここでは、画像に適用する変換に用いるパラメータを推定します。
入力はfeature map(単純に画像と考えてもいい)

画像を入力に取り、何らかのパラメータ$\theta$を出力する。ここのネットワークは何でもよくて、ちゃんと次に使う変換のパラメータにあった次元を出力していればMLPでもCNNでもなんでもよいです。

適用する変換の例としてはアフィン変換がよく挙げられていた。アフィン変換だと必要なパラメータは6個なので、Localisation Networkは長さ6のベクトルを出力するネットワークなら何でもいいことになります。

### Parameterised Sampling Grid

得られたパラメータを用いて変換を行います。
変換はこのSampling GridとImage Samplingで行われます。

Sampling Gridでは、出力マップの各ピクセルに先ほど得たパラメータを使って変換を施すことで、入力のどこを参照すればいいかを求めます。

$T_{\theta}$が変換、$(x_i^s,y_i^s)$がsource(入力の画像上の座標),$(x_i^t,y_i^t)$がtarget(出力マップ上の座標)
を表します。

feature mapを出力する段になって、じゃあ入力のどこが出力のここに当たるんだろう？という部分をアフィン変換なりなんなりで行うという気持ち。

変換は何でもいいです。微分できるものであれば。(できないとback propagationできないので)

ちなみに、RGB画像のようにチャンネル数が複数ある場合はすべてのチャンネルに対して同じ変換を施します。これは直感的だと思います。チャンネル毎に別々の変換をかけてしまうと形とかなんかひどいことになりそうですし。

### Differentiable Image Sampling

対応する入力の画像上の位置がわかったら終わりじゃん、と思っていたのですが、そうでもなく、画像の対応する点近辺からどのようにデータをとってくるか(変換してくるか)は自明ではありません。

一番簡単に思いつくのは、対応する点の画素値をそのまま出力の画素値にしてしまう、というアイデアです。
これは、変換して得た入力上の画像の座標が整数じゃなかったり範囲外だったりすることを考慮すると、論文中でも紹介されているサンプリングになります。

the integer sampling kernelとよんでいます。

<div class="separator" style="clear: both; text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiYrbsDVhsdwzcFLaPJHLSPrDSjPWRl51T5MxQHDG1ggF4BCDn2-gGPNlVd7rmYPy6Kacr1CLy_p2YXP8u3-ufmaAUKHQ74Og3950ms76SCZSFw8Z2HOOUy1M0-AnfUfhdhjxSJXgoP5oMc/s1600/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2019-04-02+10.33.07.png" imageanchor="1" style="margin-left: 1em; margin-right: 1em;"><img border="0" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiYrbsDVhsdwzcFLaPJHLSPrDSjPWRl51T5MxQHDG1ggF4BCDn2-gGPNlVd7rmYPy6Kacr1CLy_p2YXP8u3-ufmaAUKHQ74Og3950ms76SCZSFw8Z2HOOUy1M0-AnfUfhdhjxSJXgoP5oMc/s400/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2019-04-02+10.33.07.png" width="400" height="57" data-original-width="555" data-original-height="79" /></a></div>
一般にカーネルの部分を変えることでいろんなサンプリングの仕方が実現できます。

一般の場合

微分できる範囲でいろいろ選べます。

今回の論文で使っているサンプリングはbilinear samplingというものです。

## メリット

* 自己完結したレイヤーなのでいろいろなネットワークと組み合わせて使うことができる
* 新しくST専用の学習データを追加せずに済む
* loss functionも最適化手法も変える必要がない
* 計算もそんなに重くならない

など。
一応先行研究としては画像から必要そうな部分を切り取ったり、向きを補正したりするというアイデアはあるものの、end to endで学習できますという研究はこれが初めてらしい。

先行研究では別でその切り取りや回転、拡大などの変換をするモデルを学習する必要があり、データやモデルの構築、学習方法などいろいろ手のかかる部分があったと考えると、もともとのモデルの入力部分に取り付けるだけで性能が上がるのはたしかに嬉しい。

入力部分に接続するのが一番それっぽい使い方だが、論文中でも実験されていた通り、複数回モデルの途中に挿入するといった使い方や、STモジュールを並列に並べて画像中の複数のオブジェクトに対して変換をかけることもできる。

前者のイメージとしてはCNNが吐いたfeature mapに対して回転やら拡大やらといった何らかの変換をかけるイメージ。

## 実験

三つやっています。
* distorted MNIST
* Street View House Numbers
* Fine-Grained Classification

### Distorted MNIST
みんな大好きMNISTを回転したり縮小したり歪めたりいろんな変換を施したものを画像分類しましょう、という実験。

```
R: rotated
RTS: rotated, translated, and scaled 
P: projective distortion 
E: elastic distortion
```
といった変換をMNISTに施してあります。

STのサンプリングはすべてのモデルでbilinear sampling使っています。
変換の部分はいろいろ試していて、
```
an affine transformation (Aff)
projective transformation (Proj)
a 16-point thin plate spline transformation (TPS)
```
ベースラインとして普通のFCN(全結合)とCNNに加えて、それらの入力部分にSTモジュールを接続したST-FCN,ST-CNNを実験に用いている。ちなみにCNNはMax-poolingを二層含んでいるので、普通のCNN自体も空間的不変性は(ある程度)実現しているわけです。これがどれだけSTによって改善されるかがキーポイントです。

結果を見てみると、基本的にSTモジュールを入れるとそれに対応したベースラインより精度が向上していることが見て取れます。

普通のFCNでも、STモジュールを接続することで通常のCNNと同程度の性能が達成できています。
CNN自体が表現力の高いモデル、かつMax-poolingである程度空間的不変性を実現できているのでそのままでもある程度高い性能ですが、ST-CNNにすることでさらにいい結果が得られていることがわかります。

### Street View House Numbers
実データでやってみましょう、という実験。
STモジュールを複数(直列に)CNNの間に挟んだネットワークを使って複数使った場合の性能を見ています。

家の画像の中にある数字の列を識別するタスクをとく実験です。
先行研究との比較もこの実験で行われています。

先行研究では、画像のうち数字を含む部分を64 × 64 pxで切り取った画像を入力としていましたが、この手法の良さを言うためにもうすこし広範囲の128 x 128pxで切り取った画像を入力にするという研究もしています。予想としては、画像の範囲が広くなってもSTモジュールによって適切な部分に着目してくれるはずなので、画像のサイズが大きくなっても精度は落ちないのではないか、という気持ちです。

実際、実験結果を見てみると既存手法よりも精度は高く、画像のサイズをあげても精度が落ちないことがわかります。

また、STを複数挟んだネットワーク(Multi)の方が一つの場合(Single)よりもいい結果が出ていることもわかります。

ちなみに、もともとのCNNの構造は、5つのCNNがそれぞれ各桁の数字を分類問題として予測するというアーキテクチャになっているみたいです。(このデータセットの構成上,含まれる数字の列は最大5桁らしい。5桁未満のものも表現できるようにnullも予測の一つに含めているらしい)

### Fine-Grained Classification

最後、TSモジュールを並列に並べたらどうなるかを鳥の分類の実験で検証しています。
二つのTSモジュールだと、一つは鳥の頭をcaptureしていて、もう片方は体の部分を捉えていることがわかりました。

具体的なネットワークの構成はsupplementary materialにあるとのことでちゃんとみてないのですが、並列したST-CNNによって得られる複数のベクトルを最終層の前でconcatenateして、FC層からのsoftmaxで分類しているようです。

実験では2つ、4つのST-CNNを並列したモデルを試していて、4つのときにベストのパフォーマンスが出たとのことです。

## まとめ
Spatial Transformer Networksを読みました。
本研究では画像に空間的な補正を施すSpatial Transformerモジュールを提案しており、STモジュールは既存のCNNなどのモデルに接続することで性能を向上させることができます。

【論文紹介】Spatial Transformer Networks (NIPS2015)

0 件のコメント:

コメントを投稿

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT