【論文紹介】Field-aware Calibration: A Simple and Empirically Strong Method for Reliable Probabilistic Predictions (WWW 2020)-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回は、機械学習におけるcalibrationについて、特にField levelのcalibration errorを調べる論文を読んだので、まとめます。

## 概要

Field-levelでcalibration誤差を測る指標としてField-ECE, Field-RCEを提案。またこれらの指標を考慮したcalibrationの手法としてNeural Calibrationを提案。

## リンク
[[1905.10713] Field-aware Calibration: A Simple and Empirically Strong Method for Reliable Probabilistic Predictions](https://arxiv.org/abs/1905.10713)

## calibrationとは

機械学習におけるcalibrationとは、ある分類器の出力を各クラスに属する確率に近づけることを言います。

分類問題では、あるインスタンスがどのクラスに属するかを判定するモデルを作るわけですが、今回考える問題ではあるクラスに属する確率を予測するモデルを作りたいという状況です。
降水確率や広告のCTRを予測するなど、分類結果自体だけでなく予測された確率が必要なケースも実応用上多いでしょう。

その際、予測された分類結果が正しくても、予測された確率がずれていると、後段の意思決定の処理でその確率を用いた場合にズレが生じてしまいます。

(なお、今回は論文に沿ってbinary classificationに絞って書いていきます。)

calibratedな予測かどうかを測る指標としては後述しますが、ざっくりとしたイメージとしては、あるクラスに属する確率を0.7と予測されたデータを集めると、本当に70%がそのクラスに属している、みたいな予測をしていたらcalibrated、というものです。

全体的な傾向としてcalibratedかどうかを可視化する際によく用いられるものとして、calibration curveがあります。

先ほどのざっくりしたイメージそのままで、学習したモデルを用いて得られる予測値をつかってデータを分割し、そのグループごとに正例の割合をプロットしたものです。

scikit-learnの図を引用します。こんな感じ。
  
 <div class="separator" style="clear: both; text-align: center;"><br /></div><div class="separator" style="clear: both; text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjqmdf5Ufs0jBiPBAknOd28DctVvcaKn-Kr-BUGwwg5zr4MbLxHTv9oJJD7b6dJ2vzSjL0e3FgD6YZTz3r0XSIaM8Uj17tZV3IpfYa0U_upcat-rKfumIIN0nXV9yJivt3xP1Wij2N8LFhJ/s964/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2020-08-01+17.20.55.png" imageanchor="1" style="margin-left: 1em; margin-right: 1em;"><img border="0" data-original-height="617" data-original-width="964" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjqmdf5Ufs0jBiPBAknOd28DctVvcaKn-Kr-BUGwwg5zr4MbLxHTv9oJJD7b6dJ2vzSjL0e3FgD6YZTz3r0XSIaM8Uj17tZV3IpfYa0U_upcat-rKfumIIN0nXV9yJivt3xP1Wij2N8LFhJ/s640/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2020-08-01+17.20.55.png" width="640" /></a></div><div><br /></div>

[Probability Calibration curves — scikit-learn 0.23.1 documentation](https://scikit-learn.org/stable/auto_examples/calibration/plot_calibration_curve.html#sphx-glr-auto-examples-calibration-plot-calibration-curve-py)

Perfectly calibratedだと、予測値と同じ割合で正例が含まれています。

確率予測を行うモデルの出力を用いてcalibration curveを書いた時に、なるべくこの直線に近くなるようにすることがcalibrationの目的です。

## 既存の指標

先ほど紹介したcalibration curveを用いればcalibratedかどうかがわかりますが、なんとなくの傾向しかわからないのでしっかりした指標が欲しいです。

この論文中で紹介されていた、calibratedかどうかを測る既存の指標を幾つか見てみます。

### log loss

負の対数尤度です。

自分はあまりcalibrationについて知らなかったので、log lossもcalibrationの評価をしていることになるのか...?と疑問に思いました。

でもlog lossを最小化するような理想的な予測をすると、正例については確率1で予測して負例は確率0と予測するので、確かにcalibratedではありそうです。

論文中では、次のbrier scoreと合わせてinstance level calibration errorを測る指標として紹介されています。

### brier score

こちらは、予測確率と正解ラベルのMSE(Mean squared error)で定義されます。

これも、log lossと同じような指標なので、これらの指標を最小化するように学習すれば全体的なずれは小さくなると考えられます。

log lossもbrier scoreも、その値だけみてもどれくらいバイアスがあるのかわかりづらい、と論文中で指摘されています。

### Prob-ECE

こちらはProbability level calibration errorの指標の例として紹介されていました。

calibration curveをそのまま指標にしました、という指標で、予測値を用いて分割し、近い予測値を持つグループの中で|正解ラベルの和-予測値の和|を計算し、平均したものです。

calibration curveのperfectly calibratedな直線からの差、と見ることができます。

データを分割する際に自由度があるという難点はあるものの、直感的にわかりやすくて良い指標なのではと思うのですが、著者らは今回この研究ではこの指標を用いないとしています。

理由としては、「データ全体に対する正例の割合で全て予測した場合にもProb-ECEは最良の値になってしまうため」としているのですが、あまり自分には納得できませんでした。

そのような予測をしても、他のAUCなどのような指標は悪化するので、複数の指標を合わせて見ていく際にはProb-ECEも有用なのでは、と思いました。(もちろんこれを目的関数にしたら著者らの言う予測をする解に落ちてしまう可能性はあると思うのですが)

## Field level calibration error

これまで紹介してきた指標では、特定の集団ごとにcalibration errorがあっても、全体としてcalibration errorがないといった場合を正しく計測できないと指摘し、Field level calibration errorを測る指標として、

* Field-ECE
* Field-RCE

の二つを提案しています。

Field-RCEはFiled-ECEをRelativeにしたものなので、今回はField-ECEだけ説明します。
Field=RCEでは単位が%になるので、どれくらい良い/悪いのかがわかりやすい、というメリットがあるというのが著者らの主張です。

先ほど紹介したProb-ECEではモデルの予測値でデータを分割していましたが、
Field-ECEでは、この分割の基準を「入力するベクトルの特定のカラム」としています。

特定のカラム $z$とは、例えばローンの債務不履行を予測するタスクであれば住んでいる州などを指すようです。

論文中ではカテゴリ変数を想定しており、そのカテゴリに属するデータごとに分割して、Prob-ECEのように|正解ラベルの和-予測値の和|を計算します。

Prob-ECEで著者らが問題視していた、「データ全体に対する正例の割合で全て予測した場合にもProb-ECEは最良の値になってしまう」こともField-ECEでは起こらないのでよい、と主張しています。

正直なところ、calibrationについてはこの論文を読む際に調べただけなのであまりわかっているか怪しいのですが、冒頭で書いたようなcalibratedな予測を行うことが目標だという理解が正しいのであれば、この指標って本来やろうとしていたこととは少し違う？？ように思えます。

ただ、Fieldごとにcalibration errorを見積もるのはありなケースもありそうと思いました。
今回の論文では紹介されていなかったですが、簡単に|データ全体の正例の和-予測値の和|を調べてcalibration errorを見積もるような方法もあり、そのような指標からすると、より厳しく見積もっている(バイアス同士が打ち消しあう可能性が減る)ので、応用次第では使われることもあるのかな、と想像を巡らせています。

## Neural Calibration

Field levelにcalibration errorを測る指標を提案したので、それも考慮したcalibrationの手法としてNeural Calibrationを提案しています。

今回の研究で対象にしているのは、モデルの出力を後からcalibrationするpost-hocな手法で、既存手法としては

parametricな

* Sigmoid / Platt Scale

non parametricな

* Isotonic Regression

などがあります。

これらは、trainデータで学習したuncalibratedなモデルの出力と、validationデータの正解ラベルを用いてcalibrationを行う手法ですが、

Neural Calibrationではvalidationデータのinputも用いるところが上記の手法と異なります。

図の通り、モデルの出力をcalibrationする部分と、input自体の情報を変換する部分の二つを経由し、出力を合計したあとにsigmoid関数に通して最終的なcalibratedな予測に変換します。

モデルの出力をcalibrationする部分はIsotonic Line-Plot Scalingというモデルを提案していて、input自体の情報を変換する部分はどんな構成でもいいですが今回はMLPにしたそうです。

Isotonic Line-Plot Scalingについては詳細は割愛しますが、図のように区間的には直線で表されて、全体としては広義単調増加になるような関数を学習しています。入力、すなわちuncalibratedなモデルの出力の大小関係は保つようにスケールさせるために広義単調増加になるような制約を入れています。

Neural Calibrationの学習には単純なlog lossを用いているのですが、validationデータの入力を入れるだけでField-ECEに対応するようなcalibrationになるかどうかはわからなくない？というのが読んだ感想です。

読んだ方、コメントありましたらお願いいたします。

## 実験

長くなってしまったので、割愛します。
興味を持たれた方は論文の方を読んでいただければと思います。

データによってはですが、log lossやbrier scoreなどの既存の(field levelでない)指標や、関係ないAUCもNeural Calibrationで他のcalibration手法よりも大きく改善しており、field levelかどうかはおいておいてcalibrationに入力データももちいるのは改善につながることもあるかも、という点が面白いです。

## おわりに

calibrationについて、よく知らなかったので調べるついでに2020年現在での最先端を知りたいというモチベーションで今回の論文を読みました。

どのような指標でcalibration errorを測っているのかを知りたかったので、ある程度俯瞰できたのは良かったです。

最後までお読みいただきありがとうございました。

【論文紹介】Field-aware Calibration: A Simple and Empirically Strong Method for Reliable Probabilistic Predictions (WWW 2020)

0 件のコメント:

コメントを投稿

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT