投稿

8月, 2020の投稿を表示しています

【論文紹介】Field-aware Calibration: A Simple and Empirically Strong Method for Reliable Probabilistic Predictions (WWW 2020)

イメージ
こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 今回は、機械学習におけるcalibrationについて、特にField levelのcalibration errorを調べる論文を読んだので、まとめます。 ## 概要 Field-levelでcalibration誤差を測る指標としてField-ECE, Field-RCEを提案。またこれらの指標を考慮したcalibrationの手法としてNeural Calibrationを提案。 ## リンク [[1905.10713] Field-aware Calibration: A Simple and Empirically Strong Method for Reliable Probabilistic Predictions](https://arxiv.org/abs/1905.10713) ## calibrationとは 機械学習におけるcalibrationとは、ある分類器の出力を各クラスに属する確率に近づけることを言います。 分類問題では、あるインスタンスがどのクラスに属するかを判定するモデルを作るわけですが、今回考える問題ではあるクラスに属する確率を予測するモデルを作りたいという状況です。 降水確率や広告のCTRを予測するなど、分類結果自体だけでなく予測された確率が必要なケースも実応用上多いでしょう。 その際、予測された分類結果が正しくても、予測された確率がずれていると、後段の意思決定の処理でその確率を用いた場合にズレが生じてしまいます。 (なお、今回は論文に沿ってbinary classificationに絞って書いていきます。) calibratedな予測かどうかを測る指標としては後述しますが、ざっくりとしたイメージとしては、あるクラスに属する確率を0.7と予測されたデータを集めると、本当に70%がそのクラスに属している、みたいな予測をしていたらcalibrated、というものです。 全体的な傾向としてcalibratedかどうかを可視化する際によく用いられるものとして、calibration curveがあります。 先ほどのざっくりしたイメ