ProbSpace 論文被引用数予測コンペ 6th Solution-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回はProbSpaceの論文の被引用数予測コンペに参加したので、その参加録となります。

[論文の被引用数予測 | ProbSpace](https://prob.space/competitions/citation_prediction)

結果は、参加者168人(うち提出者数70人)中、

Public 8位、Private 6位

でした！
  
<div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhmbhkIMNXbx7PTH40rAj1TVzD9rXicQHaYM6plru-3fUv0e39wUqOdvIkCMvArwa4nL4x5B294AB8hGDiWcqBfoJ_1ywcchA99C4dJjWGAr7_LTXd5MYZQRgm9IiujJWn2I_pp9e4-KoYQ/s1139/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2021-03-29+0.25.53.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="600" data-original-height="276" data-original-width="1139" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhmbhkIMNXbx7PTH40rAj1TVzD9rXicQHaYM6plru-3fUv0e39wUqOdvIkCMvArwa4nL4x5B294AB8hGDiWcqBfoJ_1ywcchA99C4dJjWGAr7_LTXd5MYZQRgm9IiujJWn2I_pp9e4-KoYQ/s600/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2021-03-29+0.25.53.png"/></a></div>
  
Public時点では8位とぎりぎり金メダル圏外で、今回も後一歩及ばずかと落ち込んでいましたが、shake upしPrivate6位となんとか金メダル圏内に入ることができました。
  
以下の記事で思いっきりぬか喜びしていて恥ずかしいですが、前回のスパムメールコンペで惜しくも逃してしまった金メダルのリベンジを果たすことができました。

ProbSpace スパムメール判別コンペ参加録

[スプラコンペ47位](https://www.smartbowwow.com/2020/10/probspace.html) -> スパムメールコンペ9位 -> 論文コンペ6位と、着々と順位を上げられていて嬉しいです。(ProbSpace初の金！)
  
本コンペで自分より上位の方はソロよりチームでの参加が多い中、ソロでの金ということもあり自信につながったと思います。

今回も振り返りのため、取り組んだ内容についてまとめていきます。
  
  
## コンペ概要

今回のコンペは、論文投稿サイト（プレ・プリントサーバー）の公開情報を用いて、
被引用数の予測モデルを構築する、というテーマでした。

タスクとしては回帰問題であり、評価指標はRMSLEでした。

今回のコンペの特徴として以下の2点があげられます。

* 自然言語+テーブルデータ
* 弱教師あり学習

与えられるデータはタイトルや概要などの自然言語データと、公開日やジャーナル情報などのテーブルデータが混在しているという構成でした。

また、本コンペの一番の特徴は、正解データ(予測対象のカラムであるcites)が与えられていないデータが大量に与えられており、全てのデータに弱ラベル(doi_citesというカラム)がついているという点です。

citesもdoi_citesもついているデータが15117件、citesがついていなくてdoi_citesのみついているデータが836407件ありました。

(citesがついているデータにもdoi_citesはついている、ということに注意)

citesがなくdoi_citesしかない大量のデータをいかに活用するかがポイントだったかと思います。

doi_citesが全てのデータについているので、doi_citesを弱ラベルと考えずに１つの特徴量と考えると半教師あり学習とみることもできます。

自分はあまりこの特性を活かせなかったので、どのように上位勢がこの部分に対処しているかが気になります。

## 解法の概要

色々特徴量をつくってLightGBMのfeature importanceを用いて特徴量選択した後に、LightGBMやCatBoostで学習してアンサンブルしました。

特徴量選択と予測モデルの学習はあわせてoptunaでチューニングする形です。

今回用いたLightGBM、CatBoostのモデルの部分を、弱教師あり学習を考慮した差分予測器に変えたという工夫をしました。
この工夫はスコアに大きく貢献していました。詳しくは後述します。

特徴量についても、弱教師あり学習を考慮した工夫を行いました。
具体的には弱ラベルのみ存在するデータを用いて弱ラベルを予測するモデルを学習し、ラベルありデータに対して予測値を出力しその値を用いて特徴量を作るという方法です。

## 差分予測器の構築

今回自分が行った工夫は、cites自体を予測するモデルを作るのではなく、doi_citesからのcitesの差分を予測するモデルを学習し、その予測値とdoi_citesから最終的な予測値を得る、という方法です。

単純にcitesを予測するlightGBMモデルをRMSLEで学習し、予測値と正解データをプロットすると、以下のような図になります。

<div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEij5ZbVz-opp6rAlShn0552AT3Hu_RFAFwgLn7FfLhN9MQk__JhUV8BRoc465s66lpww_1sf1bae6uEfkwafFMzcDP696bYFmGKLINNjiSrjz-2evR-YarI2yku3JGXJmWobYEFT0BFDW0W/s380/nondiff1.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="600" data-original-height="279" data-original-width="380" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEij5ZbVz-opp6rAlShn0552AT3Hu_RFAFwgLn7FfLhN9MQk__JhUV8BRoc465s66lpww_1sf1bae6uEfkwafFMzcDP696bYFmGKLINNjiSrjz-2evR-YarI2yku3JGXJmWobYEFT0BFDW0W/s600/nondiff1.png"/></a></div>
  
図の右上部分見ると、citesが大きいデータを小さく予測してしまっていることがわかります。

citesが大きなデータは他のレンジのデータよりも少なく、予測が難しいのではと考えました。

そこで、弱ラベルであるdoi_citesがある程度citesに近いことを考えると、cites自体を予測するよりも、doi_citesがどのくらいcitesを正しく予測できているか(citesとdoi_citesの差分)を予測させた方が学習しやすいのではという仮説をたて、差分予測器を構築するに至りました。

RMSEに対して最適化する場合であれば、cites-doi_citesを正解データとして予測器を学習し、出力にdoi_citesを足して最終的な予測を得るイメージです。
  
  
今回はRMSLEに対して最適化しているため、cites-doi_citesに対してfitするのではなく

$$
\log (\frac{cites+1}{dcites+1})
$$

を正解データとしてRMSEを目的関数として学習し、得られた予測値$y_{pred}$を用いて

$$
(dcites+1)\exp(y_{pred})-1
$$

と後から変換を行うことで最終的な予測値とします。(doi_citesをdcitesと表記しています)
  
  
ちょっと計算すると、これにより得られる解はもとの問題の解と一致するとわかるので、この方法で学習を行いました。

差分予測器にした場合の予測値と正解データをプロットすると、以下の図のようになります。

図の右上部分を見るとわかりますが、単純にcitesを予測していたときはcitesの大きなデータを小さく予測してしまっていましたが、差分予測器ではその部分が改善されていることがわかります。

doi_citesからのcitesの差分を予測する問題に変換することで、citesが大きくてもdoi_citesが大きいデータであれば他のレンジのcitesを持つデータからうまく学習してくれたと考えられます。
  
逆にdoi_citesが小さくcitesが大きいデータへの予測精度が悪化するという懸念がありましたが、予測精度の内訳を見たところほぼ悪化しておらず、全体としては改善の度合いのほうが大きいため、この手法を採用しました。

## その他特徴量

ここからはあまり他の方と差がないかもしれません。

作成した特徴量を列挙します。
  
* 著者の人数、出現回数、所属大学
* 上位カテゴリー、下位カテゴリーの出現回数、個数
* バージョン数、更新頻度、最初と最後の更新日時の差
* 公開されていた外部データdoi_prefixをjoin, publisherはLDAでベクトル化
* 会議名、ジャーナル名の抜き出し
* タイトルをLDA
* abstractをword2vec,fasttextでベクトル化して平均を取る
* 先述のとおり弱ラベル予測値とその差や比
* 対数を取ったdoi_citesをラベルだと思ってターゲットエンコーディング
* categoryやauthorを系列データとみてword2vecでベクトル化して平均を取る  
* page数、figure数
* doiのprefix

あたりを入れました。
カテゴリーやバージョンの情報が一番大きく効いていたという印象でしたが、これは直感的にもそんな感じがします。

(引用数が多くなる分野がありそう、何度も更新している論文は引用数が多そう、など)

word2vecなどで学習済みモデルを使うのではなく、ラベルなしデータも用いてスクラッチで学習するようにするとスコアが改善しました。
自分の解法の中で、ラベルなしデータを活用できた部分の１つです。
  
「categoryやauthorを系列データとみてword2vecでベクトル化して平均を取る」は[atmaCup第10回の反省](https://www.smartbowwow.com/2021/03/atmacup10.html)を活かして追加しました。
  
  自然言語+テーブルデータという形式が似ているコンペだったので、論文コンペが楽しかった方は[atmaCup第10回](https://www.guruguru.science/competitions/16/)も見てみるとよいのではないでしょうか。

## うまく行かなかった取り組み

試みたもののスコア改善に繋がらなかった取り組みをあげていきます。

* 自己訓練
* イレギュラーデータの分離

### 自己訓練

自己訓練については、半教師あり学習ということで多くの人が検討されたかと思うのですが、自分はスコア改善に繋げることができませんでした。

ラベルありデータで学習して、ラベルのついていないデータに対して予測しその値を学習データに追加して再度学習するというpseudo labeling的な手法です。

今回は回帰問題だったため、予測の確信度が高いものを優先的に学習データに追加するといった工夫がしづらく、予測確率のかわりに予測分散が小さいものを優先的に入れるなどの工夫が必要のようでした。(自分はナイーブにランダムに追加する場合だけ試しましたが、CVは下がるもののLBにほとんど変化がありませんでした。)

工夫次第ではdeepだとうまく行ったりするのでしょうか。
上位の方と比べてラベルなしデータの使い方が甘い気がするので、他の方がどのような工夫をしているのか気になります。

### イレギュラーデータの分離

どのようなデータの予測が外れているのかを可視化しようと試行錯誤していたところ、doi_citesが0に近いデータで大きく外しているようでした。

<div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEip1VROvZpN_cChuFO7ThxFtQIr779Z5Vrad8JbHO6uykxa3zInocbMWES-xI45UpvKrwL2YlM4VwIcgtj8VCQ7Y7H8hk2eUe4VvFLyOFOuhJ7B3gNOsAa1Cy32CwSy26b0ofGu1QkWU8zb/s382/loss_wrt_doi_cites_clipped.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="600" data-original-height="252" data-original-width="382" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEip1VROvZpN_cChuFO7ThxFtQIr779Z5Vrad8JbHO6uykxa3zInocbMWES-xI45UpvKrwL2YlM4VwIcgtj8VCQ7Y7H8hk2eUe4VvFLyOFOuhJ7B3gNOsAa1Cy32CwSy26b0ofGu1QkWU8zb/s600/loss_wrt_doi_cites_clipped.png"/></a></div>
  
(横軸がdoi_cites, 縦軸がRMSLEです。横着してすみません)

doi_citesとcitesの関係を見ると、doi_cites=0のデータにはcitesがかなり大きいデータも含まれており、このデータの予測が大きく外れていることがスコアを悪化させているようでした。

doi_citesごとにみると、doi_cites=0に限らずdoi_citesの値からかなり外れたcitesがちらほら含まれていることがわかります。

色々可視化してみて、doi_citesごとに見ると2つの峰があるような多峰性のある分布をしているのでは？と思いました。

* doi_citesとcitesが近いデータ
* doi_citesとcitesが離れているデータ

が２つのクラスターのようになっているように見えたので、差分予測器のところで作ったラベルを一次元混合ガウスモデルでクラスタリングして、イレギュラーデータを分離してこの情報を使ってスコアを改善しようと試みました。
  
  (以下のように全体で見ると峰は１つですが、doi_citesごとに見ると2つ峰があるようでした)

適当にこのイレギュラーデータを判別する分類器をLightGBMで作りましたが、AUCが0.8弱くらいになったのでなにかしら傾向はありそうですが、結局うまくこの情報を使えませんでした。

以下のような方法でこの情報を使おうとしましたが、スコア改善に至らず断念。

1. irregularデータを除外してtrain -> 悪化
2. regular,irregularを分類し、それぞれで学習する -> regularは改善するがirregularは悪化
3. clusterを均等にするようにCVを設計するのは良さそう？->したけどあまり値も変わらなかった
4. イレギュラーかどうかの予測確率をアンサンブルに加える -> 改善せず 
5. 自己訓練に加えるデータの選定に使う -> 試せず

## おわりに

差分学習で改善したところは思った通りで気持ちよくハマったのですが、イレギュラーデータまわりで色々分析した結果進捗が出ず、他のコンペをやったり私生活で忙しくなったりしているうちにモチベが下がり、終盤に抜かれていくのをただただ見守るという悲しい結果になってしまいました。

モチベがあり、時間が取れるコンペに、最後までコミットできる時期から参加するのが良いのかもしれないと感じました。

また、気になっていることの１つに、shake downが見られた本コンペで自分のスコアがPublic->Privateであまり悪化しなかったのはなぜ？というのがあります。
  
あまりshake対策的な知識を持っておらず、予測をロバストにする工夫ができていた気がしないのですが、この部分が効いていたのでは？等あればぜひ教えてください。
  
  
他の方の解法紹介を楽しみに、今回の記事はこの辺りで終わろうと思います。

最後までお読みいただきありがとうございました。

ProbSpace 論文被引用数予測コンペ 6th Solution

0 件のコメント:

コメントを投稿

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT