atmaCup第10回参加録とそのススメ-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

今回、第10回の開催となるatmaCupに参加しました。
  
  
[#10 [初心者歓迎!] atmaCup](https://www.guruguru.science/competitions/16/)
  
他のコンペに最近参加し始め、よくTwitterでatmaCupを見かける and 初心者歓迎！と書いてあったので、今回初参加してきました。

結果は525チーム中、

Public: 64位 -> Private :58位

でした。

CVとLBがよく相関している印象だったので、shakeしないと思っていましたが、そこそこしているようなのが意外でした。

Top15%に入れたので最初にしては上出来か、といった感じです。次はもうちょい上を目指したいです。

(初心者歓迎とありましたが、個人的には「レベル高くない!?」となりながら参加していたのは秘密)

今回参加しての感想、コンペで自分が行ったことなどをまとめておきます。

## 初めての短期コンペ

今回初めての短期コンペで、一週間という短い期間の開催であることに対応するのがまず新鮮でした。

これまで参加したコンペは2,3ヶ月で競い合うもので、のんびり参加できたりちょっとチャレンジングなアイデアを試してみたりという楽しみ方ができるメリットがある一方、今回のような短期コンペには短期コンペ特有の楽しさがあることに気づきました。

以下の資料で詳しく説明されていますが、実装のしやすさとスコアへの寄与のコスパを考えたり、スコアに効くかどうかの勘所持っておくことであったり、使いまわせるコード資産を持っておくことなどで手数の少なさをカバーできたりという面白さを体験できました。

[短期間コンペの戦い方 - Speaker Deck](https://speakerdeck.com/go5paopao/duan-qi-jian-konpefalsezhan-ifang)

今年に入ってコンペにちょこちょこ出るようになったので、いい感じに実験できるパイプラインツールを作り始めていて、ある程度できてきたのもあり実戦投入！ということで今回atmaCupに参加しました。

まだ自作パイプラインが未熟なため外部テーブルの特徴量作成部分をコンペ中に機能追加する必要がありましたが、それ以外はかなりスムーズに取り掛かることができました。

今後もコンペに出るたびに自作ツールを改善して、短期コンペで有利に動けるようにする、というのも面白いなあと思っています。

## コンペ中の取り組み(特徴量編)
 
今回のコンペの内容は、美術作品のテーブルデータからいいね数を予測するという回帰問題でした。

基本的にはテーブルデータですが、カラムによってテキストが入っていたり、画像本体は与えられていないものの作品から抽出された色情報が与えられていたりとさまざまな種類のデータを扱うことのできるコンペでした。

今回自分は以下のような特徴量を作り、lightGBMのfeature importanceを使って特徴量選択を行いました。
  
### カテゴリ系カラム

そのまま入れました。
count encodingを一度しましたが、CVがLBと相関しなくなってしまい、泣く泣く外しました。
カテゴリが少ないものがリークをしていたのかもしれないです。

### 日付系

年月日をとりだしたり、タイムスタンプに変換したりしました。
あと年を取り出した後、以下の考えられる組み合わせの全通りについて差を計算しました。

* 作者の生まれた年
* 作者の亡くなった年
* 作品を作成し始めた年
* 作品が完成した年
* 作品が収集された年

これで何年間生きたか、収集されたのが生前だったのか、作品は何歳の時に完成したのか、といった情報を特徴量にできました。

### テキスト系

long_titleが
title,dating_presenting_date,principal_makerの文字列を含んでいたので、重複する文字列を除去しました。

title、description,重複を取り除いたlong_titleやmore_titleを

* word2vecの平均
* fasttextの平均
* bert

の三通りで変換して、それぞれモデルを学習してアンサンブルしました。
bertは英語の事前学習モデルを使っただけで、言語によって対応するモデルを使うといった工夫はできませんでした(そもそもCPUで一度回しただけで力尽きた)

discussionにあった通り、テキストの文書長も入れ、titleの言語(英語、オランダ語など)の情報も入れました。

最初fasttextがインストールできず、titleのldaをとってやれば言語情報が特徴量になってくれるのでは？と代替案として試しましたが、全然効かず...

### 1対多のテーブル

基本的にはディスカッションで公開されていた、クロス表にしてまとめて入れる方法をとりました。
水準数が多いものに関しては入れられなかったです。この辺りはあまり工夫できませんでした。

word2vecとかで共起関係を考慮して埋め込むのが上位解法で紹介されていましたが、試せばよかった。。

### color, palette関連

結局いれたのはRGBをHSV,HLS.YIQに変換したものもいれ、paletteをobject_idをキーに集約特徴量(mean,sum,std,max,min,...)を作ったものをそのまま入れたものです。

ratioで順序をつけてからクロス表に変換してPCAしたりしましたが、効きませんでした。
ratioでrgbベクトルを重みづけ平均したものもスコア改善に寄与しませんでした。
画像に変換して学習済みモデルで特徴量抽出、といった解法があったそうです。

### その他

その他、以下のような特徴量も入れました。

* 同一シリーズ、同一著者内の作品の制作順序
* sub_titleから作品の形状を抽出(ディスカッションで公開されていた方法です)
* 作品の国名に粒度を統一してクロス表にいれる(ディスカッションで公開されていた方法です)

## コンペ中の取り組み(モデル編)

lightGBMとCatBoostを用いました。
もちろんRMSLEに対応するため、目的変数の対数をとってRMSEで最適化しました。

上述のとおり、文章のベクトル化の部分を変え(×3 )、lightGBMとCatBoostの２つのモデルを学習して、6通りの全組み合わせでアンサンブルしました。
ハイパーパラメータチューニングはoptunaでやっています。

validationについては、art_series_idがtrainとtestで共通してなかったのでGroupKfoldにしましたが、Kfoldとあまり変わらなかったようです。
  
目的変数が連続値であるので、binに区切ってからStratified Kfoldするという方法を採用していたチームもあったようです。

## ベスト更新時の緑の画面がいけてる

ここまではコンペでの工夫した点について書いてきました。
ここからはコンペに参加した感想がメインになります。

今回初めて参加だったので最初びっくりしましたが、提出してLBが改善すると緑色の画面が出てきてめっちゃお祝いしてもらえます。

<div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgCEm-j-k9EObthisZoZoeXL1MRzTYll2v9mKes81TaMRFhSdUF7_BOhrLiUfzVJtRi4oXWOUCBNe93XUylzrOui_IfJzmBR6urORMwJ2nSb3N4S5i0OxC3vObDyMKhqNrQmjXICls_P7G_/s526/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2021-03-11+0.23.24.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="600" data-original-height="345" data-original-width="526" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgCEm-j-k9EObthisZoZoeXL1MRzTYll2v9mKes81TaMRFhSdUF7_BOhrLiUfzVJtRi4oXWOUCBNe93XUylzrOui_IfJzmBR6urORMwJ2nSb3N4S5i0OxC3vObDyMKhqNrQmjXICls_P7G_/s600/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588+2021-03-11+0.23.24.png"/></a></div>
  
おしゃれですね。
  
  
  
提出画面だけではなく、いろんな部分のUIが綺麗だなーと思いながら楽しくコンペに出ることができました。

## 反省

上位解法をみていると、discussionに書いてあることを地道に実装して、プラスで工夫を入れられるところを試していく、という方法がやはり王道なのだろうと思います。

今回はdiscussionの内容についてはよくキャッチアップし、ちゃんと実装してついていくことができたので、その点はよかったなと思います。(自作パイプラインが、discussionの方法を設計上実装できない！ということがなかったのである程度柔軟で実践に耐えうることがわかってきたのも嬉しいポイントです。)

一方、反省点としてはあまりオリジナルの工夫を入れられなかった(ちょっといれたものの大幅に改善するものを見つけられなかった)のが挙げられます。アイデアの引き出しの少なさに依る部分が大きいと思うので、これからも多くのことを吸収していきたいです。

上位解法についてはコンペサイトのdiscussionにあげられているので、そちらを参考にしていただければと思います。

## おわりに

atmaCup初参加でしたが、とても楽しかったです。

参加者のレベルは初心者歓迎！かはちょっとわからないですが(笑)、

* とても丁寧な初心者講座が運営で用意されている
* discussionが活発
* 短期コンペならではの楽しさ
* つよつよkagglerの方と同じコンペに日本語で参加できる

というメリットがあるなと感じました。

特に最後のメリットが大きくて、kaggleでるのはちょっとなーと(英語面だったり、計算資源だったりが原因で)ハードルが高いと感じている人におすすめできます。

kaggleに出ることなく、一線で活躍されているつよつよの方々と同じ問題に取り組めるのはすごいいい環境だなと感じました。(ボコられますが...)

研鑽を積んでボコられないようにがんばるぞ！

最後までお読みいただきありがとうございました。

atmaCup第10回参加録とそのススメ

0 件のコメント:

コメントを投稿

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT