Nishika 中古マンション価格予測 2022春の部 3rd Prize Solution-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

先日、Nishikaの中古マンション価格予測コンペの2022年春の部に参加し、419人中3位で入賞することができたので、今回は本コンペ中に取り組んだ内容や、今回のコンペでも使っていた最近作っていたコンペ用の自作ライブラリの軽い紹介をしようと思います。
  
<div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhovcijaN8OoJvxN0w-AEWlWSvTZr42_weg788v1Q5c4wcYmjf5tFX9y2roYpIGEAvG-k-TGY27NM4_AeAxtYDQw4oUSa7l4If9RgNSlSc9j863yNHB3fbppCeFxZjfFYV-HXDDP9yv0eZsETioXx84JXL-7Sdds9pgRGpQWj1CNGLh4FUb1zVhUqXIMA/s882/nishika_house_price_prize.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="600" data-original-height="288" data-original-width="882" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhovcijaN8OoJvxN0w-AEWlWSvTZr42_weg788v1Q5c4wcYmjf5tFX9y2roYpIGEAvG-k-TGY27NM4_AeAxtYDQw4oUSa7l4If9RgNSlSc9j863yNHB3fbppCeFxZjfFYV-HXDDP9yv0eZsETioXx84JXL-7Sdds9pgRGpQWj1CNGLh4FUb1zVhUqXIMA/s600/nishika_house_price_prize.png"/></a></div>

[Nishika - データ分析コンペティションを、日本の当たり前に。](https://www.nishika.com/competitions/28/summary)

定期開催のコンペなので、今後開催される中古マンション価格予測コンペに参加される方がこの記事を参考によりよい解法にチャレンジしていただけると嬉しいです。

## 賞品ゲットだぜ

本コンペはNishikaによって定期開催されている、中古マンションの価格を予測する回帰問題を解くコンペで、メダルや賞金は出ませんが賞品がもらえます。

3位の賞品は

3位：Nishikaロゴ入り賞品4点
（トート、クリアファイル、ステッカー）

でした！
  
  <div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjZFZmtH7iM7Xnce0Mf0o-hDkSo4zV7P6uPtEf4eg_1iMtiDeDDCMc4JDFGmI-OD8QCtVH1JqPCYfXYCrV0gPDWhon3Rp8VurA5qr6fFk0TZ_pNgsPfIue7wc-HApx7lg1MkgKjVyoAzDHlDTNuUbdgRaA5382eAugj3Zs6rxw724SpZQO_Jt14N6ag2A/s1478/nishika_prize.jpg" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="600" data-original-height="1108" data-original-width="1478" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjZFZmtH7iM7Xnce0Mf0o-hDkSo4zV7P6uPtEf4eg_1iMtiDeDDCMc4JDFGmI-OD8QCtVH1JqPCYfXYCrV0gPDWhon3Rp8VurA5qr6fFk0TZ_pNgsPfIue7wc-HApx7lg1MkgKjVyoAzDHlDTNuUbdgRaA5382eAugj3Zs6rxw724SpZQO_Jt14N6ag2A/s600/nishika_prize.jpg"/></a></div>

入賞してコードを提出するのも賞品をもらうのも初めてなので、提出物を作るときに少し手間取りましたがいい経験になりました。

## 解法概要

今回自分が試したアイデアのうち、予測に効いたものはこちらです。

* 集約特徴量(数値特徴量についてオリジナルと、logとったもの)
* 集約特徴量の差分/比率を再度集約したもの
* cityについてlayoutを結合して文章とみなしLDAにかけベクトル表現
* target encoding
* 目的変数の変更
  * target-log(area+1)に対して予測する(diffモデル)
* オリジナルlgbm_maeとそのdiffモデルを用いてseed averaging

大きく分けて特徴量、目的変数の変更の二つがあります。
なお、本記事では特徴量名を全部自分の方で英語に置き換えたもので書くのでよしなに読み取ってください。

特徴量については、集約特徴量とtarget encoding, layoutを結合してcityについて文章と見做してLDAにかけてcityをベクトル表現したもの、
モデル側はLightGBMをベースに、目的変数の変更を行いました。

### 特徴量

集約特徴量は、そのまま数値特徴量を集約するタイプと、logをとってから集約するタイプの二種類を試しました。

木モデルを使っている場合、特徴量自体のスケールは関係なく大小関係だけが予測に影響しますが、集約したり、その集約後の数値と元の数値の差や比を取る処理をするとlogをとることに意味が出てきます。

集約のキーにしたのはcity,district,nearest_staで、集約する特徴量は

```
- built_year_seireki
- area
- nearest_min
- age
- area_log
- nearest_min_log
- age_log
```

を用いました。

上4つはそのままの値を、下三つはlogをとった物になります。
built_year_seireki以外のarea, nearest_min, ageはヒストグラムを書くとかなり歪んだ分布となっていたため、logをとって正規分布に近い形にして集約するものも試したという流れです。

logをとる前ととった後のどちらも予測に効いていました。

集約関数は平均だけで、他にも試した気がしますがあまり変わりませんでした。

集約を一段噛ませた特徴量だけでなく、集約した値とオリジナルの値の差や比率をもう一回集約する、という特徴量も少しですが精度向上に貢献していました。

```
group_key: district
input_cols:
- built_year_seireki
- area_log
- nearest_min_log
```
色々試しましたがこの設定に落ち着きました。

target encodingは

```
- nearest_sta
- district
```
にかけました。

> cityについてlayoutを結合して文章とみなしLDAにかけベクトル表現

というのは、city(町の名前)ごとにどんなlayout(間取り)の物件が多いのかを用いたベクトル表現を得るということを意図した特徴量で、
例えば1Rや1Kが多ければ単身者用、広い間取りが多ければ家族用、みたいなことを表現しようとしています。

cityごとにlayoutのカラムを持ってきて結合して各間取りを単語と見做してLDAにかけて5次元のベクトルを得て元のcityとjoinする、みたいなことをしています。

こちらも大きくはありませんが精度の向上が見られました。

### 目的変数の変更

モデル側は先述の通りLightGBMをベースにしていて、評価指標がMAEのコンペだったのでそれに対応したlossを指定しました。

目的変数としては、まずは素直に価格を目的変数にしたモデルを作っていましたが、コンペ終盤で単位面積あたりの価格を予測して後処理で面積をかけて最終予測にするモデル(diffモデル)を試したところ、少し精度が改善しました。

今回予測する対象が既に価格のlogをとったものになっていたため、areaで割るのではなくareaの対数をとって本来予測したい値からarea_logを引いたものを予測するようにしました。

このようにすることで単位面積あたりの価格のlogをとったものを予測するモデルを学習するようになります。
この`単位面積あたりの価格のlogをとったもの`がもとの目的変数よりも正規分布に近くて予測しやすいかな、と考えてこのアイデアを試しました。

実はこのアイデアは以前の別のコンペでも試したことがあり、後述する自作ライブラリに移植してすぐ使えるようにしたいなという理由もあって試したのですが、改善につながってよかったです。

詳しくはこちらの記事に書いていますので、よろしければどうぞ！

ProbSpace 論文被引用数予測コンペ 6th Solution

### バリデーション

Cross Validationは、orderedをキーとしてGroupKFoldにしました。

trainとtestの分割が、testには最新二期分のデータが入っていて、trainにはそれ以前のデータが入っているという設定でした。

時系列と見做した場合、自分の方法だと未来のデータを使って過去の家賃を予測していることにもなり得ますが、あまり時系列性がなさそうで、CVとLBもほぼ綺麗に相関していたのでこのCVを採用しました。

個人的に時系列のときのCVの作り方でout of foldの計算が全データにできる方法がなく、積極的に時系列データのコンペに出たくないなあという気持ちになっています。
普通のCVであればあるfoldに対する予測値は他のfoldで作ったモデルの予測値を入れると思うのですが、時系列のときのCVの切り方によってはoofが綺麗に計算できず、スタッキングなどを用いることができないのでは...?という悩みを持っています。この辺り、みなさんどうしているのでしょうか？

## 自作ライブラリ

今回のコンペに参加した動機として、自分で作っているデータ分析コンペ用のライブラリを実戦で使ってみてどれくらい実用に耐えうるかを検証したい、いまいちな点を見つけて改善していきたいといったものがありました。

過去のコンペでもこのような取り組みはしていたのですが、自分で納得できるものができておらず、毎回途中の段階でコードが汚くなっていったのですが、今回のコンペの前に一度これまでに作ったコードをまとめて整理したのもあり、実戦で試運転してみようと思い立ちコンペに参加しました。

中身はまだまだなのでざっくりとした紹介にとどめるのですが、次のような機能を実装しています。

* モデルやCV
* アンサンブル/スタッキング
* 実験管理
* 特徴量生成/管理

まずユーザー目線で言うと、実験は全てyamlファイルに実験設定を書いて、コマンドを叩くだけでCVの計算やテストデータへの予測、アンサンブルまで全部やってくれます。

例えば、上の解法概要で説明した特徴量を書いたyamlは

```yaml
features_settings:
  - model_str: group
    params:
      group_keys:
      - city
      - district
      - nearest_sta
      agg_func_list:
      - mean
      input_cols:
      - built_year_seireki
      - area
      - nearest_min
      - age
      - area_log
      - nearest_min_log
      - age_log
  - model_str: cat_lda
    params:
      main_col: city
      sub_col: layout
      num_topics: 5
  - model_str: diff_group
    params:
      group_key: district
      input_cols:
      - built_year_seireki
      - area_log
      - nearest_min_log
```

となります。

これを書いてコマンドを叩くだけで上で説明した特徴量が作れます。

モデルやCV、アンサンブルについても同様に同じyamlファイルに設定を書くことで実験設定を指定できます。

上で紹介したCVについてはこんな感じ。

```yaml
folds_gen_str: group
group_key_col: ordered
```

このyamlファイルを元にした実験によって得られる結果を同じファイル名のjsonファイルに出力するようにして、それらのjsonファイルを読んでCVの値を一覧にして表示するコマンドも用意しているので、どの実験がどのCVだったのかが一目瞭然になり快適です。

ここまでで上三つについて説明したので、4つ目の特徴量生成と管理の機能についても触れておきます。

特徴量生成における問題のうち、一度計算した特徴量を再利用することを目指した機能になっています。

特徴量の生成にもパラメータがありますが、それらからハッシュ値を計算し、生成したハッシュ値をファイル名にしてfeather形式で保存します。
特徴量を生成する際は、まず自分のハッシュ値を計算して、該当する計算済みの特徴量があるかを指定したディレクトリから探してあればloadし、なければ新規に生成することで再計算を防ぐ仕組みになっています。

単純な特徴量生成であれば比較的簡単なのですが、他の特徴量に依存した特徴量についてもこの機構を取り入れようとすると意外と難しく(依存する特徴量生成クラスのハッシュ値を含めて後段の特徴量のハッシュ値を計算する、などの工夫が必要)、なかなか面白い実装の題材になると思います。

いろいろ書きましたが、まだまだ足りない機能はあるものの実戦でも十分使えたのでよかったです。

基本的にはテーブルデータの回帰、分類問題に対しては汎用的に使えるので、今後も他のコンペに使っていって改善していきたいと考えています。

## おわりに

本記事では、Nishikaの中古マンション価格予測コンペの2022年春の部の3位解法と、自作ライブラリの軽い紹介を行いました。

コンペ終了後に審査のために提出したコードのチェックをしてくださった方とヒアリング的なものがあったのですが、ライブラリの実装が綺麗と言っていただけたのがとても嬉しかったです。

自分は大学生の頃にちょこっとWeb開発のアルバイトをしていた以外には基本的にデータサイエンティストとしてしか働いたことはないのですが、大学院の頃働いていたアルバイト先で指導してくださった方の影響もあり、実験を取り回ししやすいコードを書くようにという意識を持てています。

少しずつではありますが、そのように意識的に取り組んできたものが結実してきているというのはやはり嬉しいものですね。

今後もデータサイエンティストという肩書きではありつつも、あくまでデータサイエンスという領域に強みを持つソフトウェアエンジニアのような意識を持って楽しく精進していきたいと思っています。

最後まで読んでいただきありがとうございました！

Nishika 中古マンション価格予測 2022春の部 3rd Prize Solution

0 件のコメント:

コメントを投稿

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT