自作AtCoderツールをリファクタリングした-ぐぐりらにっき

AtCoderを始めてみて面倒に感じた作業をシェルスクリプトにしてみた AtCoderで使えるコード自動テストツールを作った

やったこととしては

* 指定したコンテストのディレクトリと雛形コードを作ってくれる
* サンプルケースを取得してきて自分のコードを手元でテストする
* すべてサンプルを通っていたら自動で提出する

という機能を実装しました。

が

最初はpythonだけで競技プログラミングをしていましたが、C++に手を出したり他の言語で書いてみたりすることもあり、その度にコードをコピーして言語によるところだけ書き換えて、、、としていてとてもイケていませんでした。

* 人様に見せられる最低限のコードにしたい
* 今後対応する言語を増やす際に簡単に増やしたい
* 自動提出するかどうかもオプションとして指定したい

などなどいろんなお気持ちが重なったので、リファクタリングするに至りました。

あと、最近研究でデータパイプライン構築でluigiを使う機会があり、せっかくだしAtCoderツールにも導入したい！と思ったのも動機の一つです。

## 改修前

改修前は、以前記事に書いた通り、サンプルケースをスクレイピングする部分やコードをテストする部分、提出する部分をpythonで書いていて、それらをシェルスクリプトで動かしていました。

ただ、それぞれ引数はargparseを使ってもなくてとても分かりづらかったり、そもそも言語の情報は引数になくすべてベタ書き(提出時に言語のidを与える必要があったり、実行するコマンドがそもそも言語によって異なる)だったので、ひどいものです。

まずはそれらをすべてクラスに分けていくところから始めました。

## クラスにかき分け
分けたクラスは基本的に`lib/tools`の中に置いておきました。

* generator(雛形ファイルを作成)
* scraper(サンプルをスクレイピングしてくる)
* executor(提出コードをサンプルに対して実行)
* tester(答えとexecutorの出力があっているかを確認)
* submitter(提出するひと)

この辺りはもともと割と書いてあったのでそこまで辛くなかったです。

基本的には以前書いた記事に書いてある通りです。

## executor

今回の差分として & つまったところとして、`executor`があります。
前回はシェルスクリプトで直接コードを実行してサンプルケースに対する出力を得ることができていました。

今回は、全てpythonの中でコード実行まで行って欲しいので、`subprocess`モジュールを使います。
これでpythonの中からコマンドを実行することができます。

基本的にはそこまで難しいものでもなく、

```python
import subprocess
from pathlib import Path
p = subprocess.Popen("python hoge.py".split(),
                     stdin=subprocess.PIPE, stdout=subprocess.PIPE)

data="標準入力にいれたい入力だよ"
out = p.communicate(data)[0] # index1はerr

print(out)
```

のようにすると、`python hoge.py`コマンドを実行してくれます。
`hoge.py`に標準入力からデータを与えたい場合があります。AtCoderなど競技プログラミングはこのケースにあたりますね。

サンプルケースを`input.txt`のようなファイルに保存して、`python hoge.py < input.txt`というコマンドをsubprocessに与えてあげてもいいのですが、今回スクレイピングしてきたサンプルケースは一つのファイルに保存しておきたかった(luigiの関係。後述します)ので、今回のように文字列として与えてやります。

ここまで簡単そうなのですが、はまりました。

標準入力に流し込むときにdataをencodeしないと
```
TypeError: memoryview: a bytes-like object is required, not "str"

```
ってでて、EOFerrorになります。

ちゃんと標準入力に流し込むときにencodeして、標準出力としてかえってきたものをdecodeすると、いいかんじになります。
こんなかんじ。

```python
out = p.communicate(data.encode())[0] # index1はerr

print(out.decode())
```

## luigiの概要

luigiの話も少ししたいのでします。

luigiは、データ処理の流れを管理するのによく使われるツールです。

データサイエンスとかやるときには、
* データの取得
* 前処理
* モデルの訓練
* モデルの評価

などの工程があり、それぞれ前の工程に依存しています。
データの前処理はデータの取得が終わってからでないとできませんし、モデルの評価はモデルの学習が終わらないとできません。
この辺りを真面目に書こうとすると、それぞれ依存したタスクが終わったかどうかを確認してから次のタスクを行う、みたいな処理をする必要があり、面倒です。

途中である処理が落ちた時に復旧するのにも、また最初からやるのはめんどうです。

その煩わしさを解消するのがluigiで、タスク同士の依存関係を書いておくと、うまい感じに処理してくれます。

具体的には、実行したいタスクが依存しているタスクが実行済みかどうかを自動で確認してくれます。

依存タスクを再帰的に辿って行って、未完了のタスクの末端まで行ったらそこからタスクを順に実行してくれます。
便利。

## luigiでリファクタリング
このデータパイプライン管理に使われるluigiをつかってリファクタリングしました。

(この程度の依存関係ならluigiで書かなくてもいい気がしますが、、、)

サンプルケースを取得するのは一度やればいいので、実行済みだったらテストと提出だけしてくれればいいよね、という気持ち。

```python
"""Luigi tasks"""
import luigi
from luigi.util import requires
from lib.tools import Scraper, Submitter, Tester
import json
from lib.lang_params import params
from pathlib import Path

class ScrapeTask(luigi.Task):
    level = luigi.Parameter()
    rnd = luigi.IntParameter()
    prob = luigi.Parameter()
    src_dir = luigi.Parameter()
    username = luigi.Parameter()
    password = luigi.Parameter()

def requires(self):
        return

def output(self):
        return luigi.LocalTarget(f"{self.src_dir}/{self.level}/{self.rnd:03d}/samples/sample_{self.prob}.json")

def run(self):
        s = Scraper(self.username, self.password)
        samples = s.scrape(self.level, self.rnd, self.prob)
        with self.output().open("w") as f:
            json.dump(samples, f, indent=4)

@requires(ScrapeTask)
class TestTask(luigi.Task):
    is_done = False
    lang = luigi.Parameter()

def run(self):
        extension = params[self.lang]["extension"]
        source_path = f"{self.src_dir}/{self.level}/{self.rnd:03d}/{self.lang}/code_{self.prob}.{extension}"
        with self.input().open("r") as f:
            samples = json.load(f)
        inputs = [sample["input"] for sample in samples]
        answers = [sample["answer"] for sample in samples]
        executor = params[self.lang]["executor"]
        outputs = executor.run(source_path, inputs)
        tester = Tester()
        all_passed = tester.run(outputs, answers)
        if all_passed:
            self.is_done = True
        else:
            raise Exception("There exists some samples which doesn't pass.")

def complete(self):
        return self.is_done

@requires(TestTask)
class SubmitTask(luigi.Task):
    is_done = False

def run(self):
        extension = params[self.lang]["extension"]
        lang_id = params[self.lang]["id"]
        submitter = Submitter(self.username, self.password)
        submitter.submit(Path(self.src_dir), self.level, self.rnd,
                         self.prob, self.lang, extension, lang_id)
        self.is_done = True

def complete(self):
        return self.is_done

class CodeGenerateTask(luigi.Task):
    is_done = False
    lang = luigi.Parameter()
    level = luigi.Parameter()
    rnd = luigi.IntParameter()
    src_dir = luigi.Parameter()

def requires(self):
        return

def run(self):
        generator = params[self.lang]["generator"]
        generator.run(Path(self.src_dir), self.level, self.rnd)
        self.is_done = True

def complete(self):
        return self.is_done

```

詳しいluigiの書き方は他の記事を見てみてください。
いつか自分も書こうと思います。

`CodeGenerateTask`は何にも依存していないのでluigiで書く必要もないのですが、同じところにまとめたかったのと、いつか他の処理があらわれるかも、という気持ちでここに残してあります。

## 言語情報

こんな辞書で管理しています。
新しい言語を入れたかったらここに。(あとexecutorとgeneratorの具象クラスを書く)
 ```python
 params = {
    "python": {
        "id": 3023,
        "extension": "py",
        "executor": PythonExecutor(),
        "generator": PythonCodeGenerator()
    },
    "cpp": {
        "id": 3003,
        "extension": "cpp",
        "executor": CppExecutor(),
        "generator": CppCodeGenerator()
    },
}

```

## おまけ

既存のコードを新しいディレクトリ構成に移す作業に使った使い捨てお引越しコード

```python
from pathlib import Path
dir_path = Path("cpp/ABC")

for p in dir_path.glob("*/abc*.cpp"):
    rnd = str(p.parent)[-3:]
    prob = str(p)[-5].lower()
    to_path = Path(f"src/abc/{rnd}/cpp/code_{prob}.cpp")
    to_path.parent.mkdir(exist_ok=True, parents=True)
    data = p.read_text()
    to_path.write_text(data)

```

自作AtCoderツールをリファクタリングした

0 件のコメント:

コメントを投稿

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT