Azureでno space left on deviceと言われた時の対処法-ぐぐりらにっき

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。

Azureのdeep learning virtual machinesで深層学習モデルを学習させているところ、no space left on deviceとエラーがでて止まってしまいました。

エラーをよく見てみると、各エポック終了時に自動でモデルのスナップショットをファイルに吐き出すように実装していて、その出力部分でエラーが出ているとのことでした。

modelのスナップショットをファイルにしようにも容量が足りないのでできません、というエラーです。

今回はこれを受けてazureのvirtual machineにデータディスクを増やして対処したので、そのログを残しておこうと思います。

## 容量確認

```bash
df -h
```
と打つとどこの容量がどれくらい使われているのかが確認できます。

```bash
Filesystem      Size  Used Avail Use% Mounted on
udev             28G     0   28G   0% /dev
tmpfs           5.6G  9.0M  5.5G   1% /run
/dev/sda1       291G   27G  264G  10% /
tmpfs            28G     0   28G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs            28G     0   28G   0% /sys/fs/cgroup
/dev/sdc1        99G   94G     0 100% /data
/dev/sdb1       335G   67M  318G   1% /mnt
tmpfs           5.6G     0  5.6G   0% /run/user/1003
```

`/dev/sdc1        99G   94G     0 100% /data`のところをみると、100%になってて怪しそうです。とても。

ここの容量を増やしたいなと思います。

## データディスク追加

Azureのポータルに行って、起動しているVMを一旦停止し、ディスクの欄をみるとOSディスクとデータディスクが書いてあります。

OSディスクについては他の記事がありました。(最初こちらを参考にやっててはまってしまった)
ちなみにOSディスクを追加すると`/dev/sda1       291G   27G  264G  10% /`の部分が勝手に増えたので、記事と違って混乱しました。よくわかりません。

<a href="https://qiita.com/yotan/items/30c973814537ea45f452#centos%E5%81%B4%E3%81%AE%E3%82%B5%E3%82%A4%E3%82%BA%E6%8B%A1%E5%BC%B5">Azure仮想マシンのOSディスク容量を拡張する(CentOS 7編)</a>

今回自分はデータディスクの方を増やしました。
`データディスクの追加`ではなく,既存のデータディスクのサイズを大きくしました。
増やしたいデータディスクのリンクをクリックして、構成をクリックすると編集できる画面に行きます。

割り当て解除されていればサイズの部分が編集できるはずです。

ポータル側でデータディスクのサイズを増やせたら、起動したあとsshしてVMに入り、

```bash
sudo fdisk /dev/sdc
```
とします。既存のパーティションを削除して新しいサイズの大きいデータディスクを使うようにします。

commandを聞かれるのですが、

* p (今あるパーティションがみれる)
* d (削除する)
* n (新しいのを作る)
* w (終了)

だと思います。OSディスクの方を追加する前の記事も適宜参考にするといいと思います。

pとやって
```bash
Partition 1 of type Linux and of size (作ったデータディスクのサイズ) GiB is set
```

みたいになってたらwで抜けましょう。

で、一度再起動してもう一度sshして入り直す。

```bash
sudo resize2fs /dev/sdc1
```

と打っておわりです。

試しに`df -h`と打つと、先ほど100%だったところが小さくなっていることが確認できると思います。

```
Filesystem      Size  Used Avail Use% Mounted on
udev             28G     0   28G   0% /dev
tmpfs           5.6G  9.0M  5.5G   1% /run
/dev/sda1       291G   27G  264G  10% /
tmpfs            28G     0   28G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs            28G     0   28G   0% /sys/fs/cgroup
/dev/sdc1       493G   94G  378G  20% /data
/dev/sdb1       335G   67M  318G   1% /mnt
tmpfs           5.6G     0  5.6G   0% /run/user/1003
```

## おわりに

linuxの知識とかがあやふやなままなので、ちゃんと勉強したいです。コンピュータ難しい。

Azureでno space left on deviceと言われた時の対処法

0 件のコメント:

コメントを投稿

このブログを検索

POPULAR POSTS

SPONSORED LINK

RECENT POSTS

TWEETS

ARCHIVES

LABEL

CONTACT