PyTorch v0.4での変更点

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 <div class="separator" style="clear: both; text-align: center;"><a href="https://i2.wp.com/hacks.deeplearning.jp/wp-content/uploads/2017/10/21003710.png?fit=200%2C200&ssl=1" imageanchor="1" style="margin-left: 1em; margin-right: 1em;"><img border="0" src="https://i2.wp.com/hacks.deeplearning.jp/wp-content/uploads/2017/10/21003710.png?fit=200%2C200&ssl=1" width="320" height="320" data-original-width="200" data-original-height="200" /></a></div> Pytrochをちょうど使い始めたときにバージョンが0.4に上がっていろいろ変わったので、勉強したことをまとめました。 バージョンがまだ小さいので変更点も大きなものが多いため、ちゃんとキャッチアップしていかないとですね。 変更点を全て書いているわけではないのであしからず。 ### tensorとvariable 今までふたつの型があった. Tensor:計算グラフ(勾配情報)を保持しないもの Variable:計算グラフを保持するもの 0.4になるときにこれらは統合された。 Tensor型に`requires_grad`という値が追加された。 `requires_grad=true`が今までのvariable型に相当する感じかな。 defaultのtensor型は`requires_grad`がfalseになっている。 variable型からtensor型を取り出す際は ```python hoge_tensor=hoge_variable.detach() ``` とする。(hoge_variableは`requires_grad=true`であるtensor) `.data`としても取出せるぽいけど、backwardの計算の時にやばいことになりかねないとか書いてあるから 大人しく`.detach()`を使ったほうがいいのかな。 ### 0次元テンソル v0.4になって、ゼロ次元テンソルが追加された。 ゼロ次元テンソルはいわゆるスカラのことで、lossとかを表す。 lossはvariableで返ってきて、そこから値(tensor)を取り出す際に今までは ``` loss.data[0] ``` としていた。 .dataでtensor()を取り出し、その一番目の要素を取りだす、という方法.(今まではスカラは長さが1のtensorで代用していた) 0.4では、こうする。 ``` loss.item() ``` ### GPUの使い方 ```python x = x.to("cuda")#xはtensor model = model.to("cuda")# modelも ``` ### volatile 推論時は順伝搬しかしないから計算グラフを作る必要はない。 以前まではvariableで包む時に`volatile`オプションで計算グラフをつくらないように指定したけど、 variableなくなったから以下のようにして止める。 ``` with torch.no_grad(): # withの中で計算グラフを作りたくない演算を実行 y = x**2 ``` ### 結局 modelの入力データは普通のtensorでいい。 教師ラベルも普通のtensorでいい。(`requires_grad=true`にしないでいい。) modelに入力して得られる出力は`requires_grad=true`であるtensor(つまり今まででいうvariable)が返ってくる. から、必要な処理としてはvariableからtensorを得る方法だけわかってれば大丈夫

この記事をシェアする

• 
  Twitter
• 
  Facebook
• 
  Google+
• B!
  はてブ
• 
  Pocket
• 
  Feedly