スキップしてメインコンテンツに移動

このブログを検索

ぐぐりらにっき

ぐぐりらのりらは花の名

iTerm2をHotKeyで起動した時にフルスクリーンで重ねて表示する

- 5月 12, 2018

この記事をシェアする

Twitter
Facebook
Google+
はてブ
Pocket
Feedly

コメント

コメントを投稿

Powered by Blogger

テーマ画像の作成者: sbayram

PROFILE

ぐぐりら/@guglilac

機械学習やWebなどを勉強中.

鶏白湯ラーメンとギターが好き.

連絡はTwitterにお願いします.

Twitter : @guglilac

Follow @guglilac

POPULAR POSTS

AtCoderで水色になりました

- 3月 11, 2019

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。先日のABC121で、ようやく水色になりました。 <div class="separator" style="clear: both; text-align: center;"><a href="https://3.bp.blogspot.com/-glD5eB_KLkU/XIZlGxlQ3cI/AAAAAAAAAfw/68u-y8DmcKI1zFUeWKsMLa1qg75n1MBpQCLcBGAs/s1600/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588%2B2019-03-09%2B23.15.24.png" imageanchor="1" style="margin-left: 1em; margin-right: 1em;"><img border="0" src="https://3.bp.blogspot.com/-glD5eB_KLkU/XIZlGxlQ3cI/AAAAAAAAAfw/68u-y8DmcKI1zFUeWKsMLa1qg75n1MBpQCLcBGAs/s320/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588%2B2019-03-09%2B23.15.24.png" width="320" height="209" data-original-width="722" data-origi…

続きを読む

PythonのType Hinting(型ヒント)を使って静的型付けっぽく開発する

- 10月 11, 2018

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 <a href="http://opendata.jp.net/wordpress/wp-content/uploads/2015/08/python.png" imageanchor="1" ><img border="0" src="http://opendata.jp.net/wordpress/wp-content/uploads/2015/08/python.png" width="320" height="320" data-original-width="250" data-original-height="250" /></a> ### Type Hinting(型ヒント)とは Pythonは動的型付け言語です。動的型付け言語とは、型があっているかどうかをプログラム実行時にチェックするような言語です。対になる静的型付け言語はプログラム実行時ではなく、コンパイル時に型をチェックするような言語です。静的型付け言語の例としてはC++とかJavaとかがあります。それぞれもちろんメリットデメリットあります。動的型付け言語であれば型を気にせず自由に書いていいので、さくさく書いていけるのですが、型が違うことによるバグを見つけるのに苦労したりします。静的片付け言語であればそのようなバグが埋め込まれる危険性が少ない(型安全とかいう)のですが、いちいち型を指定した変数を定義しないといけないのでコードの量が多くなったりします。そんな動的型付け言語であるPythonに、型ヒント(Type Hinting)という機能があります。簡単に言うと、動的型付け言語であるPythonを静的片付け言語のように使うことができるのです！といってもPythonはC++のようにコンパイルを先にするわけではないので、コンパイル時に型があっているかチェックするわけではありません…

続きを読む

SentencePieceをpythonスクリプトから使ってみる

- 2月 24, 2019

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 modelの学習はコマンドラインからやるのが普通、みたいな記事をみましたが、pythonからでもできるのでそちらでやります。他の記事ではわざわざsubprocessを使ったりしていますが、普通にpythonライブラリにtrainerを用意してくれているのでありがたく使えばよいです。日本語の記事がなかったので一応書きます ### sentence pieceとは文章をいくつか区切ってそれらを機械学習モデルに食わせる、みたいなことはよくやります。 MeCabを使って形態素解析するのがよくやられる手法です。 Mecabでは対応する辞書を使って文章を分割します。辞書にはneologdとかがよく使われます。これでも上手くいくことも多いですが、語彙数が大きくなってしまうことや、分割の仕方が分割したいデータセットに適していないこともあり、問題点だったりします。分割の仕方もこれから分割する文書から学習したほうがいい気がするのはわりと直感的な気がします。 sentence pieceでは、与えた文書の中で高い頻度で現れるフレーズは、多少長くても一つの単位として認識します。逆に短いフレーズでもあまり高頻度で現れない場合はフレーズを分割し、よく出現する単位まで細かく分割します。 mecabで辞書を使って分割するとなんでも細かく分割されますが、sentence pieceではその文書ではよく使われる言い回しなどは一つの単位として認識されるようになり、よりタスクのドメインに適している分割が得られると期待できます。また、語彙数を指定することで、語彙数が膨大になることを防ぐことができます。分割したフレーズにidをふってモデルの入力とする場合には、入力の次元が語彙数になるので小さいと嬉しいです。ハフマン符号みたいです。よく現れる文字列には短い符号長を割り当てる、みたいなところが似ています。 ### インストール ```bash pip install sentencepiece ``` ### pythonスクリプトで使う importします ```pyt…

続きを読む

ガウス過程回帰入門

- 6月 07, 2019

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。最近、機械学習プロフェッショナルシリーズのガウス過程と機械学習を購入してみたのですが、とてもわかりやすくて良い本でした。 Twitterでもいい評判が流れていたのもありずっと気になっていたのですが、時間がなくてすぐには買えず、ようやく買って勉強しています。最後の方は難しそうで読めていないのですが、とりあえずガウス過程の大枠が学べたので基本的なところを自分の言葉で説明して実装することで定着させようと思います。勉強し始めたばかりなので間違っているところあればコメントください。 ### ガウス過程ガウス過程とは、なにか。というところでまず自分は昔つまづいていました。以前ネットに転がっている記事で勉強しようとした時は「ガウス過程とは無限次元のガウス分布である」とか「ガウス過程は関数上の確率分布だ」とかが最初に書いてあって、よくわかりませんでした。勉強してみて、ガウス過程とは何かと聞かれれば確かに「ガウス過程とは無限次元のガウス分布である」は理解できるのでそう書かれているのはよく分かるのですが、いきなり書かれてもわからないよ、という気持ちにもなりました。あと、ガウス過程の過程という単語は時系列の分野から生じたものですが、必ずしもインデックスは時刻を表すものではないので時刻は一旦忘れて考えてみるといいと思います。今回は導出等の細かい話はせずに、ガウス過程ではどういうことを実際にはやっているのかを書いていきたいと思います。 $x_1,\cdots, x_N$という入力データ点があり、これらに対応するモデルの出力を$f(x_1),\cdots,f(x_N)$とします。機械学習ではこの関数$f$をいい感じにデータから見つけてこよう、というのが目標になります。ガウス過程では$f(x_1),\cdots,f(x_N)$がN次元ガウス分布$N(\mu,\Sigma)$に従うとします。イメージとしては、入力$x_1,\cdots, x_N$が与えられると、それによって決まる$N(\mu,\Sigma)$から出力$f(x_1),\cdot…

続きを読む

leave-one-out cross-validation(LOOCV,一個抜き交差検証)を線形回帰モデルに

- 4月 18, 2019

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。今回は交差検証、cross validationについて書いてみます。 ### validation cross validationは、機械学習モデルの汎化性能を検証するためのもので、一般的にはK分割交差検証(K-fold cross validation)を指します。これは、訓練データセットをK分割し、一つのグループ以外の(K-1)個のかたまりでモデルを学習し、残りの一つのグループで性能を評価します。これをK回、すなわち性能評価用のデータを毎回変えながら実験し、最後にK回の性能評価を平均して最終的な出力とします。他にも、ホールドアウト検証というものもあります。これは評価用のデータは固定されていて、性能評価を平均したりはしません。交差していないので交差検証には含まれないです。検証のためのデータを学習に使えないので、K-foldよりデータを有効に使えていないイメージです。今回焦点を当てるのは一個抜き交差検証(leave-one-out cross-validation)です。これは、K-foldのKをデータ数と同じ個数にしたものと等しいです。つまり、訓練データ一つを選び、それ以外のデータで学習して最後に一つの評価データで評価します。これを全データで繰り返し行い最後に評価を平均します。データセットを無駄にせずに余すことなく使っているかんじですが、想像するとわかる通り学習に時間がかかるのが難点です。(データの個数回の学習が走るので) そのためあまり一個抜き交差検証は実用的ではありませんが、線形回帰モデル(l2正則化つきでも)だと汎化性能を解析的に求めることができます。 ### 線形回帰モデルで一個抜き交差検証線形回帰モデル(l2正則化つき)はこのようなモデルです。 $$f(x) = \sum_i^d \theta_i \phi(x_i) $$ $$\min \sum_i^n|y_i-f(x_i)|^2 + \lambda|\theta|^2$$ 一個抜き交差検証は、それぞれ一つずつデータを抜いて上のモデルを学習して、そ…

続きを読む

FlaskのDB連携(sqlite, SQLAlchemy)のやり方

- 7月 06, 2018

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 * sqlite * SQLAlchemy を使用した。 ORMとしてSQLAlchemyを使うと直にSQLを書かなくてすむのでよい。 ```python:app.py from flask_sqlalchemy import SQLAlchemy app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///"database_name".db' app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = True db = SQLAlchemy(app) ``` としてdbを通してDBにアクセスできる。これによって`datebase_name`というDBを使用するようになる。 (sqliteではhogehoge.db的なファイルでデータベースが表現される) 実際にDBを作らないといけないので、ipythonとかでインタラクティブモードに入って ``` db.create_all() ``` とすると指定したDBファイルと、それを継承したモデルに紐付いたテーブルが作成される。 modelは以下のようにかく。 `db.Model`を継承したクラスを作ることでmodelを通してDBからデータを引っ張ってこれる。 ```python:app.py class User(db.Model): id = db.Column(db.Integer, primary_key=True) username = db.Column(db.String(80), unique=True) def __init__(self, username): self.username = username ``` データとってくるのはこんな感じ。 ``` User.query.all() ``` データを入れるときはこんな感じ ``` # hoge ユーザオブジェクトを作成 user = User…

続きを読む

大きな数の組み合わせを1000000007で割った余りを計算する方法

- 10月 03, 2018

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。大きな数の組み合わせの10^9+7で割ったあまりを求めたくなることってありますよね(唐突) M=10^9+7とします $x={}_n C _r \ mod\ M$ の、nとかrが大きい場合。 ${}_n C _r=\frac{n!}{r!(n-r)!}$ であり、nとかrが大きい数の場合にはこれを計算したあとにMで割ったあまりを求めようとしてもオーバーフローしてしまうためにそもそも組み合わせ自体が計算できません。でもどうにかしてxを求めたい。そういう場面で使える方法についての話。 ### とりあえずやってみる普通に分母がなくて、なにか大きい数の階乗のmodを計算したい場合は簡単で、 ```c int a=1; for (size_t i = 1; i <= N; i++) { a = (a * i) % M; } ``` みたいに一個ずつかけたらMで割ることを繰り返せばオーバーフローしないで済みます。これができるのは、合同式が積については計算可能であることが背景にあります。つまり mod Mに対して $a \equiv b$、$c \equiv d$であれば$ac \equiv bd$が成り立つことが裏にあります。これにより、全て掛け合わせたあとにあまりを出さなくても、階乗の途中でmodを計算してもいい、ということになります。今回難しいのは、組み合わせの式には分母にも数字が来ることです。分母の数字も同様にmodを計算して、その数でさっき求めた分子の合同式での値を割ればいいのでは、と思われるかもしれません。ですが、これは誤りです。合同式は割り算に対しては上手く計算できません。 ### 割り算を掛け算に変換合同式は割り算が苦手なので、掛け算に直してしまう方法が解決策となります。 M=10^9+7は素数なので、フェルマーの小定理を用いることでこれが実現できます。 >[フェルマーの小定理] >pを素数とすると、以下の合同式がなりたつ。 > $a^{p-1}\equiv 1\ …

続きを読む

KerasのCNNで使うpaddingのめも

- 12月 08, 2017

こんにちは、ぐぐりら(@guglilac)です。
プログラミングの記事の記念すべき初投稿！

まずはお試しということで、deep learningのフレームワークであるkerasを使ってて疑問に思ったことをサクッとめもる記事。

paddingとは
CNNで出てくるレイヤーは畳み込み層(convolution layer)とプーリング層(pooling layer)などがありますが、どっちにもpaddingを設定できるとこがあります。

ちなみにpaddingとは、畳み込みやプーリングを行う際に入力の周辺を0で埋めてやることを言います。

paddingする利点はこんなかんじ。

入力の端に存在する要素のたたみ込まれる回数が増えるので端の情報をより拾うようになるデータの大きさをある程度保持できる(小さくなりすぎるのを防ぐ)
padding=sameってなにがsameなんじゃ
って思ったのでドキュメント読んでみました。

すると、Conv1dレイヤーの説明にちょこっと

"same"は元の入力と同じ長さを出力がもつように入力にパディングします．

との文言が。
なるほど、入出力が同じ大きさになるからsameなのかー

でも、自分で書いてみたときpoolingレイヤーでpadding=sameにしたのに同じ大きさにならなかったんだよなあ。だからこの記事書き始めたというわけなので、このままでは納得できません。

paddingの説明が腑に落ちず他にも調べてみたらこんな記事を見つけました。
kerasではなくTensorFlowの記事ですがだいたい同じ。なはず。

Tensorflow - padding = VALID/SAMEの違いについて

この記事を参考に、padding=sameの意味を自分の言葉で説明すると

padding=sameにすると、入力の大きさをstridesの大きさで単純に割ったものが出力の大きさになります。

stridesとは、convolutionやpoolingに使うフィルターをどのくらいの幅で動かしていくかという移動量のこと。

ということは原因はstridesにありそう！と思い自分のコードを見ると、なぜかstridesを指定していない！！笑

ドキュメントのstridesの欄をみてみるとわかり
stridesのデフォルトの値の決め方がconvとpo…

続きを読む

AtCoderで使えるコード自動テストツールを作った

- 9月 30, 2018

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 <a href="https://pbs.twimg.com/profile_images/378800000000403108/c8cfcb35c76ca5fc55fc2dc680685e8c_400x400.png" imageanchor="1" ><img border="0" src="https://pbs.twimg.com/profile_images/378800000000403108/c8cfcb35c76ca5fc55fc2dc680685e8c_400x400.png" width="320" height="320" data-original-width="400" data-original-height="400" /></a> Atcoderを初めて、4ヶ月ぐらい経ちました。あんまり上達してないのでモチベが下がってきてはいますが、まあ気長にこつこつ進めていこうと思います。始めたころに、atcoderやる上でだるいなーと思った処理を自動化するコードを書きました。 <a href="http://www.smartbowwow.com/2018/05/atcoder.html">AtCoderを始めてみて面倒に感じた作業をシェルスクリプトにしてみた</a> 今回はこの続き。他の面倒な処理を自動化するお話です。 4ヶ月間、不便だなーと思いながらもサンプルケースをサイトからコピーしてきて、自分の入力用のファイルに貼り付け、一つ一つ実行して答えがあっているかを目視で確認してきました。これ、一発でできそうだしツール作っちゃいたいなーと思ってはいたのですが、なにしろ飽きっぽい性格なのでatcoderいつやめるかもわからず、作るだけ作って放置しそうで作れずにいました。まあ4ヶ月続いたしそろそろ作っ…

続きを読む

多腕バンディット問題を解説してPythonで実験してみた

- 8月 02, 2018

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 ### 多腕バンディット問題とはスロットマシーンで遊ぶことを考えます。スロットマシーンがあなたの前にいくつかあることを考えましょう。(5ことか10ことか) あなたは、決められた回数分(10000回とか)だけこのスロットマシーンをプレイすることができます。スロットマシーンが当たる確率はスロットごとに異なります。どのスロットも、当たれば1円儲かり、外れれば何ももらえません。なので、当たる確率が一番高いスロットを決められた回数分ずーっとプレイし続けるのが一番儲かりますね。しかし、問題があります。あなたは、各スロットマシーンの当たる確率がわかりません。いくつかスロットをプレイすることを通じて、当たりやすいスロットを見つけていくことが必要です。ここで、これまで得られた結果から一番良さそうなスロットばかりプレイしていると、他のスロットの中にあるかもしれない一番当たりがでるスロットを見逃してしまいます。逆に、一番良いスロットを探すために悪いスロットばかりプレイしてしまうのも、最終的な儲けが小さくなってしまいます。多腕バンディット問題とは、この * 最適なスロットを探すためにいろんなスロットをプレイしてみる(探索) * これまでの結果から最適と思われるスロットをプレイする(活用) のバランスをうまくとることができるアルゴリズムを提案して、最終的な報酬を大きくしようぜ、という問題です。探索と活用という単語はこの分野で良く出てくるので、頭に入れて読んでもらえると嬉しいです。また、このスロット一台一台のことをアームと呼びます。アームは腕、ですね。なので多腕バンディット問題です。バンディットはスロット的な何かだったと思います。今後はスロットではなくアームという単語を使っていきます。 <div class="separator" style="clear: both; text-align: center;"><a href="http://www.casino7-online.ne…

続きを読む

RECENT POSTS

SPONSORED LINK

TWEETS

Tweets by guglilac

ARCHIVES

2020 15
- 5月 3
- 4月 3
- 3月 4
- 2月 2
- 1月 3

2019 70
- 12月 5
- 11月 1
- 10月 6
- 9月 4
- 7月 6
- 6月 10
- 5月 6
- 4月 7
- 3月 9
- 2月 9
- 1月 7
2018 50
2017 11
- 12月 6
- 11月 5

もっと見る一部のみ表示

LABEL

プログラミング78 機械学習62 Python57 論文紹介35 深層学習21 競技プログラミング20 読書14 Factorization Machines12 振り返り9 Flask7

C++6 大学生活6 数学6 自然言語処理6 Keras5 Shell Script5 邦ロック4 Atom3 React3 bash3 linux3 terminal3 インターン3 ギター3 学生3 雑記3 Azure2 Heroku2 git2 pytorch2 ブログ2 理系2 Blogger1 GitHub Pages1 Hugo1 MySQL1 PostgreSQL1 luigi1 まとめ1 バンディット1 健康1 小説1 異常検知1 経済1 統計学1 資格1

もっと見る一部のみ表示

CONTACT

名前

メール *

メッセージ *