スキップしてメインコンテンツに移動

このブログを検索

ぐぐりらにっき

ぐぐりらのりらは花の名

iTerm2をHotKeyで起動した時にフルスクリーンで重ねて表示する

- 5月 12, 2018

この記事をシェアする

Twitter
Facebook
Google+
はてブ
Pocket
Feedly

コメント

コメントを投稿

Powered by Blogger

テーマ画像の作成者: sbayram

PROFILE

ぐぐりら/@guglilac

機械学習やWebなどを勉強中.

鶏白湯ラーメンとギターが好き.

連絡はTwitterにお願いします.

Follow @guglilac

POPULAR POSTS

AtCoderで水色になりました

- 3月 11, 2019

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。先日のABC121で、ようやく水色になりました。 <div class="separator" style="clear: both; text-align: center;"><a href="https://3.bp.blogspot.com/-glD5eB_KLkU/XIZlGxlQ3cI/AAAAAAAAAfw/68u-y8DmcKI1zFUeWKsMLa1qg75n1MBpQCLcBGAs/s1600/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588%2B2019-03-09%2B23.15.24.png" imageanchor="1" style="margin-left: 1em; margin-right: 1em;"><img border="0" src="https://3.bp.blogspot.com/-glD5eB_KLkU/XIZlGxlQ3cI/AAAAAAAAAfw/68u-y8DmcKI1zFUeWKsMLa1qg75n1MBpQCLcBGAs/s320/%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AA%25E3%2583%25BC%25E3%2583%25B3%25E3%2582%25B7%25E3%2583%25A7%25E3%2583%2583%25E3%2583%2588%2B2019-03-09%2B23.15.24.png" width="320" height="209" data-original-width="722" data-origin

続きを読む

PythonのType Hinting(型ヒント)を使って静的型付けっぽく開発する

- 10月 11, 2018

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 <a href="http://opendata.jp.net/wordpress/wp-content/uploads/2015/08/python.png" imageanchor="1" ><img border="0" src="http://opendata.jp.net/wordpress/wp-content/uploads/2015/08/python.png" width="320" height="320" data-original-width="250" data-original-height="250" /></a> ## Type Hinting(型ヒント)とは Pythonは動的型付け言語です。動的型付け言語とは、型があっているかどうかをプログラム実行時にチェックするような言語です。対になる静的型付け言語はプログラム実行時ではなく、コンパイル時に型をチェックするような言語です。静的型付け言語の例としてはC++とかJavaとかがあります。それぞれもちろんメリットデメリットあります。動的型付け言語であれば型を気にせず自由に書いていいので、さくさく書いていけるのですが、型が違うことによるバグを見つけるのに苦労したりします。静的片付け言語であればそのようなバグが埋め込まれる危険性が少ない(型安全とかいう)のですが、いちいち型を指定した変数を定義しないといけないのでコードの量が多くなったりします。そんな動的型付け言語であるPythonに、型ヒント(Type Hinting)という機能があります。簡単に言うと、動的型付け言語であるPythonを静的片付け言語のように使うことができるのです！といってもPythonはC++のようにコンパイルを先にするわけではないので、コンパイル時に型があっているかチェックするわけではありません。

続きを読む

ガウス過程回帰入門

- 6月 07, 2019

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。最近、機械学習プロフェッショナルシリーズのガウス過程と機械学習を購入してみたのですが、とてもわかりやすくて良い本でした。 Twitterでもいい評判が流れていたのもありずっと気になっていたのですが、時間がなくてすぐには買えず、ようやく買って勉強しています。最後の方は難しそうで読めていないのですが、とりあえずガウス過程の大枠が学べたので基本的なところを自分の言葉で説明して実装することで定着させようと思います。勉強し始めたばかりなので間違っているところあればコメントください。 ## ガウス過程ガウス過程とは、なにか。というところでまず自分は昔つまづいていました。以前ネットに転がっている記事で勉強しようとした時は「ガウス過程とは無限次元のガウス分布である」とか「ガウス過程は関数上の確率分布だ」とかが最初に書いてあって、よくわかりませんでした。勉強してみて、ガウス過程とは何かと聞かれれば確かに「ガウス過程とは無限次元のガウス分布である」は理解できるのでそう書かれているのはよく分かるのですが、いきなり書かれてもわからないよ、という気持ちにもなりました。あと、ガウス過程の過程という単語は時系列の分野から生じたものですが、必ずしもインデックスは時刻を表すものではないので時刻は一旦忘れて考えてみるといいと思います。今回は導出等の細かい話はせずに、ガウス過程ではどういうことを実際にはやっているのかを書いていきたいと思います。 $x_1,\cdots, x_N$という入力データ点があり、これらに対応するモデルの出力を$f(x_1),\cdots,f(x_N)$とします。機械学習ではこの関数$f$をいい感じにデータから見つけてこよう、というのが目標になります。ガウス過程では$f(x_1),\cdots,f(x_N)$がN次元ガウス分布$N(\mu,\Sigma)$に従うとします。イメージとしては、入力$x_1,\cdots, x_N$が与えられると、それによって決まる$N(\mu,\Sigma)$から出力$f(x_1),\cdots,

続きを読む

うなぎの小骨が喉に刺さってまじでしんどかったので耳鼻咽頭科行ってきた

- 3月 19, 2018

こんにちは、ぐぐりら( @guglilac )です。今日は、うなぎのおはなし。はじまりはじまり。 1日目刺さる全てはここから始まった、、、とても美味しかったのに。うまいうまいってうなぎを頬張っていたら、小骨が喉に。いつもだったら小骨ぐらいどうにかなるしと思って食べ進めるも、違和感が消えず。まさか刺さってしまったのか、、、と考え始めるとせっかくのうなぎの味もわからなくなってきて。 2重に悲しい。一応完食はしたものの、気分は晴れず。食べ終わっても喉がちくちくしていました。やってしまった。はあ。この時は、まあでも、小骨ぐらいが大したことないっしょ、すぐとれるっしょとか思ってました。しかし。 twitterをフォローしてくれている方はわかると思いますが、そっからはとてもしんどかった。。。まず、家に帰ってうがい。まあ取れないよね。で、対処法をぐぐる。親に勧められた、「ご飯まる飲み作戦」は絶対にやってはいけないとのこと。飲み込むといい感じに小骨が引っかかって取れてくれそうなイメージなのでしょうが、これは逆効果で、むしろより深く骨が刺さってしまう恐れがあります。まあ僕が言わなくてもみんな言ってることなんで大丈夫でしょう。丸呑みはだめだよ。で、他に対処法ないの？と探すものの、もう残された方法はただ一つ。病院にいくこと。ぐぐった感じ、病院にいってとってもらうしかないようです。鏡とかで小骨がみえそうならピンセットで取る方法もありますが、とても奥に刺さっているようでまったく見えなかったので、問答無用で病院行き。たかが小骨が喉に刺さったくらいで大げさな、、、と思うかもしれませんが、ピンセットで取れず、1日たっても自然に取れない場合、残された方法は病院に行くことしかありません。小骨、おそろしい。そして、運の悪いことに、うなぎを食べたのが土曜日の夜。うなぎだし土曜にたべるよね。土曜のうなぎ。なので、翌日は日曜日。病院はほぼしまっています。さらに。日曜日には9時から20時まで予定が入っていました。ふええ。 1日ぐらい病院行かなくても大丈夫だろ、とも思いましたが、刺さりっぱなしだと熱が出るとか

続きを読む

SentencePieceをpythonスクリプトから使ってみる

- 2月 24, 2019

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 modelの学習はコマンドラインからやるのが普通、みたいな記事をみましたが、pythonからでもできるのでそちらでやります。他の記事ではわざわざsubprocessを使ったりしていますが、普通にpythonライブラリにtrainerを用意してくれているのでありがたく使えばよいです。日本語の記事がなかったので一応書きます ## sentence pieceとは文章をいくつか区切ってそれらを機械学習モデルに食わせる、みたいなことはよくやります。 MeCabを使って形態素解析するのがよくやられる手法です。 Mecabでは対応する辞書を使って文章を分割します。辞書にはneologdとかがよく使われます。これでも上手くいくことも多いですが、語彙数が大きくなってしまうことや、分割の仕方が分割したいデータセットに適していないこともあり、問題点だったりします。分割の仕方もこれから分割する文書から学習したほうがいい気がするのはわりと直感的な気がします。 sentence pieceでは、与えた文書の中で高い頻度で現れるフレーズは、多少長くても一つの単位として認識します。逆に短いフレーズでもあまり高頻度で現れない場合はフレーズを分割し、よく出現する単位まで細かく分割します。 mecabで辞書を使って分割するとなんでも細かく分割されますが、sentence pieceではその文書ではよく使われる言い回しなどは一つの単位として認識されるようになり、よりタスクのドメインに適している分割が得られると期待できます。また、語彙数を指定することで、語彙数が膨大になることを防ぐことができます。分割したフレーズにidをふってモデルの入力とする場合には、入力の次元が語彙数になるので小さいと嬉しいです。ハフマン符号みたいです。よく現れる文字列には短い符号長を割り当てる、みたいなところが似ています。 ## インストール ```bash pip install sentencepiece ``` ## pythonスクリプトで使う importします ```python

続きを読む

KerasのCNNで使うpaddingのめも

- 12月 08, 2017

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。プログラミングの記事の記念すべき初投稿！まずはお試しということで、deep learningのフレームワークであるkerasを使ってて疑問に思ったことをサクッとめもる記事。 ## paddingとは CNNで出てくるレイヤーは畳み込み層(convolution layer)とプーリング層(pooling layer)などがありますが、どっちにもpaddingを設定できるとこがあります。ちなみにpaddingとは、畳み込みやプーリングを行う際に入力の周辺を0で埋めてやることを言います。<br /> paddingする利点はこんなかんじ。 * 入力の端に存在する要素のたたみ込まれる回数が増えるので端の情報をより拾うようになる * データの大きさをある程度保持できる(小さくなりすぎるのを防ぐ) ## padding=sameってなにがsameなんじゃ見出しのとおり、*padding=sameってなにがsameなんじゃ*って思ったのでドキュメント読んでみました。すると、Conv1dレイヤーの説明にちょこっと `"same"`は元の入力と同じ長さを出力がもつように入力にパディングします．との文言が。なるほど、入出力が同じ大きさになるからsameなのかーでも、自分で書いてみたときpoolingレイヤーでpadding=sameにしたのに同じ大きさにならなかったんだよなあ。だからこの記事書き始めたというわけなので、このままでは納得できません。 paddingの説明が腑に落ちず他にも調べてみたらこんな記事を見つけました。 kerasではなくTensorFlowの記事ですがだいたい同じ。なはず。 [Tensorflow - padding = VALID/SAMEの違いについて](https://qiita.com/tadOne/items/48302a399dcad44c69c8) この記事を参考に、padding=sameの意味を自分の言葉で説明すると *padding=sameにすると、入力の大きさをst

続きを読む

leave-one-out cross-validation(LOOCV,一個抜き交差検証)を線形回帰モデルに

- 4月 18, 2019

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。今回は交差検証、cross validationについて書いてみます。 ## validation cross validationは、機械学習モデルの汎化性能を検証するためのもので、一般的にはK分割交差検証(K-fold cross validation)を指します。これは、訓練データセットをK分割し、一つのグループ以外の(K-1)個のかたまりでモデルを学習し、残りの一つのグループで性能を評価します。これをK回、すなわち性能評価用のデータを毎回変えながら実験し、最後にK回の性能評価を平均して最終的な出力とします。他にも、ホールドアウト検証というものもあります。これは評価用のデータは固定されていて、性能評価を平均したりはしません。交差していないので交差検証には含まれないです。検証のためのデータを学習に使えないので、K-foldよりデータを有効に使えていないイメージです。今回焦点を当てるのは一個抜き交差検証(leave-one-out cross-validation)です。これは、K-foldのKをデータ数と同じ個数にしたものと等しいです。つまり、訓練データ一つを選び、それ以外のデータで学習して最後に一つの評価データで評価します。これを全データで繰り返し行い最後に評価を平均します。データセットを無駄にせずに余すことなく使っているかんじですが、想像するとわかる通り学習に時間がかかるのが難点です。(データの個数回の学習が走るので) そのためあまり一個抜き交差検証は実用的ではありませんが、線形回帰モデル(l2正則化つきでも)だと汎化性能を解析的に求めることができます。 ## 線形回帰モデルで一個抜き交差検証線形回帰モデル(l2正則化つき)はこのようなモデルです。 $$f(x) = \sum_i^d \theta_i \phi(x_i) $$ $$\min \sum_i^n|y_i-f(x_i)|^2 + \lambda|\theta|^2$$ 一個抜き交差検証は、それぞれ一つずつデータを抜いて上のモデルを学習して、それらの

続きを読む

大きな数の組み合わせを1000000007で割った余りを計算する方法

- 10月 03, 2018

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。大きな数の組み合わせの$10^9+7$で割ったあまりを求めたくなることってありますよね(唐突) $M=10^9+7$とします $x={}_n C _r \ mod\ M$ の、$n$とか$r$が大きい場合。 ${}_n C _r=\frac{n!}{r!(n-r)!}$ であり、$n$とか$r$が大きい数の場合にはこれを計算したあとに$M$で割ったあまりを求めようとしてもオーバーフローしてしまうためにそもそも組み合わせ自体が計算できません。でもどうにかして$x$を求めたい。そういう場面で使える方法についての話。 ## とりあえずやってみる普通に分母がなくて、なにか大きい数の階乗のmodを計算したい場合は簡単で、 ```c int a=1; for (size_t i = 1; i <= N; i++) { a = (a * i) % M; } ``` みたいに一個ずつかけたら$M$で割ることを繰り返せばオーバーフローしないで済みます。これができるのは、合同式が積については計算可能であることが背景にあります。つまり mod $M$に対して $a \equiv b$、$c \equiv d$であれば$ac \equiv bd$が成り立つことが裏にあります。これにより、全て掛け合わせたあとにあまりを出さなくても、階乗の途中でmodを計算してもいい、ということになります。今回難しいのは、組み合わせの式には分母にも数字が来ることです。分母の数字も同様にmodを計算して、その数でさっき求めた分子の合同式での値を割ればいいのでは、と思われるかもしれません。ですが、これは誤りです。合同式は割り算に対しては上手く計算できません。 ## 割り算を掛け算に変換合同式は割り算が苦手なので、掛け算に直してしまう方法が解決策となります。 $M=10^9+7$は素数なので、フェルマーの小定理を用いることでこれが実現できます。 >フェルマーの小定理 > >

続きを読む

One-vs-RestとOne-vs-Oneを実装してみた

- 5月 16, 2019

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。今回は、2クラス分類器を多クラス分類器へと拡張する手法である、One-VS-Rest(一対他) とOne-VS-One(一対一)を実装して、ロジスティック回帰に適用する実験を行ってみます。 ## 多クラスへの拡張モデルによっては、2値分類しか扱うことができないものがあります。最小二乗回帰やSVM,ロジスティック回帰など、むしろオリジナルの分類器は2値分類であることの方が多いのかもしれません。多クラス分類を行う手法として、直接多クラス分類を行うモデルを構築するのが一つの手です。 deep learningの出力層にsoftmaxをいれて、クロスエントロピーを目的関数に持ってくるとか、そんなかんじのがよくある例だと思います。もう一つ、直接多クラスの分類モデルを構築するのではなく、2値分類を行う分類器をいくつか組み合わせることで多クラス分類を行う手法があります。それが、今回扱うOne-VS-Rest(一対他) とOne-VS-One(一対一)です。以下、$C$個のクラスがあるとします。 ## One-VS-Rest(一対他) One-VS-Rest(一対他)は、$C$個の2値分類器を学習します。一つ目の分類器は、クラス1を正例、その他のクラスを負例とする分類器になるように学習します。同様に、$i$番目の分類器はクラス$i$が正例に、その他のクラスを負例として学習します。推論時は、$C$個の分類器全てに予測させて、一番正例である確信度が高いと予測されたクラスを最終的な予測結果とします。確信度を用いるので、2値分類器には各クラスに属する予測確率(またはそれに比例するなんらかの数値)を出力できるモデルを用いる必要があります。その他のクラスを負例とする、という部分がRestに対応していますね。利点としては、クラスの個数だけ分類器を学習すればいいので次に紹介するOne-VS-One(一対一)よりは分類器の個数が少なくて済みます。短所としては、各分類器の学習に用いるデータの正例負例の割合が偏ってしまうことが挙げられます。 ## One

続きを読む

FlaskのDB連携(sqlite, SQLAlchemy)のやり方

- 7月 06, 2018

こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 * sqlite * SQLAlchemy を使用した。 ORMとしてSQLAlchemyを使うと直にSQLを書かなくてすむのでよい。 ```python:app.py from flask_sqlalchemy import SQLAlchemy app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///"database_name".db' app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = True db = SQLAlchemy(app) ``` としてdbを通してDBにアクセスできる。これによって`datebase_name`というDBを使用するようになる。 (sqliteではhogehoge.db的なファイルでデータベースが表現される) 実際にDBを作らないといけないので、ipythonとかでインタラクティブモードに入って ``` db.create_all() ``` とすると指定したDBファイルと、それを継承したモデルに紐付いたテーブルが作成される。 modelは以下のようにかく。 `db.Model`を継承したクラスを作ることでmodelを通してDBからデータを引っ張ってこれる。 ```python:app.py class User(db.Model): id = db.Column(db.Integer, primary_key=True) username = db.Column(db.String(80), unique=True) def __init__(self, username): self.username = username ``` データとってくるのはこんな感じ。 ``` User.query.all() ``` データを入れるときはこんな感じ ``` # hoge ユーザオブジェクトを作成 user = User(

続きを読む

RECENT POSTS

SPONSORED LINK

TWEETS

Tweets by guglilac

ARCHIVES

2020 26
- 12月 2
- 11月 1
- 10月 2
- 9月 1
- 8月 1
- 7月 2
- 6月 2
- 5月 3
- 4月 3
- 3月 4
- 2月 2
- 1月 3

2019 70
- 12月 5
- 11月 1
- 10月 6
- 9月 4
- 7月 6
- 6月 10
- 5月 6
- 4月 7
- 3月 9
- 2月 9
- 1月 7
2018 50
2017 11
- 12月 6
- 11月 5

もっと見る一部のみ表示

LABEL

プログラミング84 機械学習68 Python62 論文紹介37 深層学習22 競技プログラミング20 読書14 Factorization Machines12 振り返り10 Flask9

自然言語処理8 C++6 大学生活6 数学6 Keras5 Shell Script5 邦ロック4 雑記4 Atom3 Heroku3 React3 bash3 linux3 terminal3 インターン3 ギター3 スプラトゥーン3 学生3 Azure2 Kaggle2 git2 pytorch2 ブログ2 理系2 資格2 Blogger1 GitHub Pages1 Hugo1 JavaScript1 MySQL1 PostgreSQL1 PythonAnywhere1 luigi1 まとめ1 バンディット1 健康1 小説1 書評1 異常検知1 経済1 統計学1

もっと見る一部のみ表示

CONTACT

名前

メール *

メッセージ *