Zygoteパッケージ
Juliaの数値微分パッケージであるZygoteパッケージを簡単に紹介します。
Julia/Zygoteでは以前取り扱ったPyTorchの自動微分に比べ非常に簡単に少ないコード量で同等のことが実行できます。
Juliaの自動微分パッケージ Zygote の紹介
PyTorch Tutorials : 60 MINUTE BLITZ/自動微分モジュール
PyTorchをはじめとするニューラルネットワークのライブラリ(のおそらく全て)は自動微分の機能を持ち合わせています。PyTorchも例外ではなく、自動微分モジュール autograd が存在します。今回のチュートリアルはその autograd がどのように使われ、どのようなことができるのかに触れ、次記事でニューラルネットワークの学習に進みます。
PyTorch Tutorials : 60 MINUTE BLITZの紹介
PyTorchの最初のチュートリアルは「A 60 MINUTE BLITZ」です。
簡単な「PyTorchすごいぞ!!」的な2分のPyTorch紹介動画が貼られています。
動画によると「A 60 MINUTE BLITZ」には以下のようなコンテンツが用意されており、60分後にはPyTorchで基本的な使い方からモデル構築、学習と予測までできる様になっているという超有益な簡単チュートリアルとなっています。
- PyTorchでのテンソルの扱いの紹介
- 自動微分モジュールの紹介
- Neural Netの作り方紹介
- 実践として画像の分類問題を解く
各チュートリアルページには各々のGoogle Colabへのリンクがあり、Googleアカウトを所有して入ればTutorialの内容をローカルの環境を整えなくてもオンラインで学ぶことができます。
本サイトでもはじめにColabへのリンクを貼り、内容に触れていきたいと思います。
早速、上記にあげたコンテンツに別記事で触れていきます。
完成し次第、上のリストにリンクを貼っていきたいと思います。
行列の分割と逆行列
現在、数人で「ガウス過程と機械学習」を読んでいます。本文中では、付録にある「行列の分解と逆行列」の公式を何度も用いて式展開をします。この付録では行列のブロック行列分解と、そのブロック化したベースで行列の対角化を扱っています。一方、多用されているものの、導出が載ってません。ご存知の方も多いと思いますが、そこまで重い計算でないので今回これを扱います。
今回の逆行列を知りたいターゲットは
\begin{align} {\it A} = \begin{pmatrix} {\it A_1} & {\it A_2} \\ {\it A_3} & {\it A_4} \end{pmatrix} \end{align}
のようにブロック行列に分割した行列です。
続きを読む
勉強会『Machine Learning and Physics Bridge』を開催します！
2020年2月10日に勉強会 Machine Learning and Physics Bridge を開催します！ 素朴に「物理出身者を集めてお喋りしたら楽しい」という発想から、物理になんらかのゆかりがあるデータサイエンティストに向けて勉強会開催に至りました！！ 「物理とデータサイエンスの架け橋になれないか」という願いを込めて
という名前をつけました。
以下詳細
続きを読むPyTorch Tutorials
2020年の目標の1つとしてPyTorchの公式Tutorialsを読み進めてみようということになりました。
これまでディープなラーニングをする際、Kerasを使ってきました。正直tensorflowを生で扱える程の技術があるとは言い切れないレベルです。
一方、論文の実装例などを見ても、theano無き今PyTorchが増えてきているように感じています。さらにPreferred NetworksのChainer終了とPyTorchへのjoinを鑑みてもtensorflow・Keras優勢の日本でもPyTorch使いはどんどん増えていくでしょう。
そこでのPyTorch公式Tutorialsです。
ディープなラーニングもヨクワカラナイ我々は理論を知りたい一方、手が動きにくいという弱点も持っており「習うより慣れろ」精神を自らに植えつけようとの魂胆です。
基本的に1ページごとに1記事を投稿しますが、基本的に脱線しがちな2人ですので寄り道しつつ進めていこうと思います。