【論文紹介】LieGG: Studying Learned Lie Group Generators

この記事は BrainPad Advent Calender 2022 の2日目の記事となります。

今回もまた社内の論文紹介で話した内容の公開記事です。またまた機械学習と対称性の話ですが、今回はデータを学習させたモデルから対称性を見つけ出す、という取り組みがちょっと興味深く、あまり広く知られていないテーマでもあると思いましたので読んでみました。

【論文紹介】Generative and Contrastive Self-Supervised Learning for Graph Anomaly Detection

社内の論文紹介で使用したスライドを公開します。

読んだ論文はこちらです。

arxiv.org

【論文紹介】The Lottery Ticket Hypothesis

社内の論文紹介で使用したスライドを公開します。

読んだ論文はこちらです。

arxiv.org

かなり有名な論文なので既にご存じの方も多いと思いますが、せっかくなので公開させていただきます。

【論文紹介】MCFlow: Monte Carlo Flow Models for Data Imputation

社内の論文紹介で使用したスライドを公開します。

読んだ論文はこちらです。

arxiv.org

【論文紹介】E(n) Equivariant Graph Neural Networks

対称性が課された機械学習の理論に興味があり、なんとなく探していたところ、最近出た論文に読みやすそうなものがあったので読んでみました。次の論文を紹介したいと思います。

arxiv.org

Juliaの自動微分パッケージ Zygote の紹介

Zygoteパッケージ

Juliaの数値微分パッケージであるZygoteパッケージを簡単に紹介します。
Julia/Zygoteでは以前取り扱ったPyTorchの自動微分に比べ非常に簡単に少ないコード量で同等のことが実行できます。

PyTorch Tutorials : 60 MINUTE BLITZ/自動微分モジュール

AUTOGRAD: AUTOMATIC DIFFERENTIATION

PyTorchをはじめとするニューラルネットワークのライブラリ(のおそらく全て)は自動微分の機能を持ち合わせています。PyTorchも例外ではなく、自動微分モジュール autograd が存在します。今回のチュートリアルはその autograd がどのように使われ、どのようなことができるのかに触れ、次記事でニューラルネットワークの学習に進みます。