# the UvA Deep Learning Tutorials
# Info
- 資料名: the UvA Deep Learning Tutorials (opens new window)
- 著者: Phillip Lippe
- 読んだ日付: 2021.11
# Motivation
PyTorchによる実装にブランクがあったのと、生成モデル・Transformer・GNN辺りの新しいモデルを全く終えておらず、実装しながら追っていくことにした。 Debug、研究におけるPracticeも豊富に載っているため、それらを掴む目的もあった。
# Contents
# 2. Introduction To PyTorch
- ほぼ公式Tutorial
- TensorBoardのVSCode拡張を初めて知った。
- https://pytorch.org/tutorials/intermediate/tensorboard_tutorial.html
- https://code.visualstudio.com/docs/datascience/pytorch-support
- などを併読
# 3. Activation Functions
- FashionMNISTの分類器の活性化関数を{Sigmoid, Tanh, ReLU, LeakyReLU, ELU, Swish}で実験
- 活性化関数ごとの重み分布の特徴
- sigmoid: 勾配消失。深い層で乱れる
- Tanh: ガウス型
- ReLU, LeakyReLU: 鋭敏な山型
- ELU, Swish: その間くらい
- 活性化関数の出力値の分布
- sigmoid: 勾配消失により深い層で乱れる
- Tanh: 裾野が広い。多様な形状
- ReLU: 0付近にExtremelyに寄る
- ELU, Swish: 中間くらい
- ReLUのDead Neurons問題
- ReLUの入力が負だと勾配が0(Dead Neuron)
- 深い層になるほど割合が増加
- bottle neckになる
- 深い層ほどSwishのような非線形性が好まれる