深層学習 (ディープラーニング) の数理

AI、深層学習は社会基盤となりつつある。このような裾野の広がりから、上部だけの理解ではなく、実用的な知識として活用する手立てが一層求められるようになってきた。ところが百花繚乱のごときフレームワークを使い始めても、数理的な基礎が不完全であると、種々のサンプルコードは実行できても理解したと実感することができない。各モデルに使われている数学を把握してこそ真の理解へと至る。加えて応用やその先の見通しも効きやすく、業務活用への道も拓ける。 　そこで今回は数理的な考えに慣れておられる方向けに、数学の演習問題を通して深層学習モデルを捉えることを試みる。

1. 線形代数と解析の復習
   1. 固有値、逆行列、射影行列
   2. 全微分、偏微分、劣微分、ヤコビアン、ヘシアン、部分積分、置換積分
   3. 情報理論の基礎、エントロピー、KL、JS
      • 演習
2. 多層ニューラルネットワークの基礎
   1. 出力関数
      • ReLU
      • tanh
      • softmax
      • softplus
      • Gumbel-softmax
   2. 確率勾配降下法と最適化アルゴリズム
   3. 正則化
      • 演習
3. 畳み込みニューラルネットワーク
   1. 畳み込み演算
   2. データ拡張
   3. プーリング
   4. バッチ正則化、レイヤー正則化
   5. シートカット
   6. 計算グラフ
      • 演習
4. 再帰的ニューラルネットワーク
   1. BPTT
   2. 勾配爆発問題
   3. LSTM、 GRU
   4. 双方向RNN
   5. 注意
      • 演習
5. 取り上げなかった概念への補足
   1. 生成敵対ネットワーク
   2. 変分推論