数学入門セミナー

深層学習 (ディープラーニング) に代表される機械学習に対する関心が非常に高まっています。機械学習のユーザであれば、その中身について深く知る必要はないかもしれません。しかし、学習理論を正しく使うためには、その中身を構成する確率・統計理論や線形代数などの知識が必要です。このような知識を持っていれば、この第3次AIブームが終わっても、それらの知識は次に向けた研究開発に大いに役立つことでしょう。 　本セミナーでは、カルマンフィルタ、システム同定、機械学習などを学ぶために必要な数学に焦点を絞って解説します。まず、難解だと言われる確率論を平易に解説することを試みます。また、その延長線上にある統計的推定論である最小二乗法と最尤推定法を説明します。さらに、最小二乗法の先にある特異値分解法や、機械学習理論でも中心的な理論である正則化法について解説します。最後に、システム同定と機械学習の類似点と相違点についてまとめます。特に、線形基底関数モデルに対する正則化最小二乗法についてベイズ推定の立場から解説し、時間があればカーネル法についてもお話しする予定です。

1. はじめに
2. 確率の基礎
   1. 確率の定義と確率密度関数
   2. 期待値の計算、確率モーメント
   3. 正規分布とさまざまな確率分布
   4. 多次元確率分布とベイズの定理
   5. 多次元正規分布と固有値分解
3. 統計的推定
   1. 最小二乗法
   2. 最尤推定法
4. 最小二乗法によるデータ処理
   1. 順問題と逆問題
   2. 最小二乗推定値とその性質
5. 最小二乗法の先
   1. 矩形行列の特異値分解 (SVD)
   2. 特異値分解を用いた最小二乗解
   3. L2ノルム正則化法
   4. L1ノルム正則化法 (LASSO)
6. まとめ

付録 システム同定と機械学習

• A.1 線形基底関数モデル
• A.2 正則化最小二乗法とベイズ推定
• A.3 カーネル法