カルマンフィルタ、システム同定、機械学習を学ぶために必要な数学入門

深層学習 (ディープラーニング) に代表される機械学習に対する関心が非常に高まっています。機械学習のユーザであれば,その中身について深く知る必要はないかもしれません。しかし,学習理論を正しく使うためには,その中身を構成する確率・統計理論や線形代数などの知識が必要です。このような知識を持っていれば,この第3次AIブームが終わっても,それらの知識は次に向けた研究開発に大いに役立つことでしょう。 　本セミナーでは,カルマンフィルタ,システム同定,機械学習などを学ぶために必要な数学に焦点を絞って解説します。まず,難解だと言われる確率論を平易に解説することを試みます。また,その延長線上にある統計的推定論である最小二乗法と最尤推定法を説明します。さらに,最小二乗法の先にある特異値分解法や,機械学習理論でも中心的な理論である正則化法について解説します。最後に,システム同定と機械学習の類似点と相違点についてまとめます。特に,線形基底関数モデルに対する正則化最小二乗法についてベイズ推定の立場から解説し,時間があればカーネル法についてもお話しする予定です。

1. はじめに
2. 確率の基礎
   1. 確率の定義と確率密度関数
   2. 期待値の計算,確率モーメント
   3. 正規分布 (ガウシアン) とさまざまな確率分布
   4. 多次元確率分布とベイズの定理
3. 統計的推定
   1. 最尤推定法
   2. 最小二乗法
   3. フィッシャーの情報行列
   4. 最小二乗法の性質
4. 線形代数
   1. 正方行列の固有値分解
   2. 矩形行列の特異値分解 (SVD)
   3. 擬似逆行列と条件数
   4. 平方根行列
5. 最小二乗法の先
   1. 特異値分解を用いた最小二乗法の解法
   2. L2ノルム正則化法
   3. L1ノルム正則化法 (LASSO)
6. システム同定と機械学習
   1. 線形基底関数モデル
   2. 正則化最小二乗法とベイズ推定
   3. カーネル法
7. まとめ