強化学習の基礎・アルゴリズムとその応用

強化学習は個別の教師信号が与えられない場合であっても、長期的な目的達成に必要な制御則を自律的に獲得する能動学習方法の1種です。もともとは、動物行動心理学の言葉でしたが、このしくみを模したアルゴリズムがいくつか提案されています。これらの強化学習アルゴリズムは未知の問題空間で自律的に最適化を行うことが求められる場面に適しており、特にロボットの行動獲得手法として1990年台に大きく注目されました。その後、しばらく大きな進展がない時期が続いていましたが、近年の深層学習をはじめとする機械学習技術の発展とともに強化学習のボトルネックのいくつが解消されつつあります。特に、将棋や囲碁のような決定論的ゲームにおいて大きな成果をあげたことで、様々な実問題への応用が期待されています。 　本セミナーでは、強化学習の基礎理論とアルゴリズムの原理を理解した上で、最近の展開と応用事例についてさらに知識を深めることを狙います。

1. イントロダクション:強化学習の基本的な考え方
2. 強化学習に必要な基礎知識
   1. マルコフ決定過程
   2. ベルマン方程式
3. 強化学習の手法の解説と使い分け
   1. 環境同定型
   2. 経験強化型学習
4. 様々な強化学習アルゴリズム
   1. TD学習
   2. SARSA
   3. Q学習
   4. モンテカルロ法
   5. ProfitSharing
   6. ActorCritic
   7. その他
5. 効率的に学習させるための連続空間と適応的状態分割の考え方
6. 深層学習と強化学習
   1. CNN
   2. DQN
   3. A3C
   4. その他注目すべき深層強化学習
7. 応用事例 (論文、応用事例のレビュー)
   • 自律移動
   • 異常検知
   • 動き予測など
8. まとめと展望
• 質疑応答