深層強化学習の基礎とその応用

世界トップのプロ囲碁棋士に見事に勝利したAlphaGoの出現により、日本を含め世界中でAIに対する期待が高まっています。このAlphaGoの歴史的な勝利を支えた手法、すなわち「深層強化学習手法」が一躍注目を集めています。 　AIの研究や将来のビジネスチャンスを踏まえたAIの応用を真剣に検討されている方にとっては、深層学習の先にある「深層強化学習手法」の基本原理をしっかり理解することがマストといえるでしょう。しかし現状としては、深層強化学習手法をわかりやすく説明している資料はなかなか見当たりません。 　本セミナーはこのような現状を踏まえ、深層強化学習の最も基本となる強化学習の中核的な内容を例題と「動画」を通して、みなさんになるべくわかりやすく説明します。 　さらに本セミナーでは、難解といわれる「深層強化学習」をよりわかり易く理解するために、まず「簡易型の線形回帰近似モデル」を応用した強化学習手法を簡易デモなどを用いてわかりやすく説明します。これによりニューラルネットワーク近似モデルを使用する深層強化学習への理解が更に深まることを期待します。最後に、逆深層強化学習という強化学習報酬関数を学習する手法の原理と応用技法について説明します。 　様々な背景を持つ受講者のみなさんが理解しやすく、実際に役立てられるように講義内容の難易度を調整しています。本セミナーを通して、現在、話題の深層学習の先にある「深層強化学習」の基本知識と応用情報を入手し、是非、研究やビジネスに活用して頂ければ幸いです。

1. 第1部 はじめに
   1. 強化学習の基本概念
   2. 強化学習・深層学習および深層強化学習の特徴と違い
   3. 深層強化学習により可能となること
   4. 多腕バンディット問題をわかりやすく説明
   5. 強化学習における探索と利用のジレンマ
   6. 多腕バンディット問題の解法をわかりやすく説明
      • 平均報酬という概念について
      • 平均報酬を更新するための式の導きかた
      • Epsilon-greedy
      • 最適初期値設定法
      • UCB1
      • Bayesian/Thompson 法の詳細
   7. 簡易デモ (python) :Gridworld (上記4種類解法の実行:直感的に理解する)
2. 第2部 基本概念-マルコフ決定過程 (MDP) の基本原理のポイント
   1. 確率過程
   2. マルコフ性とは
   3. マルコフ鎖とは
   4. MDPの定義と式の導き方
   5. 方策πの定義と価値関数の対応関係
   6. 状態価値関数[V (s) ]におけるベルマン方程式をわかりやすく説明
   7. 状態行動価値関数[Q (s,a) ] におけるベルマン方程式をわかりやすく説明
   8. 簡易演習デモ (python) 1:Gridworld (式を理解するために)
   9. 最適状態価値関数V* (s) のポイント
   10. 最適状態行動価値関数Q* (s,a) のポイント
   11. 最適状態価値関数V* (s) と最適状態行動価値関数Q* (s,a) の相互関係
   12. ベルマン最適性方程式の導きかた
   13. 簡易デモ (python) 2:Gridworld (式を理解する)
   14. ディスカッション:最適性と近似性について
3. 第3部 中核:強化学習におけるMDP問題の解法
   1. 動的計画法の解説と入門:
      1. 反復法による価値関数を求める:ランダム方策 vs 固定方策
      2. 最適な方策の探索手法をわかりやすく説明
         • 方策反復法による最適状態価値関数を求める
         • 遷移確率を考慮した方策反復法による最適状態価値関数を求める
         • 価値反復法による最適状態価値関数を求める
      3. 簡易デモ (python) :Gridworld (4種類解法の実行と結果比較:概念を理解する)
   2. Monte-Carlo (MC) 法をわかりやすく解説
      1. モデル法とモデルフリー法のちがい
      2. 経験に基づく学習手法のポイント
      3. MC法と多腕バンディットの内在関連性
      4. 状態価値関数・行動状態価値関数と平均報酬との関係
      5. MC法による状態価値関数の求め方とポイント
      6. MC法による最適状態行動価値関数Q (s,a) の求め方とポイント
      7. 簡易デモ (python) :Gridworld (2種類MC法の実行と比較:概念を理解する)
   3. TD学習手法のポイントと入門
      1. TD (0) 法の説明と式の導きかた
      2. SARSA法の説明と式の導きかた
      3. Q-学習法の説明と式の導きかた
      4. On-PolicyとOff-Policyを詳しく説明
      5. 簡易デモ (python) :Gridworld (3種類TD法の実行と比較:概念を理解する)
4. 第4部 拡張ー強化学習における関数近似手法とは (入門編)
   1. Tabular法 (表形式手法) と近似解法の違い
   2. 回帰モデルと誤差関数をあらためて復習
   3. 簡単な線形回帰モデルに基いたMC法による状態価値関数V (s,θ) を求める
   4. 簡単な線形回帰モデルに基いたSARSA法によるV (s,θ) を求める
   5. 簡易デモ (python) :Gridworld (回帰近似MDP解法の実行:直感的理解)
5. 第5部 最前線:深層強化学習の基本概念と最重要ポイント
   1. 簡易型ニューラルネットワークを応用したQ-学習手法の説明
   2. 深層Q-学習 (DQN) の基本ポイント
   3. 連続動作空間における強化学習のポイント
   4. 方策勾配法の基本と式の導き方
   5. ガウシアン型行動確率分布の導入
   6. 方策勾配法による連続動作空間における強化学習の簡易説明
   7. 深層Actor-Critic法の基本と実行のコツ
   8. 簡易実演デモ (python) : Mountain car, Cartpole, Atariなど (概念の理解)
6. 第6部 逆強化学習の基本概念と最重要ポイント
   1. 逆強化学習の解法:線形計画最適化逆強化学習手法
   2. 逆強化学習の解法:最大エントロピー逆強化学習手法
   3. 逆強化学習の解法:深層NN最大エントロピー逆強化学習手法
7. 第7部 応用:強化学習と深層強化学習及び逆強化学習の応用事例
• 質疑応答