強化学習の基礎と実践

2016年、Googleが買収したDeepMind社が開発したコンピューター囲碁プログラムAlpha Goが囲碁の世界チャンピオンに勝利して話題となった。このAlpha Goの学習に用いられていたのが深層学習 (ディープ・ラーニング) と強化学習を組み合わせたDeep Q-Network (DQN) である。 　本セミナーでは、強化学習の基礎理論と基本アルゴリズムについて解説し、LEGOロボットを用いたデモ、最近の研究動向、最新の応用事例を紹介し、強化学習ライブラリーのOpenAI gymを用いた実習を行う。

1. はじめに
   1. 強化学習研究の歴史
   2. 強化学習研究の動向
   3. デモ (迷路)
2. 強化学習の基礎
   1. 強化学習の枠組み
   2. マルコフ決定過程 (MDPs)
   3. 決定的環境と確率的環境
   4. エージェントの目的
   5. 行動価値
   6. 学習エージェントの行動選択法
      1. 一様ランダム選択
      2. グリーディー選択
      3. ε-グリーディー選択
      4. ソフトマックス選択
   7. 探査と知識利用のジレンマ
3. 基本的な強化学習アルゴリズム
   1. 行動価値推定型
      1. Q学習
      2. Sarsa
   2. 方策最適化型
      1. Policy Gradient
   3. 行動価値推定型
      1. Profit Sharing (PS)
      2. OnPS
4. 強化学習パラメーターのチューニング
   1. 状態のチューニング
   2. 行動のチューニング
   3. 報酬関数のチューニング
   4. 割引率のチューニング
   5. ステップあたりの時間のチューニング
   6. ステップサイズのチューニング
   7. ε-グリーディー選択におけるεのチューニング
   8. ソフトマックス選択における温度のチューニング
   9. 行動価値の初期値のチューニング
5. 実環境への応用する際の課題
   1. マルチエージェント強化学習
   2. 関数近似
   3. 部分観測マルコフ決定過程 (POMDPs)
6. 最新の強化学習
   1. 多目的強化学習
   2. 逆強化学習
   3. 安全な強化学習
   4. マルコフ決定過程簡約化
   5. 複利型強化学習
   6. 深層強化学
      1. Deep Q-Network (DQN)
      2. A3C
      3. TRPO
      4. PPO
7. OpenAI gym実習
   1. OpenAIとgym
   2. 環境構築
   3. サンプルプログラムの実行
8. 応用事例
   1. 複利型強化学習の応用事例
      1. 国債銘柄選択
      2. ブラックジャック
      3. 株取引
      4. 日本国債取引
   2. 深層強化学習の応用事例
      1. ロボットアーム
      2. 自動運転車
      3. ドローン
9. まとめ
• 質疑応答