強化学習の基礎とロボットの運動制御技術への応用

昨今、我々の生活空間で作業の代行や支援ができるロボットに期待が寄せられています。そのようなロボットの実現には、不確実環境下において知的かつ頑健にタスクを遂行するための運動計画・制御・学習技術が必要不可欠です。 　本講義では、そのようなロボットの運動制御系を、ロボットが試行錯誤を通じて学習する仕組みとして、強化学習と呼ばれる機械学習技術について紹介します。さらに、実際にロボットの運動制御に強化学習を適用するための基本的な考え方から応用技術についても幅広く紹介します。 　最後に研究事例として、我々の研究室で取り組んでいるロボットの運動制御や応用技術についても解説します。

1. 導入
2. 強化学習
   1. 歴史
   2. 基本的な数理
      1. 価値関数
         • Q-learning
         • SARSAなど
      2. 方策探索
         • Policy Gradient
         • EM policy Searchなど
      3. モデルベース強化学習
3. ロボットの運動制御への応用技術
   1. 強化学習によるロボットの運動制御問題の定式化
   2. 連続状態のための関数近似 (線形モデル,カーネル法など)
   3. 運動軌道を生成する方策モデル
      • 経由点表現
      • Dynamical Movement Primitivesなど
   4. 学習を安定化する技術
      • KL制御
      • 正則化
4. 事例紹介
   1. 触覚センサ付きロボットハンドによる器用な操り技能
   2. 外骨格ロボットによる運動支援
   3. 双腕ロボットによる柔軟物操作 (ディープラーニング)