逆強化学習・模倣学習の基礎と応用

再開催を依頼する / 関連するセミナー・出版物を探す
オンライン 開催

日時

開催予定

プログラム

  1. 逆強化学習の位置づけ・機械学習の基礎
    1. 逆強化学習と機械学習・最適制御の関係
      • 強化学習は制御と関連が強い
      • 逆強化学習と強化学習 (最適制御) と何が違う?
    2. 機械学習の基礎のおさらい
      • 生成的 / 識別的
      • 経験リスク最小化
      • 様々な損失
      • 2クラス分類 / 他クラス分類 / 系列ラベル分類
        • … 構造的なデータに対しても「識別」は定義できる ⇒ 逆強化学習ではどうやって解く?
  2. 逆強化学習の定式化・解法
    1. 強化学習の基礎:マルコフ決定過程、ベルマン方程式
      • 動的システム
      • マルコフ性
      • マルコフ決定過程 / 報酬関数
      • 価値関数 / ベルマン方程式
    2. 逆強化学習の定式化とアルゴリズム
      • 報酬期待値の最大化
      • 損失関数の設定
      • 最大エントロピー逆強化学習
      • 周辺分布の獲得前向き・後ろ向き計算
    3. 逆強化学習を適用しようとすると起きる問題は??
  3. 逆強化学習の適用例・最近の事例
    1. 海外での適用事例、下坂研究室での事例
      • (簡易版) 車線変更
      • 経路選択
      • Zone 30マルコフの加減速モデリング
    2. 連続・高次元化に向けた方向性、深層学習との融合
      • 関数近似の利用、離散化の工夫
      • 連続空間上のIRL:分配関数 (積分計算) の近似がポイント
      • この分野も深層NN、さらにはGANの導入が始まってきている

受講料

ライブ配信セミナーについて