強化学習の基礎とその使い方

人工知能分野では、プロ棋士の経験に基づいて囲碁の打ち方を学習するAlphaGoが一昨年に大きな話題となり、続いてこれを上回るAlphaGo Zeroが昨年提案されました。AlphaGo Zeroは深層強化学習という最先端技術を用いることでプロ棋士の経験を全く使用せずに学習できること、また応用分野が限定されておらず、どのような分野でも適用可能であることから世界中のあらゆる分野で注目を集めております。 　本講演では、このように注目を集めて続けている強化学習を基礎から平易に解説します。学習の方法について、伝統的で幅広く用いられているQ学習から最新の深層強化学習まで、様々な学習法を紹介します。例を用い、また練習問題を解くことで理解を深めます。

1. 強化学習の例示 (デモンストレーション)
   1. 最短経路探索
   2. ゲームプレイ
   3. 二足歩行
2. 強化学習問題
   1. 学習エージェントと環境
   2. 問題の定義
   3. 設定例
3. 表形式の強化学習法
   1. 価値関数
   2. 行動選択法
   3. 伝統的な学習法
      • Q学習
      • Sarsa
4. 近似を用いる強化学習法
   1. 価値関数の近似
      • 放射基底関数
      • ニューラルネットワーク
   2. 勾配法
   3. 価値勾配を用いる学習法
   4. 方策勾配を用いる学習法
5. 人間を超える学習法:深層強化学習
   1. 深層学習 (ディープラーニング)
   2. ビデオゲームに対する学習法
   3. 囲碁に対する学習法: AlphaGoとAlphaGoZero
• 質疑応答