ディープラーニング入門講座 : ディープラーニングの考え方と重要な基礎技術紹介

ディープラーニング (深層学習) は複数の層が積まれた、多層構造のネットワークを用いて巧みに機械学習するための技術であり、現在の人工知能技術の根幹となっています。本講座は、基礎的な背景を含めて、ディープラーニングと触れ合うための概要知識と基礎的な設計技術の習得を主眼としています。基礎から実践に至るまで、幅広い知識習得をカバーします。 　前半は主にディープラーニングの数理的背景や意味についての解説となります。何故、ディープラーニングが出てきたのか、そして、何故ディープラーニングが凄いのか。など、ディープラーニングの基本的な“何故”や疑問に出来るだけ答えていくことが目標です。 　後半は主にディープラーニングの技術的な側面に注目します。ディープラーニングの利用には様々な種類のアルゴリズムが必要となり、それらたくさんのアルゴリズムの把握は初学者にとって非常に大変な作業となります。後半では、それぞれのアルゴリズムが“何故”必要なのか、そして、“何故”そんなにたくさんの種類のアルゴリズムが存在しているのかなどの疑問に、代表的なアルゴリズムを紹介しながら答えていきます。内容の性質上、 (特に後半は) 数式が少なからず出現しますが、必要に応じて補足をしていくので特殊な専門知識は必要ありません。

1. 機械学習とは何か?
   1. 機械学習が目指すもの
   2. 機械はデータから知識を獲得する
   3. 機械学習の種類
      1. 教師あり学習
      2. 教師なし学習
      3. 教師なし学習と人工知能
   4. 深層学習 (ディープラーニング) モデルの鳥瞰
2. 深層学習への道のり
   1. ニューラルネットワークの基礎
      1. 単純パーセプトロン～機械学習の事始め～
      2. フィードフォワードニューラルネットワーク
      3. パターン認識問題
      4. 誤差逆伝播法 (バックプロパゲーション)
      5. ニューラルネットワークの技術的問題点
   2. 深層学習へ
      1. 事前学習という考え方
      2. 自己符号化器と積層自己符号化器
      3. 深層学習の真相
      4. その他の深層学習モデル～CNNとは～
      5. 表現学習とは何か
      6. 深層学習は一言でいうと○○をしている
3. 深層学習の基本技術 (必須な基本技術)
   1. 基本的な技術Ⅰ (勾配降下法について)
      1. 確率的勾配降下法 (SGD)
      2. 勾配法の様々なアルゴリズム
         1. Adam法
         2. AdaMax法
         3. AMSGrad法
   2. 基本的な技術Ⅱ (パラメータの初期化について)
      1. 入力データの初期化
      2. 学習パラメータの初期化
         1. Xavier法
         2. He法
4. より進んだ実践技術 (運用の際の考え方と注意点)
   1. 過学習
      1. 過学習とは
      2. 学習するときはコレに注目せよ～学習誤差の指標～
      3. 過学習の問題と見抜き方～過適合は最悪のアプリを導く～
   2. 正則化法
      1. 正則化技術で過学習を緩和させる
      2. 様々な正則化アルゴリズム
         1. 重み減衰
         2. ドロップアウト
         3. バッチ正則化
   3. その他の最新技術
   4. 口伝の実践技術
      1. 層の設計について
      2. 学習がうまくいかないときの対処
      3. 設計の際の重要な考え方
5. 本講座のまとめと付録集