Transformerの基礎と最新応用動向

人工知能の分野においてこれまで多種多様な深層学習モデルが生み出されてきました。その中で近年、「Transformer」というモデルが、自然言語処理や画像処理、音声処理といった様々な分野の多くのタスクでこれまでの深層学習モデルの性能を凌駕し、デファクトスタンダードになりつつあります。そのような人工知能分野で現在大きな注目を集めているTransformerに関して、本講座では、ニューラルネットワークとは何かという基礎的な話から始めて解説します。Transformerの典型的なモデルの解説にとどまらず、自然言語処理、画像処理、音声認識に応用した最新モデルも概説します。

1. ニューラルネットワークの基礎
   1. パーセプトロン
   2. ニューラルネットワーク
   3. 誤差逆伝搬法
2. RNN に基づくエンコーダ・デコーダモデル
   1. リカレントニューラルネットワーク (RNN)
   2. エンコーダ・デコーダモデル
   3. アテンション機構
3. Transformer
4. Transformer の応用
   1. 自然言語処理への応用 (BERT)
   2. 画像処理への応用 (ViT)
   3. 音声認識への応用 (Conformer)