自己教師あり学習と自然言語・画像・音声分野への応用

本セミナーでは、様々な分野で使われるようになってきた自己教師あり学習の手法について、基礎と応用を解説します。また自然言語、画像、音声分野への応用を紹介します。大規模言語モデルと対話型 AI の背景となる技術について、理論と応用を解説します。受講者として、機械学習と深層学習の基礎知識をお持ちの方を想定しています。

1. 自己教師あり学習の手法
   1. 対比学習による潜在空間への変換
   2. マスクを用いた学習
   3. 自己回帰型モデル (次の要素を予測する)
   4. フローモデルと拡散モデル
2. 大規模言語モデル
   1. 機械翻訳モデルとしての Transformer
   2. BERT (Bi-directional Encoder Representations from Transformers)
   3. GPT (Generative Pre – trained Transformer)
   4. 強化学習の役割
   5. 対話型 AI の可能性
3. マルチモーダル情報への展開
   1. 画像分野における応用
   2. 音声分野における応用
   3. 今後の展望