Transformerの言語・画像・音声分野への応用

本セミナーでは、様々な分野で使われるようになってきた Transformerについて、基礎と応用を解説します。 　応用として、自然言語、画像、音声分野への適用を紹介します。言語分野で用いられるBERT、自己回帰型言語モデルにおける自己教師あり学習との関連を解説し、文書検索・言語理解などの応用を紹介します。画像分野における応用を紹介し、フローモデルと拡散モデルを解説し、テキストからの画像生成を紹介します。

1. Transformer の基礎となる理論
   1. 再帰型ネットワーク
   2. 系列変換モデルによる機械翻訳
   3. 注意機構による対応付け
   4. 自己注意機構
   5. Transformer
2. 自己教師あり学習
   1. 対照学習による特徴ベクトルへの変換
   2. CLIP:Contrastive Language-Image Pre-training
   3. マスクを用いた自己教師あり学習
3. Transformerの言語処理への適用
   1. 機械翻訳への適用
   2. BERT (Bidirectional Encoder Representations from Transformers)
   3. BERTを用いた文書検索と言語理解
   4. 自己回帰型の言語モデル
      • GPT
      • GPT-3:Generative Pre-trained Transformer
4. Transformerの音声と画像分野への応用
   1. 音声分野における応用 (Conformer)
   2. 画像分野における応用
      • Vision Transformer
      • Mobile-former
      • Masked-Autoencoder
   3. フローモデルと拡散モデル
   4. テキストからの画像生成
      • DALL-E
      • DALL-E2
   5. 今後の展望