自然言語、音声、画像の3つの分野における応用を解説します。Transformerは再帰型ネットワークを用いず並列処理が可能なモデルであるとともに、複数の自己注意機構を実現できるという特徴があります。BERTとGPTの2つのモデルについて、人工的なタスク設定と表現学習の観点から解説します。最後にGPT – 3 の応用として、テキストからの画像生成を紹介します。
- 系列変換モデルと注意機構
- 再帰型ネットワークとLSTM
- 系列変換モデル
- 注意機構による対応付け
- 自己注意機構
- Transformer
- Transformerの応用
- 機械翻訳への適用
- 音声分野における応用 (Conformer)
- 画像分野における応用 (Vision Transformer)
- 言語処理と言語生成への適用
- 人工的なタスク設定と表現学習
- BERT
- GPT
- テキストからの画像生成 (DALL – E)