Transformerの応用と最新技術動向

再開催を依頼する / 関連するセミナー・出版物を探す
オンライン 開催

日時

開催予定

プログラム

自然言語、音声、画像の3つの分野における応用を解説します。Transformerは再帰型ネットワークを用いず並列処理が可能なモデルであるとともに、複数の自己注意機構を実現できるという特徴があります。BERTとGPTの2つのモデルについて、人工的なタスク設定と表現学習の観点から解説します。最後にGPT – 3 の応用として、テキストからの画像生成を紹介します。

  1. 系列変換モデルと注意機構
    1. 再帰型ネットワークとLSTM
    2. 系列変換モデル
    3. 注意機構による対応付け
    4. 自己注意機構
    5. Transformer
  2. Transformerの応用
    1. 機械翻訳への適用
    2. 音声分野における応用 (Conformer)
    3. 画像分野における応用 (Vision Transformer)
  3. 言語処理と言語生成への適用
    1. 人工的なタスク設定と表現学習
    2. BERT
    3. GPT
    4. テキストからの画像生成 (DALL – E)

受講料

ライブ配信セミナーについて