Transformerの基礎と応用

再開催を依頼する / 関連するセミナー・出版物を探す
オンライン 開催

本セミナーでは、Transformerの典型的モデルの仕組みから、自然言語処理、画像処理、音声認識に応用した最新モデルまでを解説いたします。

日時

中止

プログラム

近年、「Transformer」という深層学習モデルが、自然言語処理や画像処理、音声処理といった様々な分野の多くのタスクで最高性能を達成し、注目を集めています。  本講座では、そのTransformerの典型的モデルの仕組みから、自然言語処理、画像処理、音声認識に応用した最新モデルまでを解説します。

  1. Transformerの仕組み
    1. エンコーダ・デコーダモデル
    2. アテンション機構
    3. 位置エンコーディング
  2. 自然言語処理への応用
    1. 事前学習とファインチューニング
    2. マスク化言語モデル
    3. 次文予測
  3. 画像処理への応用
    1. パッチ埋め込み
    2. ViTブロック
  4. 音声認識への応用
    1. Conformerブロック
    2. 相対位置埋め込み

受講料

ライブ配信セミナーについて