詳解 Transformer

再開催を依頼する / 関連するセミナー・出版物を探す
オンライン 開催

本セミナーでは、Transformerの典型的モデルの仕組みから、自然言語処理、画像処理、音声認識に応用した最新モデルまでを解説いたします。

日時

開催予定

プログラム

近年、「Transformer」という深層学習モデルが、自然言語処理や画像処理、音声処理といった様々な分野の多くのタスクで最高性能を達成し、注目を集めています。  本講座では、そのTransformerの典型的モデルの仕組みから、自然言語処理、画像処理、音声認識に応用した最新モデルまでを解説します。ニューラルネットワークの基礎的な知識をお持ちの方向けのセミナーです。

  1. Transformerの仕組み
    1. エンコーダ・デコーダモデル
    2. アテンション機構
    3. 位置エンコーディング
  2. 自然言語処理への応用 (BERT)
    1. 事前学習とファインチューニング
    2. マスク化言語モデル
    3. 次文予測
  3. 画像処理への応用 (ViT)
    1. パッチ埋め込み
    2. ViTブロック
  4. 音声認識への応用 (Conformer)
    1. Conformerブロック
    2. 相対位置埋め込み

受講料

ライブ配信セミナーについて