Transformerの基礎と最新応用展開

再開催を依頼する / 関連するセミナー・出版物を探す
オンライン 開催

本セミナーでは、Transformerの典型的モデルの仕組みから、自然言語処理、画像処理、音声認識に応用した最新モデルまでを解説いたします。

日時

中止

プログラム

人工知能の各分野において近年注目を集めている深層学習モデル 「Transformer」について解説します。Transformerモデルは、機械翻訳や自動要約、対話 システムなど自然言語処理の多くのタスクで従来モデルの性能を凌駕し、今ではデファク トスタンダードなモデルになりつつあります。また、自然言語処理の分野に限らず、画像処 理、音声認識など様々な分野に応用され、成功を収めています。  本セミナーでは、その Transformerについて基礎から解説します。また、Transformerの典型的なモデルの解説に とどまらず、自然言語処理、画像処理、音声認識に応用した最新モデルも概説します。

  1. RNNに基づくエンコーダ・デコーダモデル
    1. RNN
    2. エンコーダ・デコーダモデル
    3. RNNに基づくエンコーダ・デコーダモデル
    4. 注意機構の導入
  2. Transformer
    1. Transformerの概要
    2. Transformerの長所
    3. Transformerの短所
    4. Transformerの各コンポーネント
      1. 位置エンコーディング
      2. 注意機構
      3. 順伝搬層
      4. 残差接続と層正規化
  3. Transformerの応用
    1. 自然言語処理への応用 (BERT)
      1. マスク化言語モデル
      2. 次文予測
      3. ファインチューニング
    2. 画像処理への応用 (ViT)
      1. パッチ埋め込み
      2. ViTのTransformerブロック
    3. 音声認識への応用 (Conformer)
      1. 畳み込み演算 (pointwiseとdepthwise)
      2. Conformerブロック

受講料

複数名同時受講割引について

アカデミック割引

日本国内に所在しており、以下に該当する方は、アカデミック割引が適用いただけます。

ライブ配信セミナーについて