自然言語処理技術におけるTransformerモデルの基礎・応用技術と今後の展望

再開催を依頼する / 関連するセミナー・出版物を探す
オンライン 開催

日時

開催予定

プログラム

近年、自然言語処理 (NLP) 技術におけるブレークスルーとして登場したTransformerモデルは、画像処理への応用や、画像・言語など異なるデータを統合するマルチモーダルAIへの応用も可能である事から、AI技術の新たな潮流を生み出す可能性のある、極めて有望な技術である。  本講演では、Transformerモデルの登場したそもそものタスクである、NLPにおけるTransformerモデルの動作について詳細に解説し、Transformerモデルの動作原理について学ぶ。さらに、NLP以外の分野におけるTransformerモデルの採用例について紹介する事で、Transformerモデルの今後の発展について展望する。講演の前半では、Transformerモデルの登場から今後登場するであろう技術まで、その概要を紹介する事で、技術の大きな潮流を把握する。また後半では、より詳細にTransformerモデルの動作を紹介し、技術的な理解を深める。

  1. Transformerモデルの登場
    1. 自然言語処理技術の歴史
    2. BERT登場の衝撃
    3. 様々なTransformerモデルの登場
    4. パラメーター数競争の時代へ
  2. 自然言語処理AIとは
    1. 様々な自然言語処理タスク
    2. 巨大コーパスと事前学習モデル
    3. 汎用モデルの公開競争
    4. 日本語と国家間デバイド
  3. マルチモーダルAIとは
    1. マルチモーダルAIの現状
    2. TransformerとマルチモーダルAI
    3. NLPによるセミ汎用AI
    4. 真の汎用AI時代へ向けて
  4. Transformerの技術
    1. Transformerモデルの基礎
    2. Self – Attention機構
    3. Normalization機構
    4. 単語埋め込み層
  5. Transformerモデルの学習
    1. Masked Language Modelとは
    2. BERTにおける学習
    3. Whole – Wordな学習
    4. BERT亜種の差違
  6. Language Model
    1. GPTにおける学習
    2. GPTにおける文章生成
    3. T5モデル
    4. aMLPモデル
  7. Transformerモデルの応用
    1. 文章のクラス分類
    2. 文章の抽出
    3. 抽象型要約
    4. マルチモーダルTransformer

受講料

複数名同時受講割引について

アカデミック割引

日本国内に所在しており、以下に該当する方は、アカデミック割引が適用いただけます。

ライブ配信セミナーについて