Transformerの言語・画像・音声分野への応用

オンライン 開催

本セミナーでは、様々な分野で使われるようになってきた Transformerについて、基礎となる理論と応用を解説いたします。

日時

開催予定

プログラム

本セミナーでは、様々な分野で使われるようになってきた Transformerについて、基礎と応用を解説します。  応用として、自然言語、画像、音声分野への適用を紹介します。言語分野で用いられるBERT、自己回帰型言語モデルにおける自己教師あり学習との関連を解説し、文書検索・言語理解などの応用を紹介します。画像分野における応用を紹介し、フローモデルと拡散モデルを解説し、テキストからの画像生成を紹介します。

  1. Transformer の基礎となる理論
    1. 再帰型ネットワーク
    2. 系列変換モデルによる機械翻訳
    3. 注意機構による対応付け
    4. 自己注意機構
    5. Transformer
  2. 自己教師あり学習
    1. 対照学習による特徴ベクトルへの変換
    2. CLIP:Contrastive Language-Image Pre-training
    3. マスクを用いた自己教師あり学習
  3. Transformerの言語処理への適用
    1. 機械翻訳への適用
    2. BERT (Bidirectional Encoder Representations from Transformers)
    3. BERTを用いた文書検索と言語理解
    4. 自己回帰型の言語モデル
      • GPT
      • GPT-3:Generative Pre-trained Transformer
  4. Transformerの音声と画像分野への応用
    1. 音声分野における応用 (Conformer)
    2. 画像分野における応用
      • Vision Transformer
      • Mobile-former
      • Masked-Autoencoder
    3. フローモデルと拡散モデル
    4. テキストからの画像生成
      • DALL-E
      • DALL-E2
    5. 今後の展望

受講料

  • 1名様: 47,000円(税別) / 51,700円(税込)
  • 複数名: 57,000円(税別) / 62,700円(税込)

ライブ配信セミナーについて

  • 本セミナーは「Zoom」を使ったライブ配信セミナーとなります。
  • お申し込み前に、 視聴環境 と テストミーティングへの参加手順 をご確認いただき、 テストミーティング にて動作確認をお願いいたします。
  • 開催日前に、接続先URL、ミーティングID​、パスワードを別途ご連絡いたします。
  • セミナー開催日時に、視聴サイトにログインしていただき、ご視聴ください。
  • ご自宅への書類送付を希望の方は、通信欄にご住所・宛先などをご記入ください。
  • タブレットやスマートフォンでも受講可能ですが、機能が制限される場合があります。
  • ご視聴は、お申込み者様ご自身での視聴のみに限らせていただきます。不特定多数でご覧いただくことはご遠慮下さい。
  • 講義の録音、録画などの行為や、権利者の許可なくテキスト資料、講演データの複製、転用、販売などの二次利用することを固く禁じます。
  • Zoomのグループにパスワードを設定しています。お申込者以外の参加を防ぐため、パスワードを外部に漏洩しないでください。
    万が一、部外者が侵入した場合は管理者側で部外者の退出あるいはセミナーを終了いたします。
再開催を依頼する 関連するセミナー・出版物を探す