Transformerの応用と最新技術動向

本セミナーでは、様々な分野で使われるようになってきた Transformerについて、基礎となる理論と応用を解説いたします。

日時

開催予定

自然言語、音声、画像の3つの分野での応用と留意点を解説します。またTransformerを用いた事前学習のモデルであるBERTについて、人工的なタスク設定と表現学習の観点から解説し、文書検索や言語理解などの応用を解説します。また自己回帰型の言語モデルとテキストからの画像生成を紹介します。

Transformer の基礎となる理論
1. 再帰型ネットワーク
2. 系列変換モデルによる機械翻訳
3. 注意機構による対応付け
4. 自己注意機構
5. Transformer
Transformerの応用
1. 機械翻訳への適用
2. 音声分野における応用 (Conformer)
3. 画像分野における応用 (Vision Transformer)
4. 最近の技術動向の紹介
言語処理と言語生成への適用
1. 人工的なタスク設定と表現学習
2. BERT (Bidirectional Encoder Representations from Transformers)
3. BERT を用いた文書検索と言語理解
4. 言語モデル (GPT、GPT-2、GPT-3:Generative Pre-trained Transformer)
5. テキストからの画像生成 (DALL-E)

本セミナーは「Zoom」を使ったライブ配信セミナーとなります。
お申し込み前に、視聴環境とテストミーティングへの参加手順をご確認いただき、テストミーティングにて動作確認をお願いいたします。
開催日前に、接続先URL、ミーティングID、パスワードを別途ご連絡いたします。
セミナー開催日時に、視聴サイトにログインしていただき、ご視聴ください。
ご自宅への書類送付を希望の方は、通信欄にご住所・宛先などをご記入ください。
タブレットやスマートフォンでも受講可能ですが、機能が制限される場合があります。
ご視聴は、お申込み者様ご自身での視聴のみに限らせていただきます。不特定多数でご覧いただくことはご遠慮下さい。
講義の録音、録画などの行為や、権利者の許可なくテキスト資料、講演データの複製、転用、販売などの二次利用することを固く禁じます。
Zoomのグループにパスワードを設定しています。お申込者以外の参加を防ぐため、パスワードを外部に漏洩しないでください。
万が一、部外者が侵入した場合は管理者側で部外者の退出あるいはセミナーを終了いたします。