Word2vecの登場以降ELMo、BERTといった事前学習済みモデルの発展により自然言語処理における各タスクの精度は飛躍的に向上した。
本講座ではそれらの発展を順に説明し、ChatGPTやGPT-4といった産業上重要な位置を占めると考えられるモデルの歴史的な位置づけを把握することを助ける。また現在の大規模事前学習済み言語モデルとっての残された課題についても紹介する。
- 本日紹介する内容
- 単語分散表現とその利用
- word2vec
- word2vecの派生
- 言語モデル
- 再帰型ニューラルネットワーク
- Long short-term memory (LSTM)
- 系列変換モデル (seq2seq)
- エンコーダ・デコーダ
- 注意付きエンコーダ・デコーダ
- 事前学習済み言語モデル
- ELMo
- Transformer
- BERT
- BERTの派生
- 系列変換モデル
- 大規模事前学習済み言語モデル (LLM)
- 最新の動向
- 残された課題