本セミナーでは、最近の技術的基盤となっているTransformerとBERTの基本的な考え方を理解することを目標に、深層学習の初歩的な内容からの主要な技術とその自然言語処理への応用について概説いたします。
深層学習の手法が自然言語処理に導入され始めて10年ほどが経過し、機械翻訳を筆頭に自然言語処理技術を取り巻く環境は大きく変貌を遂げたと言ってよい. 本講義では、最近の技術的基盤となっているTransformerとBERTの基本的な考え方を理解することを目標に、深層学習の初歩的な内容からの主要な技術とその自然言語処理への応用について概説する。