我々人間がしゃべっている言葉を理解したり、我々が書いたテキストを解析したりできるコンピュータを目指す技術が自然言語処理です。ビッグデータの中心にあるソーシャルメディアで我々人間が書いているテキストデータは、自然言語処理の格好の対象ですし、人工知能ブームの真只中の現在、我々と対話できるコンピュータの研究開発は非常に重要視されているように思います。
本講義では、自然言語処理の基礎技術から応用技術まで幅広く解説しますが、特に、統計的手法、機械学習を用いた自然言語処理技術に焦点を当てます。後半では、ビッグデータ、人工知能がバズワードとなる現在特に重要と考えられる、Watsonに代表される質問応答技術、テキストマイニング技術、人間との対話技術、深層学習を用いた自然言語処理などの最先端の話題にも触れたいと思います。
- 自然言語処理とは
- 自然言語処理の4つの解析技術
- 情報アクセス技術を支える様々なテキスト処理技術
- 自然言語処理はどこが難しいのか
- 曖昧性と同義性
- ビッグデータ、人工知能ブームと自然言語処理
- 広がる応用
- 統計的手法、機械学習を用いた自然言語処理
- 統計的手法、教師有り学習手法とは
- コーパスとは
- 様々な分類問題
- 系列ラベリング問題としての自然言語処理 (その1) 形態素解析
- 系列ラベリング問題としての自然言語処理 (その2) 固有名抽出
- 統計的構文解析
- 統計的機械翻訳
- 自然言語処理の応用 – 様々なテキスト処理技術
- 質問応答
- テキストマイニング (トレンド分析、評判分析)
- テキスト要約
- 自然言語処理の応用 – 様々なテキスト処理技術
- ユーザプロファイリング
- 語学を中心とした学習、教育支援
- 人間と対話する技術
- 深層学習が実現した自然言語処理のブレイクスルー