性格、感情、認知状態、社会的コミュニケーションスキルといった人間の内面は、行動・言語といったマルチモーダル情報として観測されることが社会学・心理学・認知科学等の知見として得られている。 マルチモーダル情報より多様な内面状態を推定・生成する技術は「社会的信号処理 (Social Signal Processing) 」と呼ばれている。
本講義では社会的信号処理の根幹となる、カメラ・マイク・生体センサといった複数のセンサから取得されるマルチモーダル時系列データより、多様な人間の内面状態を自動推定するためのマルチモーダル情報処理・機械学習技術を体系的に解説する。また社会的信号処理の応用として、「対話中の感情認識」、「プレゼンテーション・対人コミュニケーションスキルの推定」、「運転行動情報に基づく認知機能の推定」、「日常行動計測に基づく認知症傾向の推定」、「マルチモーダル対話ロボット」といった幅広い事例を紹介する。
- マルチモーダル社会的信号処理の導入
- マルチモーダル社会的信号処理のための理論
- 社会言語学の知見
- 社会心理学の知見
- 社会的信号処理に用いるマルチモーダル情報処理のための基礎
- 音声情報処理
- 画像情報処理
- 言語情報処理
- 生体情報,その他のセンサ情報処理
- 社会的信号処理のためのAI技術
- 機械学習
- 分類・回帰学習
- 時系列データの学習
- マルチモーダル情報の統合手法
- マルチモーダル機械学習
- データマイニング
- 時系列データからのパターン発見
- 時系列パターンのクラスタリング
- 社会的信号処理モデルの構築方法
- データコーパスの収集
- 心理学の知見を利用した正解ラベルデータの作成方法
- 入力モダリティの選定
- マルチモーダル特徴量の抽出
- マルチモーダル情報の機械学習・評価
- 社会的信号処理の応用実例
- マルチメディアコンテンツ解析
- マルチモーダル感情認識
- コミュニケーション・プレゼンテーション能力の推定
- 運転行動データに基づく認知機能の推定
- 行動情報に基づくストレス推定
- 行動データに基づく認知症傾向の推定
- マルチモーダル会話ロボット
- ユーザの内的状態推定に基づくロボットの会話戦略
- ユーザの面接対話スキル判定機能を備えた就職面接訓練エージェントシステム
- 社会的信号処理・マルチモーダル情報処理の課題