本セミナーでは、コミュニケーション中に人が表出する言語・非言語マルチモーダル情報 (言語・音声・視線・姿勢・ジェスチャ・生体情報など) を統合的に処理することによって、その人の行動や感情、態度、個性といった内面状態を推定する技術に関して解説いたします。
性格、感情、認知状態、社会的コミュニケーションスキルといった人間の内面は、行動・言語といったマルチモーダル情報として観測されることが社会学・心理学・認知科学等の知見として得られている。 マルチモーダル情報より多様な内面状態を推定・生成する技術は「社会的信号処理 (Social Signal Processing) 」と呼ばれている。 本講義では社会的信号処理の根幹となる、カメラ・マイク・生体センサといった複数のセンサから取得されるマルチモーダル時系列データより、多様な人間の内面状態を自動推定するためのマルチモーダル情報処理・機械学習技術を体系的に解説する。また社会的信号処理の応用として、「対話中の感情認識」、「プレゼンテーション・対人コミュニケーションスキルの推定」、「運転行動情報に基づく認知機能の推定」、「日常行動計測に基づく認知症傾向の推定」、「マルチモーダル対話ロボット」といった幅広い事例を紹介する。