生体情報計測による感情の可視化と活用事例

第1部 瞳孔反応による情感解析と可能性

(2020年9月9日 10:30〜12:00)

　無意識の情動反応である瞳孔の計測から解析の最新技術と応用事例、今後の可能性などを説明します。瞳孔反応解析では明るさなどの影響を除去し、さらに独自アルゴリズムを有する表情反応解析との連動で人の情感を数値化します。

1. 瞳孔反応とは
   1. 参考映像 (番組紹介より抜粋)
   2. 瞳孔に着目した理由
   3. 注目・関心で瞳孔は開く (ある論文との出会い)
   4. 明るさや他の生理反応の影響
   5. 目は心の窓 (嘘を見抜く)
   6. 情感とは (表情反応との連動)
   7. 取得及び申請済み特許概要
2. 計測から解析
   1. 計測機器 (視線・瞳孔計測:据え置き型・移動型)
   2. 計測機器 (表情計測)
   3. 輝度の重要性 (最新輝度計測システム開発)
   4. 解析概要 (明るさや他の生理反応除去:瞳孔)
   5. 解析概要 (独自のアルゴリズム:表情)
   6. 可視化プログラム紹介 (最新開発版)
3. 情感解析の応用
   1. 何に利用できるか
   2. 応用事例1 (視覚・マーケティングなど)
   3. 応用事例2 (嗅覚:自律神経検査実験)
4. 応用事例3 (触覚:反応実験)
5. 応用事例4 (聴覚:反応実験)
6. 応用事例5 (イメージ想起)
7. 視認対象効果度とは (視聴の質を数値化:特許取得)
8. 番組とCMの注目度変化事例 (同じCMでも番組の影響を受ける)
9. 将来への取り組みと可能性
   1. デバイスの将来 (研究用から一般向け)
   2. 事業への取り組みなど
• 質疑応答

第2部 顔表情・音声・会話文のマルチモーダルな感情推定と応用事例

(2020年9月9日 12:45〜14:15)

　本講演では複数のモダリティを統合した感情推定手法について研究事例を紹介する。具体的には顔表情・音声・会話文などのモダリティを統合した感情推定について紹介し、最近の研究内容についても概要を紹介する。 　本講演では簡単な画像処理・音声処理・自然言語処理を用いた感情推定方法を習得できる。また、各モダリティ情報を数値化するモーダル値と時系列データに対するモーダル値の計算方法の一手法を習得できる。

1. はじめに
2. マルチモーダルな感情推定モデル
   1. 顔表情を用いた感情モーダル値計算
   2. 音声を用いた感情モーダル値計算
   3. 会話文を用いた感情モーダル値計算
   4. モーダル値を統合した感情推定
3. 深層学習モデルを用いた時系列情報のモーダル値計算
   1. リカレントニューラルネットワークによる分散表現獲得
   2. 人物の行動情報によるモーダル値計算
   3. 未学習行動クラスのモーダル値の分布
   4. 画像情報と音情報のモーダル値統合に向けて
4. おわりに
• 質疑応答

第3部 人の内面状態推定技術とその応用

- ウェアラブルセンサからの 生体情報を用いたストレス、気分、健康度の予測 -

(2020年9月9日 14:30〜16:00)

　あなたは、明日のご自身の感情やストレス、健康状態をどの程度予測できますか? もし、それらの内面状態を高精度に予測できるとしたら、生活をどのように変化させたいですか? 近年、多くの方が、腕時計型ウェアラブルデバイスなどを身につけ、個人の日常生活の生体情報を定量化しています。データを取りため可視化する以外に、収集したデータはどう活用できるでしょうか。私は、収集されたデータの意味を理解し、人の内面状態を推定し、さらに未来の内面状態まで予測することで、自身の感情と行動をより良い方向へ導くことが出来るようなシステムの研究に取り組んでいます。本講演では、まず、アフェクティブコンピューティングと呼ばれる心理学、認知科学、社会学などとも結びつく研究分野の概要とその歴史について皆様と共有し、どのような情報から感情が推定できるかを、現在取り組んでいる機械学習を活用した気分、ストレス、健康度の予測の研究と絡めて、ご紹介します。 　ストレス、感情などの人の内面状態を推定する技術の基礎を学び、その応用事例、最新動向を理解する。

1. あなたの現在の感情、ストレス、健康状態は?
2. アフェクティブコンピューティング (Affective computing) とは
   1. アフェクティブコンピューティングの歴史
   2. 内面状態の1つ“感情”とは
3. どのように人の内面状態を測るか
   1. 人の内面状態の計測方法
   2. 映像からの心拍推定
      1. 顔映像からの心拍推定のフロー図
      2. 顔映像からの心拍推定結果
      3. 応用例
   3. 皮膚電気活動 (EDA:Electrodermal Activity)
      1. 皮膚表面で起こること
      2. 皮膚電気活動を測るセンサ
      3. 皮膚電気活動による感情分類
      4. 運転中のストレス検出
      5. 応用例
4. ストレスの未来予測はできるか
   ～ウェアラブルセンサからの生体情報を用いたストレス、気分、健康度の予測～
   1. 社会課題
      1. WHO報告によるうつ病
      2. ストレス
   2. ストレス脆弱性モデル
   3. 目指すシステム
   4. 明日のストレス予測
      1. 実験に用いたデータ
      2. 評価手法
      3. 実験結果 1:ストレス予測精度
   5. 明日の気分・健康度予測
      1. 実験結果 2:気分予測精度
      2. 実験結果 3:健康度予測精度
5. おわりに
   1. 人々を健康でより良い方向へ導くために – 実応用例 -
   2. まとめ
• 質疑応答