AI・人工知能による感情センシングと応用事例

第1部 生成AI時代における認知モデルおよび認知アーキテクチャの役割

(2026年6月30日 12:30〜13:30)

　センシング技術により、人の感情・注意・認知負荷などの状態を推定することが可能になりつつある。本講座では、そうした状態値を認知モデルおよび認知アーキテクチャの中でどのように表現し、行動理解や支援に活用できるかを解説する。また、生成AIを活用した認知モデルの構築についても触れる。 　生成AI時代における認知モデル・認知アーキテクチャの役割と基本的な考え方を理解する。センサやAIから得られる人の状態に関する値を、注意・記憶・目標・行動選択などの認知過程に接続する視点を学ぶ。

1. 生成AI時代における認知モデルの必要性
   1. 生成AIの発展と人間理解の課題
   2. データからの推定と、認知過程としての説明の違い
   3. 認知モデル・認知アーキテクチャが果たす役割
   4. 感情センシングと認知モデリングの接点
2. 人の状態値をどう捉えるか
   1. 感情、注意、興味、認知負荷、覚醒度の位置づけ
   2. センサやAIにより得られる状態値の意味
   3. 主観報告、行動データ、生理指標の関係
   4. 状態値をそのまま解釈することの限界
3. 認知アーキテクチャの基本的考え方
   1. 認知アーキテクチャとは何か
   2. ACT-Rにおける目標、記憶、知覚、運動のモデル化
   3. 認知過程を計算モデルとして表現する意義
   4. 人の状態をモデルの入力・パラメータ・制御変数として扱う考え方
4. 状態値を認知過程に接続する方法
   1. 注意状態を情報選択や処理資源の変化として表す
   2. 認知負荷を処理時間、誤り、記憶検索困難として表す
   3. 感情や興味を目標選択、行動継続、探索行動に接続する
   4. 覚醒度やストレスを判断速度や行動選択の変化として扱う
5. 応用と今後の展望
   1. 作業支援・教育支援における状態推定と介入タイミング
   2. 対話AI・エージェントにおけるユーザ状態のモデル化
   3. 生成AIと認知アーキテクチャを組み合わせた人間中心AI
   4. 今後の課題:個人差、文脈依存性、説明可能性、倫理
• 質疑応答

*
h4. 第2部 AIを用いた遠隔メンタルヘスルケアシステムの開発

(2026年6月30日 13:40〜14:40)

　メンタルヘルス診断のDXの観点から、スマートフォンで取得したテキスト、音声、画像などのマルチモーダル情報から日々のメンタル状況を常にモニタリングし、未病段階でユーザにメンタル不調の気付きを与え、ストレス解消行動の喚起を提供するシステムの実現を目指す。メンタル不調の検出はマルチモーダルAIモデルにより実現する。

1. はじめに
2. 先行研究
   1. MELD
   2. MuSe: a Multimodal Dataset of Stressed Emotion
   3. IEMOCAP
   4. CMU-MOSEI
   5. 注意機構に基づく特徴量融合による顔および音声特徴を用いたマルチモーダル感情推定
   6. 音声・テキスト・表情・動作のマルチモーダル感情推定
   7. IEMOCAPやMELDデータセットを比較した研究
   8. マルチモーダル感情推定における非接触技術
   9. 生体信号による感情推定の精度向上の可能性
3. 感情ラベル付きカウンセリングマルチモーダルデータセット
   1. マルチモーダルデータの収集方法
   2. アノテーションを行うための前処理 (匿名化処理)
   3. マルチモーダル特徴量の抽出
   4. 感情ラベルのアノテーションと評価
4. データセットの分析
   1. モダリティごとに感情推定した結果とアノテーションされた感情との相関分析
   2. 特徴量間の相関分析
   3. 特徴量とストレスレベルの相関分析
   4. 特徴量と感情との相関分析
   5. 感情とストレスレベルの相関分析
5. モデル構築と評価
   1. 感情推定モデルの構築
   2. 感情推定モデルの評価
• 質疑応答

第3部 感性・感情・印象の評価・定量化・モデル化への挑戦

(2026年6月30日 14:50〜16:20)

　人間は誰しも「感性」をもっており、「感情」を表出したり「印象」を感じて意思決定や行動選択を行います。つまり、「感性・感情・印象」は人間の人間らしさの本質であるといっても過言ではありません。しかし、「感性・感情・印象」を定量的に捉えることは困難です。 　一方、情報技術、特に、人工知能技術の発展に伴い、人間と技術の共生の観点からは、様々な技術開発・商品開発においても人間の「感性・感情・印象」を十分に考慮することが一層重要となります。 　そこで、本講演では、「感性・感情・印象」の評価・定量化・モデル化について研究事例を紹介しながら、技術としての展開の可能性を議論したいと思います。さらに、生体計測による心理状態の推定の可能性と応用についても議論したいと思います。なお、機械学習、データ分析手法等の理論や技術の詳細は扱いません。

1. 感性、感情、印象の定量化に向けて
   1. 感性・感情・印象の科学的定義
   2. 感性・感情・印象への情報科学的アプローチ
   3. 感性・感情・印象の評価・定量的測定手法
   4. 感性・感情・印象のモデル化手法
2. 評価、定量化、モデル化に向けた測定手法 (事例紹介)
   1. 感性・感情・印象への心理学的アプローチ
   2. 印象のマルチモーダル評価
   3. 機械学習を用いた感性のモデル化
   4. 感情表出に関する脳機能モデリング
   5. ロボットとのインタラクションにおける「感」の共有
3. 生体計測による心理状態の推定
   1. 生体計測と心理状態との関係
   2. 教育・学習文脈での心理状態の推定と学習支援の試み
• 質疑応答