クロスモーダル感覚の発生メカニズムと評価、応用

第1部 視覚・色彩情報処理における 質感の計測・解析技術

(2020年7月21日 10:30〜12:00)

本講はマルチモーダルではなく、視覚情報のみである。マット感、光沢感といった身近な質感の仕組みを説明する。 まず、質感用語の概念を述べ、質感知覚が物体表面上の光反射に基づくことを示す。
反射の計測方法と反射の数学モデルを展開する。
プラスチックや金属等の各種物体の反射特性を述べる。応用として、絵画、化粧肌、蛍光における質感を述べる。
時間が十分ないので途中で打ち切ることになる。

1. 視覚情報から材質判定は可能か?
2. 粗さ感、蛍光感、光沢感、つや感、金属感、マット感とは?
3. 画像生成の過程
4. 各種物体の光反射特性
5. 反射のモデル化
6. 画像による質感の計測
7. 絵画の質感の計測と解析
8. 化粧肌の質感解析
9. 蛍光物体の質感解析
• 質疑応答

第2部 VR・ARにおける視覚情報の認知特性とクロスモーダル効果

(2020年7月21日 12:50〜14:50)

　頭を動かしても世界が動いているようには知覚されず、視野は安定しています。また、日常的に自分の手の動きを見ながら様々な操作をしています。VR技術を用いることで、これらのメカニズムや可塑性を調べることができることや新たなヒューマンインターフェースが構築できることについて具体的な例を示します。 　また、視覚情報は触覚にも影響することを、機械系を含む実験装置で測定した例を紹介し、ハプティックデバイスの最適セッティングや限界を超える手法について説明します。 　さらに、人工現実感 (VR) や拡張現実感 (AR) の技術を応用することで、視聴覚情報が食品のおいしさに与える影響 (クロスモーダル効果) が精密に測定できること、食品設計におけるクロスモーダル効果応用を指向する「食品情報工学」の展望について言及します。

1. 視野安定と手の動作における知覚システムの可塑性
   1. 視覚運動と身体運動の相互作用
   2. 視覚運動と手指操作の相互作用
2. 視覚が触覚に与えるクロスモーダル効果
   1. 視覚情報と粗さ感の相互作用
   2. 視覚情報と触圧覚の相互作用
3. 視覚が食感・味覚に与えるクロスモーダル効果
   1. 視覚情報と食品知覚の相互作用
   2. 視覚情報と飲料知覚の相互作用
• 質疑応答

第3部 マルチモーダルにおける感覚の相互作用とその応用

(2020年7月21日 15:00〜16:30)

1. 人間の認知メカニズム
2. 五感インタフェース技術と応用事例
3. 感覚間相互作用とその利用
4. 自己認識メカニズムとそのインタフェースへの利用・例
5. 情動のメカニズムのインタフェースへの利用
6. 認知バイアスのインタフェースへの利用
• 質疑応答