機械学習を用いた感覚・認知機能の可視化と評価技術

第1部. 音声の質感認識メカニズムと機械学習への応用

(2021年9月7日 10:00〜11:30)

　質感認識は、視覚や聴覚、触覚、嗅覚、味覚といった五感を通じた脳による物体の本性の解読であり、知覚の対象がどういった性質をもつのかを瞬時に理解することである。例えば、聴覚では、音を聴いただけで音を発した物体の性質 (生物/無生物、個体差など) を瞬時に見極めることができる。そのため、音の質感認識には、音の質感と音源の性質とを関連付けるシステムが存在すると考えられている。さらに、聴覚では、音源の性質だけでなく、音がどのような環境で発せられたかという音環境の性質も同時に認識することができる。例えば、同じヒトの声でもリビングで聞いた声と大浴場で聞いた声の質や印象は明らかに異なるが、声を発したヒトが誰であるのかといった音源の本性はきちんと見極めることができる。これは、環境によって音の質がどのように変化するかを踏まえた上で、物体の質感を認識していることを示唆している。 　今回は質感認識に関する研究プロジェクト (科研費・新学術領域研究、多元質感知) 2) にて実施した演者の研究グループの課題「振幅変調の概念に基づいた聴覚の質感認識メカニズムの理解」のうち、音声の感情知覚に対象を絞り、音声の質感認識メカニズムの理解と機械学習への応用について概説する。

1. 聴覚の質感認識メカニズム
   1. 聴知覚メカニズムと質感認識
   2. 音質評価指標と質感認識
   3. 音声の非言語知覚と質感認識
   4. 感情知覚モデル
   5. 雑音駆動音声を利用した音声知覚
2. 感情音声の認識実験
   1. 雑音駆動音声を利用した感情知覚実験
   2. 感情知覚実験の結果
3. 変調スペクトル分析
   1. 変調スペクトログラム
   2. 分析結果
4. 変調スペクトルに現れる感情の特徴分析
   1. 変調スペクトルの特徴
   2. 弁別指標
   3. 感情知覚データと変調スペクトルの特徴の間の類似度
5. 機械学習による感情音声認識への応用
   1. 感情音声認識システム
   2. 感情音声認識実験
• 質疑応答

第2部. 香り情報の計測とAI技術を活用した識別法

(2021年9月7日 12:15〜13:45)

　香りの研究は五感 (視覚・聴覚・触覚・嗅覚・味覚) の中で最も遅れている。これは、視覚・聴覚・触覚が光・音・圧力などの物理量を対象にするのに対し、嗅覚は化学的変化に基礎を置いているためである。近年、生体の嗅覚原理が明らかになり、香り計測するセンサが開発されている。さらに、種々の信号処理および脳の情報処理機構が進歩したことによる。 　本稿では、香りの中でも、ヒトの感性に最も関連が深いと思われる香りに焦点を当て、脳波による香り検出および半導体ガスセンサによる香り計測法およびAI技術を活用した香り識別法とその結果について述べる。

1. 脳波測定による香り検出
   1. 脳波
   2. 脳波の基礎律動
   3. 脳波の計測方法
      • 脳波の記録方法
      • 頭皮上電極
      • ジェルを用いた記録方法
   4. Emotivによる脳波の計測と処理結果
      • 心地よい香りの場合 (Juniper Aloe 100ppb)
      • 嫌な臭いの場合 (イソ吉草酸1ppb)
2. 香りセンサを用いた官能評価
   1. 金属酸化物半導体センサの原理
   2. 香り計測手法
   3. 機械学習による香り識別の原理
      • 誤差逆伝播法
      • 学習ベクトル量子化法
   4. アロマデータの計測方法と測定データ
   5. 香り識別結果
      • 誤差逆伝播法による識別結果
      • 学習ベクトル量子化法による識別結果
      • 識別結果の評価
• 質疑応答

第3部. 感性的触感を含む多様な触感の計測・分析・モデリング

(2021年9月7日 14:00〜15:30)

　触り心地と呼ばれるような触感は主観的であり製品などの設計において魅力的な要素である。触感は、粗さ感 (サラサラ) 、硬軟感 (フワフワ) 、というような対象物の物理的特性に大きく結びついた触感や、高級感のような感性的な触感など、非常に多様である。本講演では、主観的で多様な触感を評価・計測するための手法から、触感を分析するための手法、触感を設計するための手法などを、最新の関連研究を交えながら概説する。

1. 多様な触感とは
   1. 5種の素材知覚
   2. 感性的な触感
2. 触感の計測手法
   1. 官能評価による触感計測
   2. 触感に関わる物理量の計測
3. 触感の分析手法
   1. 多変量解析による触感の関係性評価
   2. 触感の階層性評価
4. 触感の設計手法
   1. 簡易的な触感のモデリング
   2. 複雑な触感のモデリング
• 質疑応答

第4部. 機械学習を応用した触覚インターフェースの開発

(2021年9月7日 15:45〜17:15)

　力触覚インタフェースではその目的から、計測 (入力) と提示 (出力) に大別できる。入力を目的とした力触覚インタフェースにおいては、タッチパネルのように触れた情報を計測してシステムの操作に利用したり、信号を解析して行動を認識したり、対象物を認識したりするための利用が考えられる。一方、出力を目的とした力触覚インタフェースにおいては、刺激提示により高品質な触感を再現したり、義手の感覚フィードバックように身体機能を補綴したり、装具を利用して身体を拡張して人の運動を補助したり、といった利用方法が考えられる。 　インタフェースの機能を実現する上では、計測信号からいかに必要な情報を抽出するかが重要であり、機械学習が果たす役割は大きい。とりわけ力触覚インタフェースにおいては、デバイスの機械的干渉性やモダリティの多様性が問題となり、視覚や聴覚とは異なる難しさがあるが、これらの問題解決においても機械学習における推定や認識手法、予測や生成手法が有効である。力触覚の計測においては、デバイスによる機械的な制限を軽減して目的の情報を取得できることが望ましい.機械学習によって目的の情報を推定することで、生体や環境に調和した (スマートな) インタフェースを構築することができる。 　また、計測した触覚に関する信号を用いて、対象物の物性や性質、素材などの分類を行う手法についても様々な研究が行われている。例えば、対象物を道具でなぞった際の加速度情報から素材の分類を行う手法や、対象物に検出デバイスを押し付けた際の圧力分布から硬さを推定する方法 などが開発されている。さらに、提示においては、身体の動きに応じて適切な触覚刺激を予測する方法や、特定の作業を支援するための刺激モデルの構築、任意の素材感を合成して再現するための振動刺激の生成など、機械学習によって信号を予測、生成する方法が有効である. 　今回は機械学習を利用した力触覚情報の推定に焦点をあて、推定問題に共通した重回帰分析の基礎を説明し、 (1) 手首形状から動作を推定するインタフェース技術 (人の理解) 、 (2) 脈波から接触力を推定するインタフェース技術 (人と環境の相互作用の理解) 、 (3) 爪の色と変位から対象物の硬さを推定するインタフェース技術 (環境の理解) 、の三つの事例について紹介する.

1. 回帰分析
   1. モデル
   2. 学習と評価
2. 動きの推定
   1. 手法
   2. 実験
3. 接触力の推定
   1. 手法
   2. 実験
4. 物体の硬さ推定
   1. 手法
   2. 実験
• 質疑応答