3Dセンシング技術 (Light Coding / Time of Flight / Infrared Depth) の動作原理と非接触生体センシング

デプス・センシング・アルゴリズム ( Structured Light技術[V1/RealSense] / Time of Flight技術[V2] / Infrared Depth [次世代] ) の理解から、それを用いた非接触生体センシングの動作原理、ヒューマン・ヘルスケア関連アプリケーションへの展開、及び次世代デバイスHololensのデモまで解説いたします。

1. 第1章 3Dセンサの開発動向
   • 3Dセンサの開発動向を方式別に紹介します。
   1. ストラクチャ光照明方式 (Kinect V1, Carmine, Intel RealSense F-200 / R-200)
   2. ToF (Time of Flight) 方式 (Kinect V2, Senz3D他)
   3. InfraredDepth方式 (SIGGRAPH2014:Microsoft)
   4. Stereoカメラ方式
   5. Leap Motion (魚眼レンズステレオカメラ+赤外線照明)
   6. PTAM方式 (単眼カメラ)
   7. Make3D方式 (単眼カメラ) Cornell大学
   8. 3Dセンサの現状
   9. 日本の3Dの開発動向
2. 第2章 Kinect V2イントロダクション
   • Microsoft社Kinect V2の実機デモによる概要説明 (Kinect for Windows SDK 2.0の基本機能) を行います。
   1. 推奨ハードウェア条件とPCの適合性診断方法
   2. ハードウェア編
      1. 接続構成と接続台数の制約
      2. フルHDカラーカメラ
      3. 赤外線カメラ
      4. 赤外線レーザ
      5. 3軸直交加速度センサ
      6. マイクロフォン・アレイ
   3. ソフトウェア編 (SDK2.0 Build1409版)
      1. Color フルHDカラーカメラのキャプチャ
      2. Depth ToF (Time of Flight) 方式デプスデータの画像化
      3. BodyIndex 人検出 (人物のいる領域を示すデータ)
      4. Infrare アクティブ赤外線画像データ
      5. Body 骨格トラッキング (25点の関節3次元座標、手のグー、チョキ、パー検出)
      6. Audio 音声データ (音源方向検出とビームフォーミング、音声認識)
      7. Face 5つ (両眼、鼻、口角) の特徴点の3次元座標と数種類の表情や状態を検出
      8. HD Face 2,000点の顔モデルと多数の特徴点のキャプチャ
      9. Kinect Fusion 3Dスキャナ
      10. 捕捉事項
   4. Appendix A 3次元グラフィックスの基礎知識～3D-CGモデルについて、ポリゴン描画について、透視変換と光源計算について、Kinect Fusionと光源計算について、光源計算について、Bone、Boneと物理演算
      1. 3D-CGモデルについて
      2. ポリゴン描画について
      3. 透視変換と光源計算について
      4. Kinect Fusionと光源計算について
      5. 光源計算について
      6. Bone
      7. Boneと物理演算
3. 第3章 RealSense F-200 / R-200イントロダクション
   • Intel社RealSense SR-200 / R-200の実機デモによる概要説明 (RealSense SDKの基本機能) を行います。
   1. 推奨ハードウェア条件とPCの適合性診断方法
   2. ハードウェア編
      1. F-200 (後継機はSR-300)
      2. R-200
   3. ソフトウェア編
      1. Color
      2. Depth
      3. Infrared
      4. Hand Tracking
      5. Face Tracking
      6. 3Dスキャン
      7. 捕捉事項
   4. Appendix B Kinect V1～Kinect for Windows [V1]の概略構造～
      1. 拡張現実とは?
      2. 拡張現実関連の時代の流れ
      3. Kinectとは?
      4. Kinectの差異
      5. 推奨ハードウェア条件
         • 本体形状
         • USB2.0 I/Fと電源
         • スティックPCでも動作
      6. Kinectの概略構成
         • RGBカメラ
         • 赤外線プロジェクタ
         • 赤外線カメラ
         • 3軸直交加速度センサ
         • 仰角制御モータ
         • 4つのマイクロフォン
      7. Kinectの内部構造
      8. Kinectの赤外線プロジェクタ
      9. デプスカメラ
      10. Kinectの機能概要
      11. Kinect V1ソフトウェア編～Kinect for Windows SDK Ver.1.8の基本機能紹介とデモ～
          1. カラー画像キャプチャ
          2. デプスイメージ (カラールックアップテーブル方式を例示)
          3. 赤外線カメラ
          4. 骨格トラッキング
          5. 人物検出
          6. カメラ位置補正の方法
          7. 3軸加速度センサと仰角制御
          8. オーディオ
             • 音声認識と音声合成
             • 音源方向検出とビームフォーミング
          9. アバターアニメーション
          10. 顔トラッキング
          11. 手の状態検出 (手のGrab/Pan検出)
          12. Kinect Fusion
          13. 動画作成フリーウェアMikuMikuDance
   5. Appendix C LeapMotion
4. 第4章 アプリケーション事例紹介
   1. 基本技術
      • 骨格トラッキングにより取得した関節3次元座標の時間履歴をFIFOメモリを用いて残像表示。
   2. 拡張現実センシング
      • センサ1個で物理量の分布状態を可視化する
   3. 非接触加速度センシング
   4. 平衡感覚の衰えをセンシング
   5. ハンド・モーション判定
   6. 円運動推定
   7. ハンドジェスチャによる家電制御
   8. エア楽器
   9. Cyber Eye
      • 聴覚で視覚を代替する知覚コンバータ
   10. 赤外線近接NUIによる指先トラッキング
   11. ロボット視線トラッキング
   12. 非接触バイタルセンシング
       • 在宅介護見守りシステムなど
5. 第5章 ToF方式デプスカメラの動作原理
   ～Kinect for Windows V2のTime of Flight方式～
   1. ToF方式デプスカメラのジッターノイズ
   2. ジッターノイズの大きくなる条件
      • ビーム指向性
      • 赤外線吸光度
      • 法線ベクトル
      • 距離減衰 (距離の2乗に反比例)
   3. ToF方式デプスカメラの基本動作原理
   4. ToF方式デプスカメラの測定ステップ
   5. ToF方式デプスカメラの演算動作
      • 環境光オフセット除去
      • アクティブ赤外線
      • デプス値の演算
   6. Microsoft社の米国特許出願内容
   7. C.E.Shannonのチャンネル容量の法則
   8. フレーム移動平均処理 (チャンネル容量の法則)
   9. 法線ベクトルセンシング
   10. Depth Fusion
       • 光源計算 (Lighting) による陰影付け (Shading)
   11. 床面法線ベクトル学習によるポイントクラウドの活用
       1. 見守りシステム (病院、介護施設、在宅)
       2. 浴室見守り
   12. 非接触バイタルセンシングへの応用
       • 矩形領域内加算平均処理と時間履歴データの最小2乗法放物線補間処理 (チャンネル容量の法則)
       • 呼吸・心拍センシング
   13. 補足説明
6. 第6章 Light Coding方式の動作原理、デプスカメラの動作原理
   • デプスカメラを1から作り、機能を再現する
   • 乱数パターンの相互相関で距離を演算
   1. 光切断法による測距 (レーザポインタ)
   2. 光切断法による測距の多重化 (ラインレーザ)
   3. Light Codingとは
      • ランダム・ドット・パターンの自己相関特性による個別ドットの識別方法
   4. イスラエルのPrime Sense社の米国特許出願内容
   5. 乱数投影パターンの数学的性質と相互相関
   6. 可視光プロジェクタとWebカメラによる検証
   7. pre-convoluted patter法 (高速アルゴリズム)
   8. ランダムドットプロジェクタ
   9. Hyper Depth
   10. RealSense SR300
   11. Appendix E Stereo Ir_Cam + Projector
7. 第7章 InfraredDepth方式の動作原理
   • 学習で普通のWebカメラをデプスカメラにしてしまう
   1. Microsoft社のSIGGRAPH2014発表内容
   2. Webカメラを赤外線カメラに改造
   3. InverseSquare法とは
   4. InverseSquare法の検証結果
   5. InverseSquare法の問題点
   6. InverseSquare法の改善策
   7. NeoTechLabのオリジナル・アルゴリズム
8. 第8章 非接触バイタルセンシングの基礎知識
   1. 心拍・呼吸に関する基礎知識
      1. 心臓の構造と心電図
      2. 呼吸動作と酸素供給の関係
      3. 呼吸と心拍揺らぎの関係
      4. 入浴中の心拍揺らぎと年齢
   2. 心拍・呼吸センシングの原理
      1. カラー画像または赤外線画像からの心拍センシング
      2. デプスデータからの呼吸・心拍センシング
      3. KinectV1での非接触呼吸・心拍センシング
      4. スポット光方式
         • 反射光強度分布を放物面関数で近似して精密測距
      5. マーカー方式
         • 濃度分布関数または円形マーカーを用いた精密測距
9. 第9章 アルゴリズムの原理
   1. FIFOアルゴリズム
      1. FIFO
      2. 高速移動平均
      3. 矩形波相関法
   2. 基底遷移アルゴリズム
      1. 放物線補間と3軸加速度検出やノイズ除去
      2. 放物面補間 (輝度分布中心の推定)
      3. 線スペクトルとDCオフセットノイズ除去
      4. 適応フィルタ
      5. デコンボリューション (逆畳み込み演算)
      6. 2次元ポイントクラウド⇒円の中心座標⇒半径
      7. 3次元ポイントクラウド⇒円の中心座標⇒半径
      8. 3次元ポイントクラウド⇒球の中心座標⇒半径
   3. 最小2乗法
      1. 放物線補間
      2. 放物面補間
10. 第10章 Kinect/RealSenseソフトウェア開発環境
11. 第11章 基本プログラミング編
    ～基本的な使い方～
    1. Kinect V2編
       1. Visual C#でWindows Form アプリケーションを作成
       2. Formデザイン
       3. コーディング (宣言部分)
       4. コーディング (初期化処理と終了処理)
       5. マルチ・ソース・フレーム
       6. 表示例
    2. RealSense SR-300編
       1. Visual C#でWindows Form アプリケーションを作成
       2. Formデザイン
       3. コーディング (宣言部分)
       4. コーディング (初期化処理と終了処理)
       5. コーディング (キャプチャ処理部分)
       6. 表示例
12. 第12章 東芝カラー開口撮像技術
13. 第13章 日立レンズレスカメラ
14. 第14章 付録
• 付録1 赤外線ハンドモーションセンサ
• 付録2 カメラで回転角度を検出する方法
• 付録3 Webカメラで心拍センシング
• 付録4 8Mピクセル以上のカメラ解像度で可能になること
• Appendix D Hololens
  • LCOSプロジェクタと直交リフレクタ
  • WLOを用いたSLAMとHPU
  • ToFカメラによるハンドトラッキング
  • 2017年春に登場する$299からのVR HMDとWindows10 Creators Update
  • HP, DELL, LENOVO, ACER, ASUSがVR HMDに参入
• まとめ