3Dセンシング技術 (Light Coding / Time of Flight / Infrared Depth) の動作原理と非接触生体センシング

デプス・センシング・アルゴリズム (Light Coding技術[V1] / Time of Flight技術[V2] / Infrared Depth [次世代] ) の理解から、それを用いた非接触生体センシングの動作原理、ヒューマン・ヘルスケア関連アプリケーションへの展開、及び次世代デバイスHololensまでを解説

1. 『3Dセンサの開発動向』
   … 3Dセンサの開発動向を方式別に紹介します。
   1. ストラクチャ光照明方式 (Kinect V1, Carmine, Intel RealSense F-200 / R-200)
   2. ToF (Time of Flight) 方式 (Kinect V2, Senz3D他)
   3. InfraredDepth方式 (SIGGRAPH2014:Microsoft)
   4. Stereoカメラ方式
   5. Leap Motion (魚眼レンズステレオカメラ+赤外線照明)
   6. PTAM方式 (単眼カメラ)
   7. Make3D方式 (単眼カメラ) Cornell大学
   8. 3Dセンサの現状
2. Kinect V2イントロダクション』
   … Microsoft社Kinect V2の実機デモによる概要説明 (Kinect for Windows SDK 2.0の基本機能) を行います。
   1. 【推奨ハードウェア条件とPCの適合性診断方法】
   2. 【ハードウェア編】
      1. 接続構成と接続台数の制約
      2. フルHDカラーカメラ
      3. 赤外線カメラ
      4. 赤外線レーザー
      5. 3軸直交加速度センサ
      6. マイクロフォン・アレイ
   3. 【ソフトウェア編】 (SDK2.0 Build1409版)
      1. Color フルHDカラーカメラのキャプチャ
      2. Depth ToF (Time of Flight) 方式デプスデータの画像化
      3. BodyIndex 人検出 (人物のいる領域を示すデータ)
      4. Infrared アクティブ赤外線画像データ
      5. Body 骨格トラッキング (25点の関節3次元座標、手のグー、チョキ、パー検出)
      6. Audio 音声データ (音源方向検出とビームフォーミング、音声認識)
      7. Face 5つ (両眼、鼻、口角) の特徴点の3次元座標と数種類の表情や状態を検出
      8. HD Face 2,000点の顔モデルと多数の特徴点のキャプチャ
      9. Kinect Fusion 3Dスキャナ
   4. 【応用編】
      1. トラッキングポイントの時間履歴の残像表示
      2. センサ1個で物理量の分布状態を可視化するARセンシング
      3. 非接触加速度センシング
      4. ハンド・モーション判定
      5. 円運動推定
      6. ハンドジェスチャーによる家電制御
      7. エア楽器
      8. 聴覚で視覚を代替する知覚コンバータCyber Eye
      9. 赤外線近接NUIによる指先トラッキング
      10. 視線トラッキング
3. 『RealSense F-200 / R-200イントロダクション』
   … Intel社RealSense F-200 / R-200の実機デモによる概要説明 (RealSense SDKの基本機能) を行います。
   1. 【推奨ハードウェア条件とPCの適合性診断方法】
   2. 【ハードウェア編】
      1. F-200
      2. R-200
   3. 【ソフトウェア編】
      1. Color
      2. Depth
      3. Infrared
      4. Hand Tracking
      5. Face Tracking
      6. Eye Tracking
      7. 3Dスキャン
   4. 【Appendix A】
      • 『Kinect V1』～Kinect for Windows [V1]の概略構造～
      • A.1 本体形状、USB2.0 I/Fと電源
      • A.2 RGBカメラ
      • A.3 赤外線プロジェクタ
      • A.4 赤外線カメラ
      • A.5 3軸直交加速度センサ
      • A.6 仰角制御モーター
      • A.7 4つのマイクロフォン
   5. 【Appendix B】
      • 『Senz3D』
   6. 【Appendix C】
      • 『LeapMotion』
4. 『ToF方式デプスカメラ動作原理と欠点、及びその克服方法』～Kinect for Windows V2のTime of Flight方式～
   1. ToF方式デプスカメラのジッターノイズ
   2. ジッターノイズの大きくなる条件
      … ビーム指向性、赤外線吸光度、法線ベクトル、距離減衰 (距離の2乗に反比例)
   3. ToF方式デプスカメラの基本動作原理
   4. 測定ステップ
   5. 環境光オフセット除去とアクティブ赤外線
   6. デプス値の演算原理
   7. Microsoft社の米国特許出願内容とその動作原理
   8. ノイズを克服するためのC.E.Shannonのチャンネル容量の法則
   9. フレーム移動平均処理 (チャンネル容量の法則)
   10. 法線ベクトルセンシング
   11. 光源計算 (Lighting) による陰影付け (Shading) を行ったデプス画像 (Depth Fusion)
   12. 床面法線ベクトル学習によるポイント・クラウドの活用
       … 見守りシステム (病院、介護施設、在宅) 、浴室見守り
   13. 非接触バイタルセンシングへの応用
       … 矩形領域内加算平均処理と時間履歴データの最小二乗法放物線補間処理 (チャンネル容量の法則) 、呼吸・心拍センシング
   14. 【AppendixD】
       • 『3D-CGモデルについて』
       • 『ポリゴン描画について』
       • 『透視変換と光源計算について』
       • 『Kinect Fusionと光源計算について』
       • 『光源計算について』
       • 『Bone』
5. 『Light Coding方式デプスカメラ動作原理とアルゴリズム編』
   … Kinect for Windows V1, RealSense F-200, R-200
   1. レーザーポインタを用いた光切断法による測距
   2. ラインレーザーを用いた光切断法による測距多重化
   3. Light Codingとは
      … ランダム・ドット・パターンの自己相関特性による個別ドットの識別方法
   4. デプスカメラの動作原理
      … デプスカメラを1から作り、機能を再現する、乱数パターンの相互相関で距離を演算
      1. イスラエルのPrime Sense社の米国特許出願内容
      2. 乱数投影パターンの数学的性質と相互相関
      3. 可視光プロジェクタとWebカメラ
      4. pre-convoluted pattern法 (高速アルゴリズム)
      5. デプスカメラ原理まとめ
6. 『InfraredDepth方式の動作原理』
   … 学習で普通のWebカメラをデプスカメラにしてしまう～
   1. Microsoft社のSIGGRAPH2014発表内容
   2. NeoTechLabのオリジナル・アルゴリズム
7. 『非接触画像生体計測の基礎知識』
   1. 【センシングの原理】
      1. カラー画像または赤外線画像からの心拍センシング
      2. デプスデータからの呼吸・心拍センシング
      3. マーカー方式
      4. レーザーポインタ方式
      5. スポット光方式
   2. 【心拍・呼吸センシング原理】
      1. 心臓の構造と心電図
      2. 呼吸動作と酸素供給の関係
      3. 何故健常者の心拍は揺らぐのか?
      4. 呼吸と心拍揺らぎの関係
      5. 入浴中の心拍揺らぎと年齢
8. 『動作原理とアルゴリズム』
   1. Kinect for Windows SDK 2.0のダウンロード・インストール
   2. Visual Studio Express 2013 for Windows Desktopのダウンロード・インストール
   3. Apacheのインストール手順 (HTML5+JavaScriptをスタンドアローンで使う方法)
9. 『Kinect / RealSenseソフトウェア開発環境』
   … ソフト開発環境は無償
   1. Kinect for Windows V1の場合
      … Kinect for Windows V1 SDK 1.8、Visual Studio Express 2013 for Windows Desktop
   2. Kinect for Windows V2の場合
      … Kinect for Windows V2 SDK 2.0、Visual Studio Express 2013 for Windows Desktop
   3. RealSenseの場合
      … なんと普通のWebカメラも利用できるRealSense SDK
10. 『Visual C# 基本プログラミング編』
    … 基本的な使い方
    1. Kinect V2編
       1. Visual C#でWindows Form アプリケーションを作成
       2. Formデザイン
       3. コーディング (宣言部分)
       4. コーディング (初期化処理と終了処理)
       5. マルチ・ソース・フレーム
       6. 表示例
    2. RealSense F-200編
11. 『Microsoft Hololensについて』
12. まとめ