Kinect for Windows V2 (ToF方式3D距離画像センサ) の基礎とその応用

3Dセンサの開発動向と各種センサの特徴を概説します。 　2014年10月に発売されたMicrosoft社のKinect for Windows V2の基本機能と潜在能力を示すデモの実演を行い、センサ仕様の概要説明を行います。また、V1とV2の差異についても比較しながら説明を行います。 　ストラクチャ方式 (V1) 、ToF方式 (V2) 、次世代学習型Infrared Depth方式のデプスカメラの動作原理説明をデモを実演しながら説明します。 　非接触バイタル・センシングの動作原理説明とデモ実演を行います。 　その他、人間センシング応用に関しても動作原理説明とデモ実演を行います。 東京工業大学の教授、准教授、助教らからなる有志7名で受託研究会社 (フォスメガ) を登記設立。東京工業大学発ベンチャーの認定を受けました。計測に関連した試作品の製作、技術コンサルティングなどを行っています。

• Kinect for Windows V1: z解像度の高いストラクチャ系 (3Dスキャナ向け)
• Kinect for Windows V2: xy解像度の高いToF (Time of Flight) 方式

1. 3Dセンサの開発動向
   1. ストラクチャ光照明方式 (Kinect V1, Carmine, Intel RealSense)
   2. ToF (Time of Flight) 方式 (Kinect V2, Senz3D他)
   3. InfraredDepth方式 (Microsoft, SIGGRAPH2014)
   4. Stereoカメラ方式
   5. Leap Motion (魚眼レンズステレオカメラ+赤外線照明)
   6. PTAM方式 (単眼カメラ)
   7. Make3D方式 (単眼カメラ) Stanford大学
2. Kinect for Windows V2イントロダクション
   Kinect for Windows V2
   SDK2.0 (2014/10に正式公開されたビルド1409版)
   公開情報に基づく基本機能と潜在機能をデモ実演を行いながら説明します。
   1. 推奨ハードウェア条件
      Kinect for Windows V2はV1と比べて推奨ハードウェア条件が非常に厳しい。
   2. ハードウェア編
      1. 本体形状、USB3.0 I/F、コネクタ変換ボックスと電源
      2. RGBカメラ
      3. 赤外線カメラ
      4. 赤外線ブラスタ
      5. マイクロフォン・アレイ
      6. 3軸直交加速度センサ
         • 現時点では実装されているがSDKで利用できない。
   3. ソフトウェア編 … 基本機能 (SDK2.0 アップデート1409版)
      1. ColorFrame
         • 1920×1080画素
         • 15/30FPSのカラー画像
      2. DepthFrame
         • 512×424画素
         • 30FPSのToF (Time of Flight) 方式デプス画像
      3. InfraredFrame
         • 512×424画素
         • 30FPSのMS独自のアクティブ赤外線画像
      4. BodyIndexFrame
         • 512×424画素
         • 30FPSの人物領域を示す画像
      5. BodyFrame
         • 25個の関節で構成される骨格トラッキングデータ
         • 追加された指関節
         • 同時6名まで追尾
         • 手のグー、チョキ、パーを検出 (同時2名まで)
      6. AudioFrame
         • 音声の方向を検出するマイクアレイ入力 (音源方向の検出とビームフォーミング技術) 、Speech APIによる音声認識
      7. Face
         • 5つの特徴点の3次元座標と数種類の表情や状態を検出
      8. HD Face
         • 2,000点の顔モデルと多数の特徴点の3次元座標キャプチャ
      9. Kinect Fusion
         • 3Dスキャナ
   4. ソフトウェア編 … 潜在機能 NTLオリジナル
      トラッキングした関節の3次元座標履歴やデプス画像
      1. 関節の軌跡表示
         • 骨格トラッキングで得られた関節の3次元座標の履歴
      2. ARセンシング
         • 手に持ったセンサの測定値と手関節の3次元座標の履歴から物理量の分布状態を可視化
      3. 非ウェアラブル速度・加速度センサ
         • トラッキングした関節の3次元座標履歴を2次関数で補間し、速度、加速度を取得
      4. 円運動推定
         • ポイントクラウドから円の中心座標を推定し、円/円弧/直線/点のジェスチャを判定
      5. ジェスチャ判定
         • トラッキングした関節の3次元座標履歴からジェスチャを判定
      6. 代替視覚システム Cyber Eye
         • デプス画像を音に変換して視覚障害を支援
      7. デプス画像の長時間露光
         • ToFノイズの除去と画像の高解像度化
      8. 赤外線画像の長時間露光
         • 測定ノイズの除去と画像の高解像度化
      9. デプスのレリーフ表示
         • デプス画像から法線ベクトルを求め、光源計算を行い、シェーディングを行う
      10. 顔の3次元形状キャプチャ
      11. 顔の向きや視線の検出
      12. 非接触で呼吸センシング
          • 胸部領域の距離を精密に計測すれば、着服状態で測定できる。ふとんの上からでも測定可能。
      13. 非接触で心拍センシング
          • 反射光強度変化を使う方法、距離センシングを使う方法
      14. Web Socketを使ってブラウザでKinectを利用
   • Appendix A グラフィックス関連の基礎知識
     • A.1 ポリゴンの頂点座標リストとインデックスリスト
     • A.2 ポリゴンの描画 (シェーディングとテクスチャーマッピング)
     • A.3 透視変換
     • A.4 光源計算 (環境光、拡散反射光、鏡面反射光)
     • A.5 ボーン
     • A.6 物理エンジン
   • Appendix B Kinect V1 イントロダクション
     Kinect for Windows V1の概要説明とデモ (Kinectが変えるセンシングの世界)
     • B.1 推奨ハードウェア条件
     • B.2 Kinect V1ハードウェア編 ～Kinect for Windows [V1]の概略構造～
       • B.2.1 本体形状、USB2.0 I/Fと電源
       • B.2.2 RGBカメラ
       • B.2.3 赤外線プロジェクタ
       • B.2.4 赤外線カメラ
       • B.2.5 3軸直交加速度センサ
       • B.2.6 仰角制御モーター
       • B.2.7 4つのマイクロフォン
     • B.3 Kinect V1ソフトウェア編 ～Kinect for Windows SDK Ver.1.8の基本機能紹介とデモ～
       • B.3.1 カラー画像キャプチャ
       • B.3.2 デプスイメージ (グレースケールとカラールックアップテーブル)
       • B.3.3 赤外線カメラ
       • B.3.4 骨格追尾
       • B.3.5 人物切り出し
       • B.3.6 3軸加速度センサ
       • B.3.7 仰角制御
       • B.3.8 関節残像表示 (骨格追尾)
       • B.3.9 関節円運動推定でジェスチャー判定
       • B.3.10 音声認識と音声合成
       • B.3.11 音源方向検出とビームフォーミング
       • B.3.12 アバターアニメーション
       • B.3.13 顔と表情の追尾
       • B.3.14 手の状態検出 (手のGrab/Pan検出)
       • B.3.15 Kinect Fusion
3. アプリケーション事例紹介』～広範な応用分野とデモ～
   1. バーチャル楽器演奏システム
   2. ジェスチャや音声認識で動画や家電制御
   3. 拡張現実 (AR) センシング (照度、超音波)
   4. 非ウェアラブル加速度モニタ
   5. 赤外線近接NUI (Inverse Square法)
   6. 知覚コンバータ (Cyber Eye)
   7. 非接触生体モニタ (赤外線脈波と呼吸)
   8. 人間センシング・ロボット制御
4. Kinect V1 ストラクチャ系デプスカメラ動作原理とアルゴリズム編
   ～Kinect for WindowsのLight Coding方式～
   1. レーザーポインタを用いた光切断法による測距 (デモ含む)
   2. ラインレーザーを用いた光切断法による測距多重化 (デモ含む)
   3. Light Codingとは～ランダム・ドット・パターンの自己相関特性による個別ドットの識別方法～
   4. デプスカメラの動作原理～デプスカメラを一から作り、機能を再現する、乱数パターンの相互相関で距離を演算～
      1. イスラエルのPrime Sense社の米国特許出願内容
      2. 乱数投影パターンの数学的性質と相互相関
      3. 可視光プロジェクタとWebカメラ
      4. pre-convoluted pattern法 (高速アルゴリズム)
      5. デプスカメラ原理まとめ
5. Kinect V2 ToF方式デプスカメラ動作原理とアルゴリズム編
   ～Kinect for Windows Ver.2.0のTime of Flight方式～
   1. Microsoft社の米国特許出願内容とその動作原理
   2. アクティブ赤外線補正について
6. Infrared Depth方式:普通のWebカメラを学習でデプスカメラに
   1. Inverse Square法
   2. 拡散反射光補正法
7. 非接触バイタル・センシングの基礎知識
   1. センシングの基本原理
      1. 赤外線や可視光の反射量変化を捕捉する方式
         • 皮膚の正反射を取り除く方が有利
      2. 高精度デプス方式
      3. マーカー方式
      4. スポット光方式
   2. 心拍・呼吸センシング原理
      1. 心電図と心拍
      2. 心電計の動作原理と構造、及びデモ
      3. 呼吸と血液中の酸素濃度
      4. 赤外線脈波センサの動作原理と構造、及びデモ
      5. 呼吸メカニズムと心拍揺らぎの関係式
8. Kinectソフトウェア開発環境 ～ソフト開発環境は無償～
   1. Kinect for Windows SDK 2.0のダウンロード・インストール
   2. Visual Studio Express 2013 for Windows Desktopのダウンロード・インストール
   3. Apacheのインストール手順 (HTML5+JavaScriptをスタンドアローンで使う方法)
9. KinectV2基本プログラミング
   Visual C# 基本プログラミング～基本的な使い方～
   1. Visual C#でWindows Form アプリケーションを作成
   2. Formデザイン
   3. コーディング (宣言部分)
   4. コーディング (初期化処理と終了処理)
   5. マルチ・ソース・フレーム
   6. 表示例
10. 動作原理とアルゴリズム
    1. FIFOアルゴリズム
       1. FIFO
       2. 高速移動平均
       3. 矩形波相関法
    2. 基底遷移アルゴリズム
       1. 3軸加速度検出 と ノイズ除去
       2. 3次元点集合⇒球の中心座標
11. まとめ