Kinect (Light Coding技術 / Time of Flight 技術) の概要/理解と非接触生体センシング

Microsoft社は2010年11月にゲーム機XBOX用モーション・キャプチャ・センサとしてKinectを発売し、2012年2月にはパソコン接続用のKinect for WindowsとSDKを発表して商用利用への道を開いた。 本セミナーではKinectの開発元であるイスラエルのPrime Sense社の『Light Coding技術』の概要・動作原理について説明を行い、自作した穿孔式赤外線ランダム・ドット・パターン投影型デプスカメラを使った実演を行う。さらに、非接触生体情報センシングについて動作原理の解説と実演を行う。Webカメラによる心拍・呼吸非接触センシングへの応用、非カメラ型である静電容量型、光学レンズを用いない赤外線型ジェスチャーセンサ/非接触バイタル・センシング技術の2種に関しても基本動作原理の説明、自作装置による実演を行う。また、TOF (Time of Flight) 方式として知られる光の伝搬遅延時間により距離測定を行う方式の自作基本回路の動作原理と実機による実演も行う。

1. Kinectイントロダクション～Kinect for Windowsの概要説明 (Kinectが変えるセンシングの世界)
   1. 推奨ハードウェア条件
   2. Kinect V1ハードウェア編～Kinect for Windows V1の概略構造
      1. 本体形状、USB2.0 I/Fと電源
      2. RGBカメラ
      3. 赤外線プロジェクタ
      4. 赤外線カメラ
      5. 3軸直交加速度センサ
      6. 仰角制御モーター
      7. 4つのマイクロフォン
   3. Appendix
      • 3D-CGモデルについて
      • ポリゴン描画について
      • 透視変換と光源計算について
      • Kinect Fusionと光源計算について
      • 光源計算について
      • Bone
      • Boneと物理演算
2. Kinect for Windows V2イントロダクション
   1. 推奨ハードウェア条件
   2. ハードウェア編 (Preview版)
      1. 本体形状、USB3.0 I/F、コネクタ変換ボックスと電源
      2. RGBカメラ
      3. 赤外線カメラ
      4. 赤外線ブラスター
      5. 3軸直交加速度センサ
      6. マイクロフォン・アレイ
   3. ソフトウェア編 (SDK2.0 アップデート1408版)
      1. ColorFrame
         • カラー画像データ
      2. DepthFrame
         • ToF (Time of Flight) 方式デプス画像データ
      3. BodyIndexFrame
         • 人物のいる領域を示す画像データ
      4. InfraredFrame
         • アクティブ赤外線画像データ
      5. BodyFrame
         • 骨格トラッキングデータ (追加された指関節、手のグー、チョキ、パー検出)
      6. AudioFrame
         • 音声データ (音源方向検出とビームフォーミング、音声認識)
      7. Face
         • 5つの特徴点の3次元座標と数種類の表情や状態を検出
      8. HD Face
         • 2,000点の顔モデルと多数の特徴点のキャプチャー
      9. Kinect Fusion
         • 3Dスキャナ
   4. Appendix
      • Senz3D
      • LeapMotion
3. アプリケーション事例紹介～広範な応用分野とデモ
   1. バーチャル楽器演奏システム
   2. ジェスチャーや音声認識で動画や家電制御
   3. 拡張現実 (AR) センシング (照度、超音波)
   4. 全身加速度モニタ
   5. 赤外線近接NUI
   6. 知覚コンバータ (Cyber Eye)
   7. 非接触生体モニタ (赤外線脈波と呼吸)
4. デプスカメラ動作原理とアルゴリズム編 (その1) ～Kinect for Windows V1のLight Coding方式
   1. レーザーポインタを用いた光切断法による測距 (デモ含む)
   2. ラインレーザーを用いた光切断法による測距多重化 (デモ含む)
   3. Light Codingとは～ランダム・ドット・パターンの自己相関特性による個別ドットの識別方法～
   4. デプスカメラの動作原理～デプスカメラを1から作り、機能を再現する、～乱数パターンの相互相関で距離を演算
      1. イスラエルのPrime Sense社の米国特許出願内容
      2. 乱数投影パターンの数学的性質と相互相関
      3. 可視光プロジェクタとWebカメラ
      4. pre-convoluted pattern法 (高速アルゴリズム)
      5. デプスカメラ原理まとめ
5. デプスカメラ動作原理とアルゴリズム編 (その2) ～Kinect for Windows V2のTime of Flight方式
   1. Microsoft社の米国特許出願内容とその動作原理
   2. Appendix
      • InfraredDepth方式の動作原理～学習で普通のWebカメラをデプスカメラにしてしまう
6. 非接触画像生体計測の基礎知識
   1. センシングの原理
      1. 赤外線方式
      2. 高精度デプス方式
      3. マーカー方式
      4. スポット光方式
   2. 心拍・呼吸センシング原理
      1. 心電図と心拍
      2. 心電計の動作原理と構造、及びデモ
      3. 呼吸と血液中の酸素濃度
      4. 赤外線脈波センサの動作原理と構造、及びデモ
      5. 呼吸メカニズムと心拍揺らぎの関係
   3. デモ
      1. Kinect
      2. Webカメラ
      3. 非接触赤外線バイタルセンサ
      4. ハンドモーションセンサ
   4. Appendix
      • 静電容量型バイタルセンサ
   5. 付録
      1. 従来型センサ
      2. サーミスタ式呼吸センサ
      3. 心電計・浴槽心電計
      4. インピーダンスプレチスモグラフィー (呼吸・心拍)
      5. 赤外線脈波センサ
7. Kinectソフトウェア開発環境～ソフト開発環境は無償～
   1. Kinect for Windows V1の場合
      1. Kinect for Windows V1 SDK 1.8
      2. Visual Studio Express 2013 for Windows Desktop
   2. Kinect for Windows V2の場合
      1. Kinect for Windows V2 SDK 2.0
      2. Visual Studio Express 2013 for Windows Desktop
8. Visual C# 基本プログラミング編～基本的な使い方
   1. Visual C#でWindows Form アプリケーションを作成
   2. Formデザイン
   3. コーディング (宣言部分)
   4. コーディング (初期化処理と終了処理)
   5. マルチ・ソース・フレーム
   6. 表示
9. 動作原理とアルゴリズム
   1. FIFOアルゴリズム
      1. FIFO
      2. 高速移動平均
      3. 矩形波相関法
   2. 基底遷移アルゴリズム
      1. 3軸加速度検出とノイズ除去
      2. 3次元点集合⇒球の中心座標
10. 製作物
    1. デプスカメラの製作
    2. Apacheのインストール手順 (HTML5+JavaScriptをスタンドアローンで使う方法)
    3. 3Dスキャナの製作
       1. 回転角度の検出
       2. 深度の検出
    4. 瞳孔トラッキング
    5. WebSocketでブラウザでKinectを利用する
    6. 舌の非侵襲トラッキング
    7. Leap Motionの動作原理
    8. Structure Sensor方式
11. まとめ