Kinect (Light Coding技術) の概要/理解と非接触生体センシング

Microsoft社は2010年11月にゲーム機XBOX用モーション・キャプチャ・センサとしてKinectを発売し、2012年2月にはパソコン接続用のKinect for WindowsとSDKを発表して商用利用への道を開いた。 　本セミナーではKinectの開発元であるイスラエルのPrime Sense社の『Light Coding技術』の概要・動作原理について説明を行い、自作した穿孔式赤外線ランダム・ドット・パターン投影型デプスカメラを使った実演を行う。さらに、非接触生体情報センシングについて動作原理の解説と実演を行う。Webカメラによる心拍・呼吸非接触センシングへの応用、非カメラ型である静電容量型、光学レンズを用いない赤外線型ジェスチャーセンサ/非接触バイタル・センシング技術の2種に関しても基本動作原理の説明、自作装置による実演を行う。また、TOF (Time of Flight) 方式として知られる光の伝搬遅延時間により距離測定を行う方式の自作基本回路の動作原理と実機による実演も行う。

1. Kinectイントロダクション～Kinect for Windowsの概要説明 (Kinectが変えるセンシングの世界)
   1. 【ハードウェア編】～Kinectの概略構造とデモ～
      1. RGBカメラ
      2. 赤外線プロジェクタ
      3. 赤外線カメラ
      4. 3軸直交加速度センサ
      5. 仰角制御モーター
      6. 4つのマイクロフォン
   2. 【ソフトウェア編】～Kinectの基本機能紹介とデモ～SDK Ver.1.8
      1. カラー画像キャプチャ
      2. デプスイメージ (グレースケールとカラールックアップテーブル)
      3. 赤外線カメラ
      4. 骨格追尾
      5. 人物切り出し
      6. 3軸加速度センサ
      7. 仰角制御
      8. 関節残像表示 (骨格追尾)
      9. 関節円運動推定でジェスチャー判定
      10. 音声認識と音声合成
      11. 音源方向検出とビームフォーミング
      12. アバターアニメーション
      13. 顔と表情の追尾
      14. 手の状態検出 (手のGrab/Pan検出)
      15. Kinect Fusion
2. Kinect2.0の概要～2014年発売予定のKinect2.0の公開情報に基づく機能概要の紹介 (公開デモ動画によるKinect for Windows V2α版の機能紹介も含 [Preliminary])
   1. TOF (Time Of Flight) 方式デプスカメラ
   2. デプス画像
   3. 骨格追尾 (追加された指関節 手のGrab/Pan検出)
   4. オリエンテーション (ボーンと回転)
   5. 筋肉にかかる力とエネルギーの可視化
   6. 心拍測定
   7. 表情 (表情、眼や口の状態、注視状態、メガネ有無等)
3. Kinect系アプリケーション紹介～広範な応用分野とデモ～
   1. バーチャル楽器演奏システム
   2. ジェスチャーや音声認識で動画や家電制御
   3. 拡張現実 (AR) センシング (照度、超音波)
   4. 全身加速度モニタ
   5. 赤外線近接NUI
   6. 知覚コンバータ (Cyber Eye)
   7. 非接触生体モニタ (赤外線脈波と呼吸)
4. 生体計測の基礎知識
   1. 心電図と心拍
   2. 心電計の動作原理と構造、及びデモ
   3. 呼吸と血液中の酸素濃度
   4. 赤外線脈波センサの動作原理と構造、及びデモ
   5. 呼吸メカニズムと心拍揺らぎの関係
   6. Kinect及びWebカメラによる心拍/呼吸の非接触センシング デモ
   7. 赤外線ジェスチャー・非接触バイタルセンサの動作原理と構造、及びデモ
   8. 静電容量型非接触バイタルセンサの動作原理と構造、及びデモ
5. 動作原理とアルゴリズム編～非接触生体モニタを題材にFIFOフィルタを説明～
   1. レーザーポインタを用いた光切断法による測距 (デモ含む)
   2. ラインレーザーを用いた光切断法による測距多重化 (デモ含む)
   3. Light Codingとは～ランダム・ドット・パターンの自己相関特性による個別ドットの識別方法～
   4. デプスカメラの動作原理～デプスカメラを1から作り、機能を再現する～～乱数パターンの相互相関で距離を演算～
      1. イスラエルのPrime Sense社の米国特許出願内容
      2. Webカメラとレーザーで光切断法の実験
      3. 乱数投影パターンの数学的性質と相互相関
      4. 可視光プロジェクタとWebカメラ
      5. 位相差検出法 (疑似乱数m系列符号で説明)
      6. デプスカメラ原理まとめ
      7. pre-convoluted pattern法 (高速アルゴリズム)
   5. FIFOアルゴリズム
      1. FIFO
      2. 高速移動平均
      3. 矩形波相関法
   6. 基底遷移アルゴリズム～未知数を推定する～
      1. 骨格追尾の関節残像からの3軸加速度検出とノイズ除去
      2. 骨格追尾の関節残像からの円運動検出
6. Time Of Flight方式デプスカメラの動作原理説明～インテルPerCや次世代Kinectに実装予定のデプスカメラ方式～
   1. Microsoft社の米国特許出願内容とその動作原理
   2. 単チャンネル回路による実演実験
      • 付録
        • サーミスタ式呼吸センサ
        • 心電計・浴槽心電計
        • インピーダンス・プレチスモ・グラフィー (呼吸・心拍)
        • 赤外線脈波センサ
        • 静電容量型センサ (呼吸・心拍)
7. Kinectソフトウェア開発環境～ソフト開発環境は無償～
   1. Kinect for Windows SDK Version 1.8
   2. Visual C#
8. Visual C# 基本プログラミング編～基本的な使い方～
   1. 基本機能とその使い方紹介～カラーイメージ、デプスイメージ、オーディオの3つのストリーム
   2. Kinect検出
   3. カラー画像を撮影できるカラーカメラ Color Image
   4. 奥行き情報を撮影できるデプスカメラ Depth Image～Default/Nearモードと最大10mの遠距離モード
   5. 骨格追尾 Skeleton Tracking
   6. 重力方向を基に水平角を制御する仰角制御
   7. 3軸加速度センサ
   8. 赤外線カメラと照射オン/オフ制御
   9. カメラの詳細設定変更
   10. Speech API
       1. 音声認識 (方位検出とビームフォーミング)
       2. 音声合成 　…デモプログラム
          • プログラム・ソースはダウンロードできます。