非接触画像センシングシステム開発

Microsoft社は2010年11月にゲーム機XBOX用モーション・キャプチャ・センサとしてKinectを発売し、2012年2月にはパソコン接続用のKinect for WindowsとSDKを発表して商用利用への道を開いた。 　本セミナーではKinectの開発元であるイスラエルのPrime Sense社の『Light Coding技術』の概要について説明する。米国特許出願内容に基づいて、赤外線ランダム・ドットパターンを被写体に投影して撮影した赤外線カメラ画像からデプス・イメージを取得する基本動作原理のアルゴリズムについて検証内容を含めて説明する。同等品の独自開発を行うための知識習得を行う。 　さらに、Kinectを用いた非接触生体センシングについて動作原理と、ランダム・ドットパターンの映像データから生体情報を取得する処理についての解説を行う。ヒューマン・ヘルスケア関連のアプリケーションの具体例として、赤外線脈波と呼吸を非接触で計測するソフトのデモを通じて、必要な信号処理のアルゴリズムについて説明を行い、独自開発を行うための技術習得を目指す。 　Webカメラによる心拍・呼吸非接触センシングへの応用に関しても説明する。また、2014年発売予定のTOF方式デプスカメラを持ったKinect2.0に関しても説明を行う。

Ⅰ Kinectイントロダクション～Kinect for Windowsの概要説明～

1. ハードウェア編～Kinectの概略構造とデモ
   1. RGBカメラ
   2. 赤外線プロジェクタ
   3. 赤外線カメラ
   4. 3軸直交加速度センサ
   5. 仰角制御モーター
   6. 4つのマイクロフォン
2. ソフトウェア編～Kinectの基本機能紹介とデモ…SDK Ver.1.7
   1. カラー画像キャプチャ
   2. デプス・イメージ (グレースケールとカラールックアップテーブル)
   3. 赤外線カメラ
   4. 骨格追尾
   5. 人物切り出し
   6. 3軸加速度センサ
   7. 仰角制御
   8. 関節残像表示 (骨格追尾)
   9. 関節円運動推定でジェスチャー判定
   10. 音声認識と音声合成
   11. 音源方向検出とビームフォーミング
   12. アバターアニメーション
   13. 顔と表情の追尾
   14. 手の状態検出 (手のGrab/Pan検出)
   15. Kinect Fusion

Ⅱ Kinect2.0の概要～2014年発売予定のKinect2.0の機能概要

1. TOF (Time Of Flight) 方式デプスカメラ
2. デプス画像
3. 骨格追尾 (追加された指関節 手のGrab/Pan検出)
4. オリエンテーション (ボーンと回転)
5. 筋肉にかかる力とエネルギーの可視化
6. 心拍測定
7. 表情 (表情、眼や口の状態、注視状態、メガネ有無等)

Ⅲ 開発環境～ソフト開発環境は無償

1. Kinect for Windows SDK Version 1.7
2. Visual C#

Ⅳ Visual C# 基本プログラミング編～基本的な使い方

1. 基本機能とその使い方紹介
   • カラーイメージ
   • デプス・イメージ
   • オーディオの3つのストリーム
2. Kinect検出
3. カラー画像を撮影できるカラーカメラ Color Image
4. 奥行き情報を撮影できるデプスカメラ Depth Image
   • Default/Nearモードと最大10mの遠距離モード
5. 骨格追尾 Skeleton Tracking
6. 重力方向を基に水平角を制御する仰角制御
7. 3軸加速度センサ
8. 赤外線カメラと照射オン/オフ制御
9. カメラの詳細設定変更
10. Speech API
    • 音声認識 (方位検出とビームフォーミング)
    • 音声合成

Ⅴ 生体計測の基礎知識

1. 心電図と心拍、呼吸と血液中の酸素濃度、心拍揺らぎと呼吸等の基礎知識
2. Webカメラによる心拍/呼吸の非接触センシング デモ

Ⅵ アプリケーション紹介とデモ～広範な応用分野とプレゼン

1. バーチャル楽器演奏システム
2. ジェスチャーや音声認識で動画や家電制御
3. 拡張現実 (AR) センシング (照度、超音波)
4. 全身加速度モニタ
5. 赤外線近接NUI
6. 知覚コンバータ (Cyber Eye)
7. 非接触生体モニタ (赤外線脈波と呼吸)

Ⅶ 動作原理とアルゴリズム編～非接触生体モニタを題材にFIFOフィルタを説明

1. レーザーポインタを用いた光切断法による測距
2. ラインレーザーを用いた光切断法による測距多重化
3. Light Codingとは
4. デプスカメラの動作原理～デプスカメラを1から作り、機能を再現する、乱数パターンの相互相関で距離を演算
   1. イスラエルのPrime Sense社の米国特許出願内容
   2. Webカメラとレーザーで光切断法の実験
   3. 乱数投影パターンの数学的性質と相互相関
   4. 可視光プロジェクタとWebカメラ
   5. 位相差検出法 (疑似乱数m系列符号で説明)
   6. デプスカメラ原理まとめ
   7. pre-convoluted pattern法 (高速アルゴリズム)
5. FIFOアルゴリズム
   1. FIFO
   2. 高速移動平均
   3. 矩形波相関法
6. 基底遷移アルゴリズム～未知数を推定する
   1. 骨格追尾の関節残像からの3軸加速度検出とノイズ除去
   2. 骨格追尾の関節残像からの円運動検出
   3. デプス推定処理

Ⅷ Kinect2.0のTOF方式デプスカメラの動作原理～Microsoft社の米国特許出願内容とその動作原理