Microsoft社は2010年11月にゲーム機XBOX用モーション・キャプチャ・センサとしてKinectを発売し、2012年2月にはパソコン接続用のKinect for WindowsとSDKを発表して商用利用への道を開いた。
本セミナーではKinectの開発元であるイスラエルのPrime Sense社の『Light Coding技術』の概要について説明する。米国特許出願内容に基づいて、赤外線ランダム・ドット・パターンを被写体に投影して撮影した赤外線カメラ画像からデプス・イメージを取得する基本動作原理のアルゴリズムについて検証内容を含めて説明する。
同等品の独自開発を行うための知識習得を行う。さらに、Kinectを用いた非接触生体センシングについて動作原理と、ランダム・ドット・パターンの映像データから生体情報を取得する処理についての解説を行う。
ヒューマン・ヘルスケア関連のアプリケーションの具体例として、赤外線脈波と呼吸を非接触で計測するソフトのデモを通じて、必要な信号処理のアルゴリズムについて説明を行い、独自開発を行うための技術習得を目指す。
- Kinectイントロダクション (Kinect基本機能紹介デモ) ～Kinectにはこんな機能がある～
- カラー画像キャプチャ
- デプスイメージ (グレースケールとカラールックアップテーブル)
- 骨格追尾
- 人物切り出し
- 音声認識と音声合成
- 音源方向検出とビームフォーミング
- 赤外線カメラ
- 3軸加速度センサ
- 仰角制御
- 骨格残像表示
- ジェスチャー判定
- アバターアニメーション
- 顔と表情の追尾
- Kinectの概略ハードウェア編～Kinectの中身について～
- カラーカメラ
- 赤外線プロジェクタ
- 赤外線カメラ
- 3軸加速度センサ
- 仰角制御モーター
- 4つのマイクロフォン
- 開発環境～ソフト開発環境は無償～
- Kinect for Windows SDK Version 1.6
- Visual C#
- Visual C# 基本プログラミング編～基本的な使い方～
- 基本機能とその使い方紹介
- カラーイメージ
- デプスイメージ
- オーディオの3つのストリーム
- Kinect検出
- カラー画像を撮影できるカラーカメラ Color Image
- 奥行き情報を撮影できるデプスカメラ Depth Image
- Default/Nearモードと最大10mの遠距離モード
- 骨格追尾 Skeleton Tracking
- 重力方向を基に水平角を制御する仰角制御
- 3軸加速度センサ
- 赤外線カメラと照射オン/オフ制御
- カメラの詳細設定変更
- Speech API
- 音声認識 (方位検出とビームフォーミング)
- 音声合成
- アプリケーション紹介とデモ～広範な応用分野とプレゼン～
- バーチャル楽器演奏システム
- ジェスチャーや音声認識で動画や家電制御
- 拡張現実 (AR) センシング (照度、超音波)
- 全身加速度モニタ
- 赤外線近接NUI
- 知覚コンバータ (Cyber Eye)
- 非接触生体モニタ (赤外線脈波と呼吸)
- 動作原理とアルゴリズム編
- FIFOを使ったフィルタ～非接触生体モニタを題材に～
- デプスカメラの動作原理～デプスカメラを一から作り、機能を再現し、乱数パターンの相互相関で距離を演算～
- イスラエルのPrime Sense社の米国特許出願内容
- Webカメラとレーザーで光切断法の実験
- 乱数投影パターンの数学的性質と相互相関
- 可視光プロジェクタとWebカメラ
- 位相差検出法 (疑似乱数m系列符号で説明)
- デプスカメラ原理まとめ
- pre-convoluted pattern法 (高速アルゴリズム)
- 基底遷移アルゴリズム～未知数を推定する～
- 骨格追尾の関節残像からの円運動検出
- 骨格追尾の関節残像からの3軸加速度検出
- デプス推定処理
- まとめ