コンピュテーショナルフォトグラフィーの実利用に向けた開発と展望

第1部 符号化撮像、ライトフィールド、圧縮センシングなどの 新しい画像センシングとその応用

(2018年2月23日 10:00〜11:30)

　従来のカメラの性能向上は、光学系やセンサの直接的な改良によりもたらされてきた。しかしながら、ハードウェアのみによる性能向上は現在限界を迎えつつある。 　それに対して、コンピュテーショナルフォトグラフィは、光学・エレクトロニクスなどのハードウェア技術と、コンピュータグラフィクス・ビジョンなどのソフトウェア技術を組み合わせ、画像計測パイプライン全体の最適化を行うアプローチである。 　このアプローチより、ハードウェアあるいはソフトウェア、一方の改良では不可能であった課題を解決でき、カメラの性能向上を図ることができる。 　本講演では、カメラの光学PSFやセンサのサンプリングタイミングをハードウェア制御することで符号化画像を計測し、計算機上で符号化画像をソフトウェア復号・推定することで、安定に全焦点や奥行き画像、ライトフィールド、高速動画を生成する手法を実装例とともに解説する。

第2部 レンズを使用せずに写真や動画を撮影できるカメラの開発

(2018年2月23日 11:40〜12:50)

　従来のレンズレスカメラでは撮影画像の再構築に負荷の高い演算を必要としていた。そこで、外側ほど間隔が狭くなるFZA (Fresnel Zone Aperture) を画像センサー直前に配置する構成により、低演算負荷かつ撮影後の容易なピント調整を可能とするレンズレスライトフィールドカメラ技術を開発した。 　本講座では、その撮影原理とノイズ低減方法、ならびにプロトタイプでの撮影結果について紹介する。

1. レンズレスカメラ概要
2. フレネルゾーン開口を用いたレンズレスカメラ
   1. 基本原理
   2. ノイズキャンセル技術
   3. 接写技術
   4. リアルタイム現像処理技術
   5. 実験結果
3. レンズレスカメラのアプリケーション適用
• 質疑応答

第3部 単眼1ショットで画像と距離を同時撮影できる技術の開発

(2018年2月23日 13:30〜14:40)

　自動車の自動運転やドローン等の小型移動体において距離検出技術の小型化・高精度化が求められているが、ステレオカメラなど既存技術ではその両立は困難であった。近年発展著しい人工知能と相性がよく、小型化に向いている単眼カメラに着目、カメラデバイスに光学的な工夫を施し画像処理技術と組み合わせることで距離などの付加情報を取得可能とするコンピュテーショナルフォトグラフィを用いることで、単眼カメラの1ショットで画像と距離が同時に取得できる技術の開発を目指した。 　様々な従来手法をベンチマークした結果たどり着いたのは、レンズ開口部に2色のカラー開口フィルタを内挿し被写体までの距離に応じてボケの色が変化するように工夫し、微細なぼけ変化を検出可能な画像処理技術と組み合わせることで、単眼カメラの1ショットで高精度に距離検出できるカラー開口撮像技術である。 　本講座ではコンピュテーショナルフォトグラフィの基本や各種従来手法について紹介したあと、開発したカラー開口撮像技術の原理やアルゴリズム、実験結果について紹介する。

1. 距離・画像センシングの必要性
2. コンピュテーショナルフォトグラフィ
   1. コンピュテーショナルフォトグラフィとは
   2. 距離検出可能な方式の紹介
   3. 方式のベンチマーク
3. カラー開口撮像技術の開発
   1. 開発した方式の概要
   2. カラー開口の原理
   3. カラー開口とDepth from Defocus技術を組み合わせたDepth from Asymmetric Defocus
   4. 精度評価実験
   5. 屋内・屋外の撮影画像処理結果
   6. ベンチマーク
4. まとめと今後の課題
• 質疑応答

第4部 ライトフィールドセンサを応用した2in1カメラの開発

(2018年2月23日 14:50〜16:00)

　近年、車載や防犯などのカメラ需要が大きな高まりを見せている。これらのカメラ映像は人間が観るだけでなく、コンピュータの画像認識に使われ、ロボットの目へと発展しつつある。 　カメラは映像情報取得の最上流に位置するので、撮り逃しは許されない。撮影チャンスを逃さないためにピント合わせ時間やズーム切替え時間をゼロに近づけたい。そのような要求にこたえる撮影技術として、レンズ・センサ・画像処理を巧みに組みわせるコンピュテーショナルフォトグラフィーの研究が盛んになっている。 　今回そのひとつとして、富士フイルムが開発した、1台のカメラで複数種の映像を同時撮影できる「2in1カメラ」を紹介する。ライトフィールド撮像センサと独自の撮像レンズを用いた試作機を開発し、屋外での応用実験もおこなっている。 　本講座では2in1カメラの基本的な原理を解説するだけでなく、試作カメラによる撮影事例を多数ご覧いただき、応用分野の広がりを感じていただけたらと思う。

1. 2in1カメラとは
   1. 1台のカメラで2種の映像を取得
   2. 切替機構なし、完全同時撮影、リアルタイム処理
   3. 撮影チャンスを逃さない、映像情報取得に好適
2. 2in1カメラの撮影原理と構造
   1. ライトフィールドセンサの応用
   2. 撮像レンズ側に独自の工夫
3. 2in1カメラの応用
   1. 広角望遠 (インフラ点検など)
   2. 2波長 (NDVIなど、農業・水産業)
   3. 2焦点 (遠・近に同時合焦)
• 質疑応答

第5部 奥行を推定しなくてもフィルタリングでできる! ライトフィールドの完全再構成

(2018年2月23日 16:10〜17:20)

　取得したライトフィールドから焦点を変えた画像を生成すること (リフォーカス) は容易である。しかし、ライトフィールドは、フル解像度で取得することができないため、生成したリフォーカス画像の解像度も低くなる。 　これを解決するために、近年、連続的に焦点を変えた画像列 (フォーカルスタック) を撮像し、フォーカルスタックからライトフィールドを再構成する試みがある。これにより、静止シーンに限られるが、フル解像度のライトフィールドを取得することができる。 　本講演では、フォーカルスタックをフィルタリングすることによってライトフィールドを完全に再構成する信号処理について解説する。このフィルタリングは空間不変であり、シーンの形状やテクスチャに依存しない。すなわち、シーンの奥行推定が不要である。これを可能とするには、フォーカルスタックを撮像するときの開口形状 (瞳関数) である。最適な開口を導出する原理について解説をする.

1. ライトフィールドとフォーカルスタック
   1. ライトフィールドの基礎
   2. ライトフィールドからフォーカルスタックへ
   3. フォーカルスタックからライトフィールドの生成は可能か?
2. フィルタリングによるライトフィールドの完全再構成
   1. フォーカルスタックの線形モデル
   2. 再構成フィルタの導出
   3. 完全再構成条件と最適開口 (瞳関数)
   4. シミュレーション結果
3. 応用
   1. 深度合成
   2. ぼけ味の変更
• 質疑応答