コンピュテーショナルフォトグラフィ

一般的に画像処理やコンピュータビジョンの研究分野では、通常のカメラが画像の入力装置として疑問もなく用いられている。市販のカメラの光学系は、受光センサ上に人が見てきれいだと感じる画像を撮影されるように最適設計されているが、画像処理や画像認識の応用にとってこの光学系が最適であるとは限らない。我々の研究グループでは、画像処理や認識モデルなどソフトウェアのみならず、応用タスクに特化したカメラの光学系やセンサの設計を行うことで、新たなコンピュテーショナルカメラシステムを提案してきた。これらカメラにより撮像画像を符号化し、後処理で復号化することで、通常では撮影出来ない全焦点画像や奥行き復元、多視点画像などの高機能画像の撮影を実現した。さらに、画像処理だけでなくこのような研究アプローチを物体認識や物体検出などの高レベルの画像の認識理解の応用に広げている。

ディープセンシング

深層学習は、現在画像認識や画像処理などの様々なコンピュータビジョンの応用に盛んに用いられている。深層学習は、画像の特徴量や認識モデルを学習により最適化することで、従来の人手によるアルゴリズム設計に対して格段の性能向上を実現している。しかしながら、通常の深層学習での最適化は、画像がデジタル化された以降のモデルしか適用されていなかった。カメラなどの撮像機器は、フィルタとして働き実際のシーンの部分的な情報しか取得できないが、これまではこのようなカメラの最適化に関しては議論されてこなかった。本研究で提案するディープセンシングでは、これまでの深層学習が行なってきたデジタル層でのモデルの最適化とともに、画像取得ハードウェアであるカメラの設計やパラメータの最適化を同時に行うことで、画像認識などの目的タスクに対して最適な画像取得を実現し更なる性能向上を実現する。

物理ビジョン

光は物体と反射や屈折、散乱などの相互作用を起こすため、その光を計測することでシーンを計測することができる。しかしながら、一般的なカメラが撮影するRGB画像は、光の強度という光のごく限られた情報しか得ることが出来ないため、その大半の情報を捨てていることが画像の曖昧性を生み、コンピュータビジョンの画像からシーンを理解することを難しくしている。我々は、一般的なRGB画像のみならず、ハイパースペクトラムや干渉、偏光、光の伝搬速度などのさらなる光情報を計測し、光と物体の物理的相互作用もモデル化することで、さらに正確で詳細な物体やシーンの理解を実現する手法を提案している。