depthlane

動画の一コマ一コマから、写っているものの奥行きを取り出せたら、何に使えるでしょうか。depthlaneは、この問いを確かめるために用意した技術検証プロジェクトです。動かせるものはまだなく、名前と区画を確保しただけの最初期の状態から始めます。

検証したいこと

スマートフォンのポートレート撮影のように、奥行きを使って背景をぼかす処理は身近になりました。ああいう処理の裏側にあるのが深度マップです。深度マップとは、画像の画素ごとに、カメラからその点までの奥行きを値として持たせたデータのことです。奥行きを明るさに置き換えて表示すると、近くが白く遠くが黒い、濃淡だけの画像になります。画素ごとの奥行きがあれば、同じ画面に写る「手前の人物」と「奥の壁」を、数値の違いとして区別できます。

ただ、ふつうのカメラが記録するのは色だけで、奥行きは撮影の時点で失われています。奥行きを直接測るには、本来は距離センサーやステレオカメラのような特別な仕掛けが要ります。けれども、距離センサーを持ち歩く人は少なくても、動画なら誰の手元にもあります。その仕掛けなしに、すでに撮ってある1本の動画から奥行きを推定でまかなえないか。これがこのプロジェクトの関心です。

推定した奥行きの使い道としては、たとえば奥行きにしきい値を引いて手前の被写体だけを切り出す、被写体と背景の分離のような応用が思い浮かびます。分離ができれば、背景だけをぼかしたり差し替えたりする加工にもつながります。平面の映像に、奥行きに応じたずれを与えて立体感を出す表現も候補になりえます。ただ、どれもまだ思いつきの候補にすぎません。推定した深度をそのまま可視化するのか、別の処理の入力として使うのか、その使い方も含めて、何をどこまで検証するかを決めること自体が最初の作業です。

使用する深度推定の手法やモデルも未定です。映像から奥行きを推定する手法は複数公開されていますが、機械学習による推定モデルを使うのか、それ以外の方法も見るのか、というところから調べて決めます。静止画1枚では、遠くにある小さな物体と近くにある小さな物体を見分ける手掛かりが乏しくなりますが、動画なら前後のフレームやカメラの動きがその手掛かりを足してくれるかもしれません。そこに何か面白いことがあるのではないか、という程度の見立てから出発します。

現在の状態

depthlaneは構想段階(concept)のプロジェクトで、リポジトリに実装はまだほぼありません。検証の受け皿として区画を用意した、という段階です。公開しているアプリのURLやリポジトリはなく、スクリーンショットに載せられる画面もまだありません。

何を検証するかが決まって手を動かした結果が出たら、結果だけでなく途中の判断も含めて、このページに追記していきます。性能や精度の数字は、実測できてから書きます。今はまだ、問いだけがある状態です。