複数カメラを用いた3次元再構成による物体消去手法

概要

物体消去技術は、写真編集や映像制作において広く利用され、不要な物体を除去し、適切に背景を埋めることによって、あたかも最初からそこになかったかのような画像を作成することができる。近年、機械学習や深層学習の発展により、物体消去後の背景補完の精度は向上している。しかし、消去範囲が大きかったり、背景が複雑だったりすると、補完結果が不自然になるという課題がある。さらに、単一視点のみを用いる手法では、取得できる背景情報が限られるため補完の正確性に限界がある。そこで、本研究では、物体消去後の背景補完に3次元再構成を活用する手法を提案する。具体的には、複数のカメラを用いて、異なる視点から得られる情報を活用し、より正確な背景推定を行う。3次元再構成にはInstant-NGPを、カメラパラメータの推定にはColmapを用いることで、消去後の背景を補完する。