MegaDepth Network를 활용한 깊이 기반 영상 스티칭

Depth-based Image Stitching Using MegaDepth Network

영상 스티칭은 다수의 영상을 넓은 시야각을 갖는 하나의 영상으로 합성하여 사용자들에게 몰입감과 현장감을 제공하는 기술이다. 그러나 영상에 시차(Parallax)가 존재하는 경우 스티칭된 영상에서 왜곡이 발생할 수 있는데 이는 사용자의 몰입을 방해할 수 있다. 따라서 스티칭 영상의 다양한 활용을 위해서는 시차로 인한 왜곡을 최소화하여 자연스러운 스티칭 영상을 만드는 것이 중요하다. 기존 호모그래피 추정 방법으로 발생할 수 있는 고스트 현상을 최소화하기 위해서 seam 기반 스티칭 방법이 사용되었지만, 단순히 작은 특징값을 따라 생성된 seam은 사물 영역 정보가 반영되지 않아 seam이 특징이 있는 부분을 지나가면서 시차 왜곡이 발생할 수 있다. 이에 본 논문에서는 딥러닝 기반의 MegaDepth를 활용한 depth 예측 정보를 에너지 함수 기반의 seam 생성 행렬의 가중치로 사용하여 seam이 사물을 피해 생성되면서 시차가 작은 영역으로 유도되도록 하는 seam optimization 기법을 제안한다.