Fast Content-preserving Seam Estimation for Real-time High-resolution Video Stitching

실시간 고해상도 동영상 스티칭을 위한 고속 콘텐츠 보존 시접선 추정 방법

We present a novel content-preserving seam estimation algorithm for real-time high-resolution video stitching. Seam estimation is one of the fundamental steps in image/video stitching. It is to minimize visual artifacts in the transition areas between images. Typical seam estimation algorithms are based on optimization methods that demand intensive computations and large memory. The algorithms, however, often fail to avoid objects and results in cropped or duplicated objects. They also lack temporal consistency and induce flickering between frames. Hence, we propose an efficient and temporarily-consistent seam estimation algorithm that utilizes a straight line. The proposed method also uses convolutional neural network-based instance segmentation to locate seam at out-of-objects. Experimental results demonstrate that the proposed method produces visually plausible stitched videos with minimal visual artifacts in real-time.

본 논문은 실시간 고해상도 비디오 스티칭을 위한 새로운 콘텐츠 보존 시접선 추정 알고리즘을 제안한다. 시접선 추정은 영상 스티칭 후 중첩 영역에서의 시각적 왜곡을 최소화하기 위한 요소 기술 중 하나이다. 기존 시접선 추정 알고리즘들은 요구되는 연산량과 메모리 사용량이 높은 최적화 알고리즘에 기반을 두고 있음에도 불구하고, 추정된 시접선이 객체를 피하지 못해 객체를 자르거나 반복하는 현상을 유발한다. 또한, 프레임 간의 추정된 시접선의 시간적 일관성이 부족하여 불필요한 잦은 변동이 발생한다. 따라서, 본 논문에서는 직선의 시접선을 활용하여 효율적이고 시간적 일관성이 있으며, 심층신경망 기반 객체 세그먼테이션 알고리즘을 활용하여 객체를 피하여 시접선을 형성하는 시접선 추정 알고리즘을 제안하고자 한다. 고해상도 360° 다중 시점 동영상을 사용한 실험을 통해 제안하는 알고리즘이 기존 알고리즘보다 짧은 시간에 시각적으로 유사한 360VR 동영상을 생성하는 시접선을 추정함을 확인하였다.