Seam Finding Algorithm using the Brightness Difference Between Pictures in 360 VR

360 VR을 구성하는 영상들 간 밝기 차이를 이용한 seam finding 알고리즘

Abstract

Seam finding algorithm is one of the most important techniques to construct the high quality 360 VR image. We found that some degradations, such as ghost effect, are generated when the conventional seam finding algorithms (for examples, Voronoi algorithm, Dynamic Programming algorithm, Graph Cut algorithm) are applied, because those make the inefficient masks which cross the body of main objects. In this paper, we proposed an advanced seam finding algorithm providing the efficient masks which go through background region, instead of the body of objects. Simulation results show that the proposed algorithm outperforms the conventional techniques in the viewpoint of the quality of the stitched image.

360 VR 영상을 구성하는 과정에서 합성되는 영상들 사이의 경계(seam)를 정확하고 효율적으로 추출하는 것은 스티칭된 영상의 화질에 매우 중요한 영향을 끼친다. 기존의 seam finding 기술들인 보로노이(Voronoi) 알고리즘, dynamic programming, graph cut 방법들은 시차(view disparity)가 존재하거나 이동하는 물체가 존재하는 상황에서는 ghost와 같은 왜곡을 발생시킨다. 본 논문에서는 기존 알고리즘들과 달리 물체를 가로지르지 않고, 물체를 피해 배경을 가로질러 접합선을 추출하는 '밝기 대비를 이용한 마스크 추출 방법'을 제안하였다. 이때, 배경과 물체와의 밝기차이를 이용하여, 물체의 형상을 따라 이어지는 접합선을 추출했다. 본 논문의 실험 결과를 통해, 제안하는 기술을 사용하면 왜곡을 감소시키는 위치에서 접합선이 생성되고, 스티칭된 영상의 화질이 개선되는 것을 확인하였다.

그림 1. 복수개 영상들의 합성 과정 Fig. 1. Flowchart of the image stitching algorithm

그림 2. 스티칭되기 전에 Warping된 사진들 Fig. 2. Warped images for the stitching process

그림 3. Warping된 사진들을 stitching하기 위한 Mask들 Fig. 3. Masks for stitching the warped pictures

그림 4. 마스크 사용한 경우와 사용하지 않은 경우들의 스티칭된 이미지들 비교 Fig. 4. Comparison between the stitched images using mask and no mask

그림 5. 보로노이 알고리즘의 과정 Fig. 5. Process of Voronoi algorithm

그림 6. 다이나믹 프로그래밍 알고리즘의 과정 Fig. 6. Process of Dynamic programming algorithm

그림 7. 기존 seam finder 알고리즘들을 적용하여 스티칭된 사진들 (블렌딩 과정은 사용하지 않음) Fig. 7. The stitched pictures by using the conventional seam finder algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms

그림 8. 시차에 의한 스티칭 에러 Fig. 8. Stitching error resulted from Parallax

그림 9. 피사체의 움직임에 의한 스티칭 에러 Fig. 9. Stitching error resulted from moving objects

그림 10. 제안 방법의 알고리즘 Fig. 10. Algorithm of the proposed seam finder

그림 11. 밝기 대비를 이용한 마스크 추출 Fig. 11. Mask extraction by using the difference of brightness

그림 12. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 12. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms

그림 13. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 13. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms

그림 14. 블렌딩 과정을 적용하는 조건에서 다양한 Seam finder들을 이용하여 스티칭된 영상들의 비교 Fig. 14. The images stitched by using a variety of seam finding algorithms, where the blending process is applied

그림 15. 배경과 물체의 구분이 명확하지 않는 영상들의 스티칭 결과 Fig. 15. The stitched image when there is no clear division between background and objects

그림 12. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 12. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms

그림 13. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 13. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms