Consider the directional hole filling method for virtual view point synthesis

Recently the depth-image-based rendering (DIBR) method is usually used in 3D image application filed. Virtual view image is created by using a known view with associated depth map to make a virtual view point which did not taken by the camera. But, disocclusion area occur because the virtual view point is created using a depth image based image 3D warping. To remove those kind of disocclusion region, many hole filling methods are proposed until now. Constant color region searching, horizontal interpolation, horizontal extrapolation, and variational inpainting techniques are proposed as a hole filling methods. But when using those hole filling method some problem occurred. The different types of annoying artifacts are appear in texture region hole filling procedure. In this paper to solve those problem, the multi-directional extrapolation method is newly proposed for efficiency of expanded hole filling performance. The proposed method is efficient when performing hole filling which complex texture background region. Consideration of directionality for hole filling method use the hole neighbor texture pixel value when estimate the hole pixel value. We can check the proposed hole filling method can more efficiently fill the hole region which generated by virtual view synthesis result.

가상 시점 영상 합성을 위한 방향성 고려 홀 채움 방법

최근 깊이 영상 기반 합성 방법을 이용한 가상시점 합성 방법이 3차원 영상의 적용 분야에서 많이 사용되고 있다. 가상 시점 영상은 기존에 알고 있는 영상과 이와 관련된 깊이 영상 정보를 이용하여 카메라로 촬영 하지 않은 가상시점 영상을 생성하게 된다. 하지만 깊이 영상 기반 합성 방법을 이용해 가상시점 영상을 생성할 경우, 깊이 영상을 기반으로 합성하기 때문에 이미지 워핑 과정에서 폐색 영역이 발생하게 된다. 이러한 폐색 영역을 제거하기 위해 지금까지 다양한 홀 채움 방법들이 제안되어 왔다. 동일 색상영역 검색, 수평방향 보간 방법, 수평방향 보외 방법 그리고 다양한 인페인팅 방법들이 홀 채움 방법들로 제안되었다. 하지만 이러한 방법들을 사용하여 텍스쳐 영역의 홀을 제거할 경우 다른 종류의 간섭 현상이 발생하는 문제가 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 다양한 방향성을 고려한 홀 채움 방법을 새롭게 제안하여 확장된 홀 영역을 효율적으로 채우는 방법을 설명한다. 제안된 방법들은 복잡한 텍스쳐들이 있는 배경부분에서 발생하는 홀 영역을 채울 때 성능 효율성을 나타낸다. 방향성을 고려한 홀 채움 방법은 픽셀 단위로 홀 채움 영역 값을 측정하는 과정에서 홀 영역의 주변 텍스쳐 픽셀 값들을 사용하게 된다. 제안한 방법을 이용해 가상시점 영상 합성 결과 발생하는 홀 영역을 기존의 홀 채움 방법보다 보다 더 효율적으로 채울 수 있는 것을 확인할 수 있었다.