Boundary Noise Removal and Hole Filling Algorithm for Virtual Viewpoint Image Generation

In this paper, performance improved hole-filling algorithm including boundary noise removing pre-process which can be used for an arbitrary view synthesis with given two views is proposed. Boundary noise usually occurs because of the boundary mismatch between the reference image and depth map and common-hole is defined as the occluded region. These boundary noise and common-hole created while synthesizing a virtual view result in some defects and they are usually very difficult to be completely recovered by using only given two images as references. The spiral weighted average algorithm gives a clear boundary of each object by using depth information and the gradient searching algorithm is able to preserve details. In this paper, we combine these two algorithms by using a weighting factor ${\alpha}$ to reflect the strong point of each algorithm effectively in the virtual view synthesis process. The experimental results show that the proposed algorithm performs much better than conventional algorithms.

가상시점 영상 생성을 위한 경계 잡음 제거와 홀 채움 기법

본 논문에서는 3D 워핑(warping) 기법을 이용하여 가상시점 영상생성 시 화질 개선을 위하여 경계 잡음(boundary noise)을 제거하고 홀(hole) 채움을 하는 새로운 기법을 제안한다. 경계 잡음은 가상시점 영상 합성 시기준 시점 영상과 깊이 영상 내 객체의 경계 불일치로 발생되며 홀은 기준시점 영상에서 보상할 수 없는 가려짐 영역(occlusion)으로 정의된다. 제안하는 기법에서는 경계 잡음 제거를 위해 먼저 배경 화소들의 평균과 절대 값 비교를 통해 경계 잡음에 해당되는 화소를 검출하고 검출된 화소를 홀 영역으로 확장한다. 경계 잡음 영역이 포함된 확장된 홀 영역은 나선형 가중 평균(spiral weighted average) 기법과 기울기 탐색(gradient searching) 기법을 혼용하여 채우게 된다. 나선형 가중 평균 기법은 깊이 정보를 사용함으로 객체 정보를 최소로 사용하지만 결과 영상이 번지는 단점이 있다. 기울기 탐색 기법은 영상의 기울기를 이용하여 세밀한 부분을 보존할 수 있는 장점이 있다. 따라서 각각의 결과를 ${\alpha}$ 가중치로 조합하여 생성된 가상 시점은 두 기법의 장점을 동시에 적용하기 때문에 좋은 화질을 얻을 수 있다. 실험을 통해 제안하는 기법의 성능이 기존의 다른 기법보다 우수하다는 것을 확인하였다.