초록
본 논문에서는 자유시점 또는 오토스테레오스코픽 비디오나 홀로그래픽 비디오 서비스 등을 목표로 중간시점 깊이영상을 생성하는 방법을 제안한다. 이 방법에서 좌/우 깊이영상이 주어졌다고 가정하고, 이 깊이영상들은 카메라 보정과 영상보정이 수행되었다고 가정한다. 제안한 방법은 깊이 당 변위증분을 계산하여 사용하며, 이 변위증분은 일반적인 상황을 고려하여 좌/우 깊이영상을 스테레오 정합하여 계산한다. 계산된 변위증분을 사용하여 해당 깊이값의 위치를 원하는 중간시점 깊이영상에서 찾는다. 중간시점 깊이영상은 좌영상과 우영상으로부터 각각 생성하며, 잡음을 제거하고 홀 필링을 수행한 후 두 영상을 결합하여 최종 중간시점 깊이영상을 생성한다. 제안한 방법을 구현하여 여러 테스트 시퀀스에 적용한 결과, 생성된 중간시점 깊이영상의 화질은 평균 PSNR 33.84dB이었으며, HD급 중간시점 깊이영상을 초당 한 프레임 정도 생성하는 속도를 보였다. 이 화질은 테스트 시퀀스들의 비균질성을 고려할 때 상당히 좋은 화질이라 판단되며, 향후 수행속도를 더욱 향상시키면 제안한 방법은 중간시점 깊이영상을 생성하는 좋은 방법이 될 것으로 사료된다.
This paper proposes a method to generate a depth image at an arbitrary intermediate view-point, which is targeting a video service for free-view, auto-stereoscopy, holography, etc. It assumes that the leftmost and the rightmost depth images are given and they both have been camera-calibrated and image-rectified. This method calculates and uses a disparity increment per depth value. In this paper, it is obtained by stereo matching for the given two depth image by considering more general cases. The disparity increment is used to find the location in the intermediate view-point depth image (IVPD) for each depth in the given images. Thus, this paper finds two IVPDs, from left image and from right image. Noises are removed and holes are filled in each IVPDs and the two results are combined to get the final IVPD. The proposed method was implemented and applied to several test sequences. The results revealed that the quality of the generated IVPD corresponds to 33.84dB of PSNR in average and it takes about 1 second to generate a HD IVPD. We evaluate that this image quality is quite good by considering the low correspondency among the left images, intermediate images, and the right images in the test sequences. If the execution speed is improved, the proposed method can be a very useful method to generate an IVPD at an arbitrary view-point, we believe.