Real-time Virtual View Synthesis using Virtual Viewpoint Disparity Estimation and Convergence Check

In this paper, we propose a real-time view interpolation method using virtual viewpoint disparity estimation and convergence check. For the real-time process, we estimate a disparity map at the virtual viewpoint from stereo images using the belief propagation method. This method needs only one disparity map, compared to the conventional methods that need two disparity maps. In the view synthesis part, we warp pixels from the reference images to the virtual viewpoint image using the disparity map at the virtual viewpoint. For real-time acceleration, we utilize a high speed GPU parallel programming, called CUDA. As a result, we can interpolate virtual viewpoint images in real-time.

가상 변이맵 탐색과 수렴 조건 판단을 이용한 실시간 가상시점 생성 방법

본 논문에서는 양안식 3차원 디스플레이 장치에 사용가능한 실시간 가상시점 영상을 생성방법을 제안한다. 제안하는 방법은 변이 탐색 (disparity estimation) 과정에서 중복되거나 불필요한 계산을 제거하기 위해, 변이맵 탐색 위치를 가상시점과 동일한 위치로 설정한다. 또한, 전역 방법을 사용한 변이맵 탐색 과정은 정확도는 높지만 복잡한 계산량이 문제이기 때문에 최적화 과정에서 변이값이 수렴하는 위치를 탐색하고 정보 갱신을 멈추는 방법을 사용하였다. 이렇게 얻어진 가상시점의 변이맵은 실제 참조가 가능한 영역인지 판단하는 수렴 조건 판단 (convergence check) 절차를 거쳐 영상을 합성한다. 영상 합성을 위한 모든 과정은 실시간 처리를 위하여 단일 명령 복수 쓰레드 (Single Instruction Multiple Threads) 구조인 그래픽 처리장치(GPU)를 활용한 프로그래밍을 통해 고속화를 이루었다. 실험 결과를 통해 제안하는 방법이 합성 영상의 화질을 유지하면서도 실시간으로 가상시점 영상을 합성한 것을 확인할 수 있었다.