Edge-Preserving Directional Regularization Technique for Disparity Estimation and Intermediate View Reconstruction of Stereoscopic Images

경계-보존 방향성 평활화를 이용한 양안 영상의 변이 추정과 중간 시점 영상의 재구성

In this paper, we study two important topics in stereoscopic image communication system. One is a disparity estimation (DE) method to obtain the depth information of a scene at the transmitter and the other is an intermediate view reconstruction(IVR) method at the receiver. We propose a new DE method using an edge-preserving directional regularization technique. The proposed DE method smooths disparity vectors in smooth regions and preserves edges without over-smoothing problem. It provides better reconstructed stereoscopic images and improved coding efficiency than the existing regularization techniques. In addition. we propose a new IVR method using interpolation and extrapolation techniques. The proposed IVR method preserves edge regions as well as occlusion regions well. Thus. it gives better intermediate views than the existing IVR methods.

본 논문에서는 입체 영상 시스템 중 전송단에서의 영상의 입체감 분석을 위한 변이추정 과정과 수신단에서의 중간시점영상 재구성 방식에 대해 중점적으로 연구하였다. 변이추정은 기본적으로 MAE(mean absolute error)를 최소가 되도록 하는 동시에, 블록의 변이를 각 방향에서의 영상의 벼화량에 반비례하게 평활화하는 반복적 블록 정합 방식을 제안하여 적용하였다. 수신단에서는 복원된 영상과 변이 정보를 이용하여 중간시점 영상을 재구성하였으며, 보간법(interpolation)을 사용하는 동시에 좌 또는 우영상의 가려진 영역(occlusion)에서는 좌우 영상 중 한 영상에서의 외삽법(extrapolation)을 사용하여 변이-보상 변이 전달방식으로 이를 합성하였다. 이 변이 추정 방식으로영상의 평활 영역에서 일정하게 평활화된 변이를 추정하여 변이 정보에 대한 정보량을 줄이고, 경계부분에서는 평활화 방식에서 흔히 발생하는 과평활화 문제를 해결하였다. 또한 IVR 에서는 다른 방식에 비해 영상의 경계 부분을 보존하며, occlusion 영역을 잘 살리는 특성을 보였다.