Iterative Deep Convolutional Grid Warping Network for Joint Depth Upsampling

반복적인 격자 워핑 기법을 이용한 깊이 영상 초해상도 기술

This paper proposes a novel deep learning-based method to upsample a depth map. Most conventional methods estimate high-resolution depth map by modifying pixel value of given depth map using high-resolution color image and low-resolution depth map. However, these methods cause under- or over-shooting problems that restrict performance improvement. To overcome these problems, the proposed method iteratively performs grid warping scheme which shifts pixel values to restore blurred image for estimating high-resolution depth map. Experimental results show that the proposed method improves both quantitative and visual quality compared to the existing method.

본 논문에서는 딥러닝 기반의 깊이 영상 초해상도 기술에 대해서 제안한다. 기존 깊이 영상의 초해상도 기술은 고해상도의 컬러 영상과 저해상도 깊이 영상을 이용하여 화소 값을 개선시켜 고해상도의 깊이 영상을 예측하였다. 하지만 이라한 방법들은 단순히 화소 값을 증가 또는 혹은 감소시키는 방법으로 언더슈팅 또는 오버슈팅과 문제를 발생시켜 성능 향상을 제한한다. 제안하는 기법에서는 이러한 한계를 극복하기 위해 화소의 위치를 이동하여 영상을 복원하는 격자 워핑 방식을 반복적으로 적용하여 고해상도 깊이 영상을 예측하였다. 실험 결과, 제안한 방식이 기존 방법들에 비해 정량적, 시각적 품질을 개선시켰음을 확인하였다.