DOI QR코드

DOI QR Code

반복적인 격자 워핑 기법을 이용한 깊이 영상 초해상화 기술

Iterative Deep Convolutional Grid Warping Network for Joint Depth Upsampling

  • 김동신 (한국항공대학교 항공전자정보공학부) ;
  • 양윤모 (한국항공대학교 항공전자정보공학부) ;
  • 오병태 (한국항공대학교 항공전자정보공학부)
  • 투고 : 2020.09.14
  • 심사 : 2020.10.26
  • 발행 : 2020.11.30

초록

깊이 영상은 물체와의 거리 정보를 가지고 있다. 이는 3D 정보를 구성하는데 중요한 역할을 한다. 보통 같은 시점에서 얻은 컬러 영상과 깊이 영상을 함께 사용한다. 그런데 하드웨어 기술의 한계로 인해 깊이 영상은 쌍을 이루는 컬러 영상에 비해 낮은 해상도를 갖는다. 따라서 일반적으로 깊이 영상을 사용할 때 영상의 해상도를 컬러 영상의 해상도에 맞게 업샘플링을 진행한 후 사용한다. 본 논문에서는 깊이 영상의 해상도를 높이기 위해 화소 값을 개선시키는 일반적인 방법이 아닌 화소의 위치를 이동시키는 방법을 제안한다. 제안하는 기법에서는 화소의 위치를 경계 주변에서 경계 중앙으로 이동시키며 이 과정을 여러 단계에 걸쳐 진행하여 블러된 영상을 복원한다. 실험 결과를 통해 제안하는 방법이 기존 방법들에 비해 정량적, 시각적 품질을 모두 개선시켰음을 알 수 있다.

Depth maps have distance information of objects. They play an important role in organizing 3D information. Color and depth images are often simultaneously obtained. However, depth images have lower resolution than color images due to limitation in hardware technology. Therefore, it is useful to upsample depth maps to have the same resolution as color images. In this paper, we propose a novel method to upsample depth map by shifting the pixel position instead of compensating pixel value. This approach moves the position of the pixel around the edge to the center of the edge, and this process is carried out in several steps to restore blurred depth map. The experimental results show that the proposed method improves both quantitative and visual quality compared to the existing methods.

키워드

참고문헌

  1. N. Arad and C. Gotsman, "Enhancement by image-dependent warping," IEEE Trans. Image Process., vol. 8, no. 8, pp. 1063-1074, Aug. 1999. https://doi.org/10.1109/83.777087
  2. A. Krylov, A. Nasonov, and Y. Pchelintsev, "Single parameter post-processing method for image deblurring," in Proc. 7th Int. Conf. Image Process. Theory, Tools Appl., pp. 1-6 Nov. 2017.
  3. A. Nasonova and A. Krylov, "Deblurred images post-processing by Poisson warping," IEEE Signal Process. Lett., vol. 22, no. 4, pp. 417-420, Apr. 2015. https://doi.org/10.1109/LSP.2014.2361492
  4. D. Fourure, R. Emonet, E Fromont, D. Muselet, A. Tremeau, C. Wolf, "Residual conv-deconv grid network for semantic segmentation." arXiv preprint arXiv:1707.07958, 2017.
  5. Kingma, Diederik P., and Jimmy Ba. "Adam: A method for stochastic optimization." arXiv preprint arXiv:1412.6980, 2014.
  6. D. J. Butler, J. Wulff, G. B. Stanley, and M. J. Black, "A naturalistic open source movie for optical flow evaluation," in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, pp. 611-625, 2012.
  7. N. Silberman, D. Hoiem, P. Kohli, and R. Fergus, "Indoor segmentation and support inference from RGBD images," in Proc. Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, pp. 746-760, 2012.
  8. H. Hirschmuller and D. Scharstein, "Evaluation of cost functions for stereo matching," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp. 1-8, Jun. 2007.
  9. S. Lu, X. Ren, and F. Liu, "Depth enhancement via low-rank matrix completion," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp. 3390-3397, Jun. 2014.
  10. Y. Li, J.-B. Huang, N. Ahuja, and M.-H. Yang, "Joint image filtering with deep convolutional networks," IEEE Trans. Pattern Anal. Mach. Intell., vol. 41, no. 8, pp. 1909-1923, Aug. 2019. https://doi.org/10.1109/TPAMI.2018.2890623
  11. H. Su, V. Jampani, D. Sun, O. Gallo, E. Learned-Miller, and J. Kautz, "Pixel-adaptive convolutional neural networks," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., pp. 11166-11175, Jun. 2019.
  12. K. Beomjun, J. Ponce, H. Bumsub, "Deformable kernel networks for guided depth map upsampling," arXiv preprint, arXiv:1910.08373, 2019.
  13. Y. Yoonmo, K Dongsin, O. Byung Tae, "Deep Convolutional Grid Warping Network for Joint Depth Map Upsampling." IEEE Access, vol. 8, pp. 147580-147590, Aug 2020 https://doi.org/10.1109/ACCESS.2020.3015209