Sparse Depth Image Completion Network with nearest neighbor kernel estimation

최근접 이웃 커널 추정을 통한 희소 깊이 영상 완성 네트워크

  • 정태현 (한국항공대학교 항공전자정보공학부) ;
  • 오병태 (한국항공대학교 항공전자정보공학부)
  • Published : 2022.06.20

Abstract

본 논문에서는 희소깊이영상과 컬러영상을 이용해 조밀한 깊이영상을 추정하는 깊이 완성(depth completion)을 수행하기위해 최근접 이웃 커널을 추정하는 방식의 네트워크를 제안한다. 회귀방식의 딥러닝 네트워크는 일반적으로 값을 직접 예측하는 것보다 기본 값에 더해질 잔차를 추정하는 방식이 더욱 효율적이다. 본 논문에서는 최근접 이웃 커널을 입력영상에 적용하여 추정하고자 하는 픽셀의 인근 픽셀에서 값을 가져와 기본 값으로 사용하고, 해당 값의 잔차를 회귀방식으로 추정하는 네트워크를 설계했다. 이러한 방식으로 여러 SOTA 알고리즘 대비 좋은 성능을 나타냈고, 특히 이와 유사한 방식인 Plane-residual net 보다 높은 성능을 보여준다.

Keywords

Acknowledgement

본 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단 기초연구사업(NRF-2022R1A2C1005769)과 경기도 지역협력연구센터 사업 (GRRC) (2017-B02, 3 차원 공간 데이터 처리 및 응용기술 연구)의 지원을 받아 수행되었음.