Pre-processing of Depth map for Multi-view Stereo Image Synthesis

다시점 영상 합성을 위한 깊이 정보의 전처리

  • Seo Kwang-Wug (Dept. of Electronics Engineering, Kwangwoon Univ.) ;
  • Han Chung-Shin (Dept. of Electronics Engineering, Kwangwoon Univ.) ;
  • Yoo Ji-Sang (Dept. of Electronics Engineering, Kwangwoon Univ.)
  • Published : 2006.03.01

Abstract

Pre-processing is one of image processing techniques to enhance image quality or appropriately convert a given image into another form for a specific purpose. An 8 bit depth map obtained by a depth camera usually contains a lot of noisy components caused by the characteristics of depth camera and edges are also more distorted by the quality of a source object and illumination condition comparing with edges in RGB texture image. To reduce this distortion, we use noise removing filters, but they are only able to reduce noise components, so that distorted edges of depth map can not be properly recovered. In this paper, we propose an algorithm that can reduce noise components and also enhance the quality of edges of depth map by using edges in RGB texture. Consequently, we can reduce errors in multi-view stereo image synthesis process.

전처리는 영상의 질을 개선하거나 영상을 특정한 응용 목적에 알맞도록 변환시키는 등의 영상 처리를 의미한다. Depth 카메라로부터 획득한 화소단위의 8비트 깊이 정보 (depth map) 에는 depth 카메라의 특성상 잡음으로 생각할 수 있는 많은 성분들이 포함되어 있고, RGB 정보에서의 윤곽선에 비해 물체의 특성이나 조명 조건에 의해서 왜곡되어 나타난다. 일반적으로 잡음 제 거 필터가 사용되지만, 이는 깊이 정보 내의 잡음만을 줄이는 역할을 하기 때문에 깊이 정보의 왜곡된 윤곽선 처리는 하지 못 하고 있다. 본 논문에서는 깊이 정보의 잡음을 줄이는 동시에 RGB 정보의 윤곽선을 이용하여 깊이 정보의 왜곡된 윤곽선을 개선하는 알고리즘을 제안함으로써 다시점 입체 영상 생성 시 오차를 줄이고자 한다.

Keywords

References

  1. PANORAMA, European ACTS AC092 project, http://tnt-uni0hannover.de/project /eu/panorama, 1995 - 1998
  2. C.Fehn 'Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV', In Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems XI, pages 93-104, San Jose, CA, USA, January 2004
  3. Rafael C. Gonzalez, Richard E. Wood, 'Digital image processing', Prentice Hall, p.335-339, 2001
  4. 장동혁, '디지털 영상 처리의 구현', 와이 미디어, pp. 185-186, 2003
  5. 장세훈, 한충신, 배진우, 유지상, '깊이 정보를 이용한 실시간 다시점 스테레오 영상 합성', 한국통신학회 논문지, 제 30권 제 4C호, pp. 239-246, 2005년. 4월
  6. A. Redert, E. Jendriks, J. Biemond '3-D scene reconstruction with viewpoint adaptation on stereo displays', IEEE Trans. Circuits and systems for video tech., vol.10, pp.550-562, 2000 https://doi.org/10.1109/76.845000
  7. Puri, R.V. Kollarits, B.G. Haskell, 'Basics of stereoscopic video, new compression results with MPEG-2 and a proposal for MPEG-4', signal processing : Image comm., vol.10, pp.201- 234, 1997 https://doi.org/10.1016/S0923-5965(97)00025-8
  8. Yao Wang, Jorn Ostermann, Ya-Qin Zhang, 'Video processing and communications', Prentice Hall, 2002, p.374-383