DOI QR코드

DOI QR Code

Depth Map Pre-processing using Gaussian Mixture Model and Mean Shift Filter

혼합 가우시안 모델과 민쉬프트 필터를 이용한 깊이 맵 부호화 전처리 기법

  • Received : 2011.02.08
  • Accepted : 2011.03.01
  • Published : 2011.05.30

Abstract

In this paper, we propose a new pre-processing algorithm applied to depth map to improve the coding efficiency. Now, 3DV/FTV group in the MPEG is working for standard of 3DVC(3D video coding), but compression method for depth map images are not confirmed yet. In the proposed algorithm, after dividing the histogram distribution of a given depth map by EM clustering method based on GMM, we classify the depth map into several layered images. Then, we apply different mean shift filter to each classified image according to the existence of background or foreground in it. In other words, we try to maximize the coding efficiency while keeping the boundary of each object and taking average operation toward inner field of the boundary. The experiments are performed with many test images and the results show that the proposed algorithm achieves bits reduction of 19% ~ 20% and computation time is also reduced.

본 논문에서는 깊이 맵(depth map)에 대한 효율적인 부호화를 위하여 전처리 기법을 제안한다. 현재 3차원 비디오 부호화(3D video coding : 3DVC)에 대한 표준화가 진행 중에 있지만 아직 깊이 맵의 부호화 방법에 대한 표준은 확정되지 않은 상태이다. 제안하는 기법에서는 먼저 입력된 깊이 맵의 히스토그램 분포를 가우시안 혼합모델(Gaussian mixture model : GMM) 기반의 EM(expectation maximization) 군집화 기법을 이용하여 분리한다. 분리된 히스토그램을 기반으로 깊이 맵을 여러 개의 레이어로 분리하게 된다. 분리된 각각의 레이어에서 배경과 객체의 포함여부에 따라 다른 조건의 민쉬프트 필터(mean shift filter)를 적용한다. 결과적으로 영상내의 각 영역 경계는 최대한 살리면서 영역내의 화소 값에 대해서는 평균 연산을 취하여 부호화시 효율을 극대화 하고자 하였다. 다양한 실험영상에 대하여 제안한 기법을 적용한 깊이 맵을 부호화하여 비트율(bit rate)이 감소하고 부호화 시간도 다소 줄어드는 것을 확인 할 수 있었다.

Keywords

References

  1. 호요성, 오관정, "다시점 비디오 부호화," TTA Journal, vol. 115, pp. 93-100, 2008.
  2. 호요성, 이천, "자유시점 TV와 3차원 비디오 국제 표준화 동향," TTA Journal, Vol. 116, pp.86-94, 2008.
  3. ISO/IEC JTC1/SC29/WG11,"Vision on 3D Video," N10357, Lausanne, Switzerland, Feb. 2009.
  4. 호요성, 이천,"3차원 비디오 부호화를 위한 국제 표준화 기술" 한국 방송공학회 학술지, 제14권, pp. 031-044, 2009년 6월.
  5. ISO/ICE JTC1/SC29/WG11, "Text of ISO/IEC 14496-10:200X/FDAM 1 Multiview. Video Coding " Doc. N9978, Hannover, Germany, July 2008.
  6. 김경용, 박광훈, 서덕영 "비트평면 기반 무손실 깊이정보 맵 부호화 방법" 한국 방송공학회논문지, 제14권, 제5호, pp. 551-560, 2009년 9 월.
  7. 남정학, 황능주, 조광신, 심동규, 이수연, 방건, 허남호 "3차원 영상을 위한 깊이 영상 압축 방법" 한국방송공학회논문지, 제15권, 제5호, pp. 703-706, 2010년.
  8. Text of ISO/IEC FDIS 23002-3 Representation of Auxiliary Video and Supplemental Information, ISO/IEC JTC1/SC29/WG11, Jan. 2007, Doc. N8768, Marrakesh, Morocco.
  9. 서용석, 유지상 "영상 분할을 이용한 다이내믹 프로그래밍 기반의 스테레오 정합" 한국통신학회논문지, 제35권, 제8호, 2010년 8월.
  10. R. Lange, "3D Time-of-Flight distance measurement with custom solid-state image sensor in CMOS/CCD technology", Ph.D. Dissertation, Department of Electrical Engineering and Computer Science at University of Siegen, 2000.
  11. Reynolds, D.A.: A Gaussian Mixture Modeling Approach to Text-Independent Speaker Identification. PhD thesis, Georgia Institute of Technology, 1992
  12. A.P. Dempster, N.M. Laird, and D.B. Rubin, "Maximum likelihood from incomplete data via the EM algorithm," J. Royal Statiscal Soc., Ser. R, vol. 39, no.1, pp. 1-38, 1977.
  13. Dorin Comaniciu, Peter Meer, "Mean Shift Analysis and Applications", Computer Vision, The Proceedings of the Seventh IEEE International Conference, Vol. 2 pp. 1197-1203, 1999.
  14. Dorin Comaniciu, Peter Meer, "Mean Shift: A Robust Approach Toward Feature Space Analysis", IEEE Trans. , Vol. 24, No. 5, May 2002.
  15. ISO/ICE JTC1/SC29/WG11, "View synthesis software and assessment of its performance" Doc. M15672, Hannover, Germany, July 2008.
  16. 박성희, 유지상 "깊이정보 기반의 혼합 가우시안 분포 히스토그램과 Mean Shift Filter를 이용한 깊이 정보 맵 부호화 전처리" 한국방송공학회 학술대회, Oct, 2010

Cited by

  1. 구형 객체의 깊이 영상 부호화 방법 vol.21, pp.6, 2016, https://doi.org/10.9723/jksiis.2016.21.6.023
  2. 깊이 화면의 평면 부호화를 위한 가변 블록 크기 결정 방법 vol.22, pp.3, 2011, https://doi.org/10.9723/jksiis.2017.22.3.039
  3. 깊이 영상 부호화에서 신축 움직임 추정 방법 vol.20, pp.11, 2011, https://doi.org/10.9717/kmms.2017.20.11.1711