DOI QR코드

DOI QR Code

객체 기반 3D 업체 영상 변환 기법

Object-based Conversion of 2D Image to 3D

  • 이왕로 (광운대학교 전자공학과 Digital Media Lab) ;
  • 강근호 (광운대학교 전자공학과 Digital Media Lab) ;
  • 유지상 (광운대학교 전자공학과 Digital Media Lab)
  • 투고 : 2011.06.06
  • 심사 : 2011.09.15
  • 발행 : 2011.09.30

초록

본 논문에서는 움직임 추정 (motion estimation, ME), 컬러 라벨링(labeling) 그리고 Non-local mean 필터를 이용하여 2D 영상을 3D 업체 영상으로 변환하는 기법을 제안한다. 제안하는 기법에서는 먼저 프레임 간의 움직임을 추정하여 객체의 움직임 벡터를 추출하고 주어진 영상에 대해 컬러 라벨링 작업을 수행하여 영상을 분리한다. 움직임 추정 결과와 컬러 라벨링 결과를 비교 분석하여 영상내의 객체를 추출하고 추출된 객체를 이동하여 우 영상을 생성하게 되는데 이때 우 영상을 생성하는 과정에서 채워지지 않은 가려짐 영역이 발생하며 전체 화소간의 상관도를 고려하는 Non-local mean 필터를 사용하여 보상한다. 이후 원본 영상인 좌 영상과 생성된 우 영상으로 비윌 주사하여 최종 3D 업체 영상을 재현한다. 실험 결과를 통해 제안된 기법으로 생성된 3D 업체 영상에서 객체위주의 안정된 업체 변환이 수행되는 것을 확인할 수 있었다.

In this paper, we propose an object based 2D image to 3D conversion algorithm by using motion estimation, color labeling and non-local mean filtering methods. In the proposed algorithm, we first extract the motion vector of each object by estimating the motion between frames and then segment a given image frame with color labeling method. Then, combining the results of motion estimation and color labeling, we extract object regions and assign an exact depth value to each object to generate the right image. While generating the right image, occlusion regions occur but they are effectively recovered by using non-local mean filter. Through the experimental results, it is shown that the proposed algorithm performs much better than conventional conversion scheme by removing the eye fatigue effectively.

키워드

참고문헌

  1. T. Okino, G. Murata, K. Taima, T. Iinuma and K. Oketani, "New television with 2D/3D image conversion techniques," In Proc. SPIE, Vol. 2653, pp.96-103, Jan. 1996.
  2. B. J. Garcia. "Approaches to stereoscopic video based on spatial-temporal interpolation," In Proc. SPIE, Vol.2653, pp.85-95, Photonic West, 1990.
  3. Y. Matsumoto, Hajime Terasaki, Kazuhide Sugimoto, and Tsutomu Arakawa, "Conversion system of monocular image sequence to stereo using motion parallax," In Proc. SPIE, Vol. 3012, pp.108-115, Photonic West, Feb. 1997.
  4. 한효정, 변혜란, "2차원 동영상으로부터 객체 기반의 3차원 입체 변환 기법," 한국컴퓨터 종합학술대회 논문집, 제33권 제1(B)호, pp.361-363, 2006년 6월.
  5. D. F. McAllister, Stereo computer graphics and other true 3D technologies, Princeton, NJ: Princeton University Press, 1993.
  6. 홍호기, 백윤기, 이승현, 김동욱, 유지상, "2DH.264 동영상의 3D 입체 변환," 한국통신학회논문지, 제 31권 제12C호, pp.1208-1215, 2006년 12월.
  7. 김수동, 유지상, "Depth layer partition을 이용한 2D 동영상의 3D 변환 기법," 방송공학회 논문지, 제16권 제1호. pp.44-53, 2011년 1월.
  8. 김만배, "2D/3D 입체 변환 기술," 한국통신학회지, 제27권 제3호, pp.23-28, 2010년 2월.
  9. Philip H. S. Torr and Andrew Zisserman "Feature Based Methods for Structure and Motion Estimation," ICCV Workshop on Vision Algorithms, pp.278-294, 1999.
  10. Azriel Rosenfeld and John L. Pfaltz, "Sequential operations in digital processing," JACM, Vol.13, pp.471-494, 1966. https://doi.org/10.1145/321356.321357
  11. A. Buades, B. Coll and J. M. Morel. "A non-local algorithm for image denoising," IEEE Int, Conf. on Computer Vision and Pattern Recognition, Vol.2, pp.60-65, Jun, 2005.
  12. I. Pitas, Digital Image Processing Algorithms And Applications, WILEY, 2000.
  13. D. Comaniciu and P. Meer "Means Shift Analysis and Applications," IEEE Int'l Conf. Computer Vision, Vol.2, pp.1197-1203, Sept. 1999.
  14. 우희숙, 노명종, 박준구, 조우석, 김병국, "HSI 모델을 이용한 모자이크 영상의 품질 평가," 한국측량학회지, 제27권 4호, pp.429-435 2009년 4월.
  15. R. C. Gonzalez, and R. E. Woods, Digital image processing, Second Edition, Prentice. Hall, 2002
  16. J. Salmon, "On two parameters for denoising with non-local means," IEEE Signal Process. Lett, Vol.17, 3, pp.369-372, Mar. 2010.
  17. 강근호, 이왕로, 유지상, "객체 추출과 Non-Local 필터를 이용한 2D 영상의 3D 변환," 한국방송공학회 추계학술대회, pp.184-187, 2010년 11월.
  18. A. Buades, B. Coll, J. M Morel. "A review of image denoising algorithms, with a new one," SIAM J. Multiscale Modeling and Simulation, Vol.4 No.2, pp.490-530. 2005. https://doi.org/10.1137/040616024
  19. 정혜진, 강행봉, "Non-local means 기반 빠른 잡음제거 기법," 대한전자공학회 하계종합학술대회, pp.1088-1089, 2009년 7월.