Edge-Directional Joint Disparity-Motion Estimation of Stereoscopic Sequences

경계 방향성을 고려한 스테레오 동영상의 움직임-변이 동시추정 기법

  • 김용태 (연세대학교 전기전자공학과) ;
  • 서형갑 (연세대학교 전기전자공학과) ;
  • 박창섭 (한국방송 방송기술연구소) ;
  • 이재호 (한국방송 방송기술연구소) ;
  • 손광훈 (연세대학교 전기전자공학과)
  • Published : 2004.09.01

Abstract

This paper presents an efficient joint disparity-motion estimation algorithm for stereo sequence CODEC. Disparity vectors are estimated by the left and right motion vectors and previous disparity vectors for every frame. In order to obtain more accurate disparity vectors. we include a spatial prediction Process after the feint estimation. From joint estimation and spatial prediction, we can obtain accurate disparity vectors and then Increase coding efficiency. Finally, we proposed the backward quadtree decomposition. which helps the encoder to have a more detailed disparity vector map without transmitting additional coding bits for quadtree information. We confirmed superior performance of the proposed method through computer simulation.

본 논문에서는 스테레오 동영상 CODEC (Coder and decoder)을 위한 효율적인 변이와 움직임의 동시추정 기법을 제안한다. 동시 추정 기법은 좌우 움직임 벡터와 이전 시점의 변이 벡터를 이용해서 현재 시점의 변이 벡터를 예측한다. 하지만 동시추정 기법은 추정 오류가 축적되고 가려진 영역으로 인해 벡터들이 잘못 추정될 경우 성능이 매우 떨어질 수가 있다. 이런 문제점을 해결하기 위해서 동시추정 기법과 별도로 공간적인 변이 벡터의 예측을 수행한다. 즉, 동시 추정과 공간적인 변이 벡터의 예측을 통해서 정확한 변이 벡터들을 구해내어 전체 부호화 효율을 높일 수 있다. 마지막으로 본 논문에서는 역방향 사진트리 분할 기법을 제안한다. 역방향 사진트리 분할 기법은 사진트리 분할 정보를 보내지 않고도 상세한 변이맵을 얻어낼 수 있기 때문에 변이 보상의 성능을 높일 수 있었다. 실험 결과를 통해서 제안 알고리듬이 기존 알고리듬과 비교하여 수행시간이 9배가량 감소하고 주관적 화질에서 좋은 결과를 보임을 확인하였고 객관적 화질 평가에서 0.5~1.5dB가량 PSNR이 높아짐을 확인하였다.

Keywords

References

  1. M. G. Perkins, 'Data compression of stereopairs,' IEEE Trans. on Comm., vol. 40 no. 4, pp.684-696, April 1992 https://doi.org/10.1109/26.141424
  2. H. S. Kim and K. Sohn, 'Feature-based disparity estimation for intermediate view reconstruction of multiview images,' Proc. CISST, vol. 2, pp. 1-8, June 2001
  3. J. E. Lim, K. H. Sohn, 'MPEG-2 Compatible multiview sequence encoder,' Proc. CISST, pp 379-385, July 2002
  4. C. W. Lin, E. Y. Fei and Y. C. Chen, 'Hierarchical disparity estimation using spatial correlation,' IEEE Trans. on Consumer Electronics, vol. 44 no. 3, pp. 630-637, Aug. 1998
  5. D. Tzovaras, N. Grammalidis and M. G. Strintzis, 'Disparity field and depth map codiing for multiview 3D image generation,' Signal Processing : Image Comm. 11, pp. 205-230, 1998
  6. M. Ebroul Izquierdo, 'Stereo image analysis for multiview-viewpoint tele- presence applications,' Signal Processing:Image Comm., vol. 11, no. 3, pp. 231-254, 1998
  7. S. Malassiotis and M.G. Strintzis, 'Joint motion/disparity MAP estimation for stereo image sequences,' IEE Proc.-Vision, Image, Signal Proc., vol. 143, no. 2, pp.101-108, 1996
  8. I. Patras, N. Alvertos and G. Tziritas, 'Joint disparity and motion field estimation in stereoscopic image sequences,' Proc. IEEE ICPR, pp.359-643, 1996
  9. M. Ebroul Izquierdo, 'Stereo matching for enhanced telepresence in three dimensional videocommunications,' IEEE Trans. On Circuit and Systems, vol. 7, no.4, pp.629-643, 1997
  10. A. Puri, R.V. Kollaritis and BG. Haskell, 'Stereoscopic video compression using temporal scalability,' Proc. SPIE VCIP, vol. 2501, pp.745-756, 1995
  11. K.H. Sohn, J.R. Ryou and J. Lim, 'Efficient stereoscopic video coding using joint disparity-motion estimation,' Circuits, Systems and Signal Processing, vol. 23, no.1, pp.57-76, 2003
  12. 최승철, 김용태, 손광훈, '효율적인 다시점 영상 부호화기를 위한 역방향 사진트리 변이 추정,' 대한 전자 공학회 하계종합학술대회, pp 1911-1914, 2003년 7월