The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

An Adaptive Motion Vector Estimation Method for Multi-view Video Coding Based on Spatio-temporal Correlations among Motion Vectors

움직임 벡터들의 시·공간적 상관성을 이용한 다시점 비디오 부호화를 위한 적응적 움직임 벡터 추정 기법

  • 윤효순 (전남대학교 전자컴퓨터 공학부) ;
  • 김미영 (전남도립대학교 보건의료학과)
  • Received : 2018.06.28
  • Accepted : 2018.11.26
  • Published : 2018.12.28
Download PDF
⟨ Previous Next ⟩

Abstract

Motion Estimation(ME) has been developed to reduce the redundant data in digital video signal. ME is an important part of video encoding system, However, it requires huge computational complexity of the encoder part, and fast motion search methods have been proposed to reduce huge complexity. Multi- view video is obtained by capturing on a three-dimensional scene with many cameras at different positions and its complexity increases in proportion to the number of cameras. In this paper, we proposed an efficient motion method which chooses a search pattern adaptively by using the temporal-spatial correlation of the block and the characteristics of the block. Experiment results show that the computational complexity reduction of the proposed method over TZ search method and FS method can be up to 70~75% and 99% respectively while keeping similar image quality and bit rates.

움직임 추정은 동영상 내에 존재하는 중복된 데이터를 제거하기 때문에 영상 압축에서 중요한 역할을 하지만 많은 계산량을 요구하므로 계산량을 줄이기 위한 많은 고속 움직임 추정 기법이 제안되어 왔다. 다시점 비디오는 하나의 3차원 영상을 여러 시점에서 다수의 카메라로 촬영한 영상으로 다시점 비디오의 계산량은 카메라 수에 비례하여 증가한다. 따라서 다시점 비디오를 효율적으로 부호화하기 위한 움직임 추정 기법이 필요하다. 본 논문에서는 블록의 시공간적 상관성과 블록의 움직임 특성에 따라 적응적으로 탐색 패턴을 선택하여 움직임 벡터를 추정하는 움직임 추정 기법을 제안한다. 실험 결과, 제안한 움직임 추정 기법의 성능을 JMVC(Joint Multi-view Video Coding)의 TZ탐색과 전역탐색 기법의 성능과 비교한 경우, 영상 화질과 발생된 비트량을 비슷하지만 움직임 추정에 필요한 계산량은 각각 약 70~75%, 99%를 줄인다.

Keywords

CCTHCV_2018_v18n12_35_f0001.png 이미지

그림 1. TZ 기법의 초기 그리드 탐색 패턴

CCTHCV_2018_v18n12_35_f0002.png 이미지

그림 1. 시․공간상관성을 지닌 블록들의 움직임 벡터들

CCTHCV_2018_v18n12_35_f0003.png 이미지

그림 2. 제안기법의 탐색 패턴들

CCTHCV_2018_v18n12_35_f0004.png 이미지

그림 3. 제안기법의 순서도

CCTHCV_2018_v18n12_35_f0005.png 이미지

그림 3. 실험 영상

표 1. 움직임 벡터들의 시간적․공간적 상관성

CCTHCV_2018_v18n12_35_t0001.png 이미지

표 2. 움직임 벡터의 분포

CCTHCV_2018_v18n12_35_t0002.png 이미지

표 4. 실험 결과 -화질과 비트량

CCTHCV_2018_v18n12_35_t0003.png 이미지

표 3. 실험조건

CCTHCV_2018_v18n12_35_t0004.png 이미지

표 5. 실험 결과 –움직임 추정 시간 비교

CCTHCV_2018_v18n12_35_t0005.png 이미지

표 6. 실험 결과 –Ballroom (37)

CCTHCV_2018_v18n12_35_t0006.png 이미지

표 7. 실험 결과 – BDPSNR과 BDBitrate

CCTHCV_2018_v18n12_35_t0007.png 이미지

References

  1. H. G. Muamann, P. Pirch, and H. H. Grallert, "Advance in picture coding," Proc. of IEEE, Vol.73, No.4, pp.523-548, 1985. https://doi.org/10.1109/PROC.1985.13183
  2. J. L. Mitchell, W. B. Pennebaker, and C. E. Fogg, MPEG video compression standard, Chapman & Hall, 1996.
  3. T. Koga, K. Iinuma, A. Hirano, and Y. Ishiguro, "Motion compensated interframe coding for video conference," NTC81, pp.G5.3.1-5.3.5, 1981.
  4. R. Li, B. Zeng, and M. L. Liou, "A New Three Step Search Algorithm for Block Motion Estimation," IEEE Transactions on Circuits and System for Video Technology, Vol.4, No.4, pp.438-441, 1994(8). https://doi.org/10.1109/76.313138
  5. J. R. Jain and A. K. Jain, "Displacement measurement and its application in Interframe image Coding," IEEE Transactions on Communications, Vol.29, No.12, pp.1779-1808, 1981.
  6. L. M. Po and W. C. Ma, "A Novel Four Search Algorithm for Block Motion Estimation," IEEE Transactions on Circuit and Systems for Video Technology, Vol.6, pp.313-317, 1996. https://doi.org/10.1109/76.499840
  7. J. Y. Tham, S. Ranganath, and A. A. Kassim, "A Novel Unretricted Center-Biased Diamond Search Algorithm for Block Motion Estimation," IEEE Transactions on Circuits and Systems for Video Technology, Vol.8, pp.369-377, 1998. https://doi.org/10.1109/76.709403
  8. S. Zhu and K. K. Ma, "A New Diamond Search Algorithm for Fast Block Matching Motion," IEEE Transaction on Image Processing, Vol.9, No.2, pp.287-290, 2000. https://doi.org/10.1109/83.821744
  9. Y. Y. Chung and N. W. Bergmann, "Fast Search Block Matching Motion Estimation Algorithm using FPGA," Visual Communications and Image Processing 2000, Proc. SPIE, Vol.4067, pp.913-921, 2000.
  10. D. Gong and Y. He, "Fast Motion Estimation Algorithm using Horizontal and Multi-grid Search Strategy," Picture Coding Symposium 2001, pp.362-365, 2001.
  11. C. Zhu, X. Lin, and L. P. Chau, "Hexagon based search pattern for fast block motion estimation," IEEE Transactions on Circuits and Systems for Video Technology, Vol.12, pp.349-355, 2002. https://doi.org/10.1109/TCSVT.2002.1003474
  12. P. I. Howur and K. K. Ma, "Report on Performance of Fast Motion Estimation using Motion Vector Field Adaptive Search Technique," ISO/IEC/JCTI/SC29/WG11 M5453, 1999(12).
  13. A. M. Tourapis, O. C. Au, and M. L. Liou, "Fast Block Matching Motion Estimation using Predictive Motion Vector Field Adaptive Search Technique," ISO/IEC/JCTI/SC29/WG11 MPEG 2000/M5866, 2000(3).
  14. Z. Chen, P. Zhou, and Y. He, "Fast Integer pel and Fractional pel motion estimation in for JVT," in JVT of ISO/ICE/ MPEG and ITU-T VCEG, 6th meeting, 2002.
  15. A. Smolic, K. Mueller, P. Merkle, C. Fehn, P. kauff, P. Eisert, and T. Wiegand, "3D Video and Free Viewpoint Video - Technologies, Applications and MPEG Standards," IEEE International Conference on Multimedia and Exposition, 2006(7).
  16. ISO/IEC JTC1/SC29/WG11 N10357, "Vision on 3D Video," 2009(2).
  17. X. L. TANG and S. K. OAT, "An Analysis of TZSearch Algorithm in JMVC," The 2010 International Conference on Green Circuits and Systems, pp.516-519, 2010.
  18. N. Purnachand, L. N. Alves, and A. Navarro, "Improvements to TZ search motion estimation algorithm for multiview video coding," IWSSIP 2012, pp.388-391, 2012.
  19. H. S. Yoon and M. Y. Kim, "Center Biased Motion Estimation Method for Multi-video view video coding," J. of KIISE, Vol.40, No.11, pp.679-704, 2013.
  20. H. S. Yoon and G. S. Lee, "Adaptive Motion Estimation using temporal correlation," The KIPS Transactions: Part B, Vol.9, No.2, pp.199-204, 2004.