Adaptive Error Concealment Method Using Affine Transform in the Video Decoder

비디오 복호기에서의 어파인 변환을 이용한 적응적 에러은닉 기법

  • 김동형 (한라대학교 정보통신방송공학부) ;
  • 김승종 (한양여자대학교 컴퓨터정보과)
  • Published : 2008.09.30

Abstract

Temporal error concealment indicates the algorithm that restores the lost video data using temporal correlation between previous frame and current frame with lost data. It can be categorized into the methods of block-based and pixel-based concealment. The proposed method in this paper is for pixel-based temporal error concealment using affine transform. It outperforms especially when the object or background in lost block has geometric transform which can be modeled using affine transform, that is, rotation, magnification, reduction, etc. Furthermore, in order to maintain good performance even though one or more motion vector represents the motion of different objects, we defines a cost function. According to cost from the cost function, the proposed method adopts affine error concealment adaptively. Simulation results show that the proposed method yields better performance up to 1.9 dB than the method embedded in reference software of H.264/AVC.

시간적 에러은닉 기법은 손실된 데이터를 포함한 프레임과 이전프레임사이의 시간적 상관도(temporal correlation)를 이용하여 손실된 데이터를 복원하는 기술을 말한다. 이러한 시간적 에러은닉 방법은 블록단위의 복원기술과 화소단위의 복원기술로 나눌 수 있다. 본 논문에서 제안하는 방법은 어파인변환(affine transform)을 이용한 화소단위의 시간적 에러은닉에 관한 것으로 이는 손실된 블록내에 객체 또는 배경이 어파인 모델로 모델링 될 수 있는 기하학적 변환 즉 회전, 확대, 축소와 같은 변환이 있는 경우 더욱 높은 성능을 가진다. 또한 어파인 모델의 계산과정에 사용되는 움직임벡터가 서로 다른 객체의 움직임을 나타내는 경우에도 높은 성능을 유지하기 위해 비용함수를 정의하고 비용 값에 따라 적응적으로 어파인 에러은닉방법을 적용함으로써 보다 높은 성능을 가지게 한다. 실험결과 제안하는 알고리즘은 현재 H.264/AVC 참조소프트웨어에서 방법과 비교하여 최대 1.9 dB까지의 객관적 화질향상이 있는 것으로 나타난다.

Keywords

References

  1. Young H. Jung, Yong-goo Kim, and Yoonsik Choe, "Robust error concealment algorithm using iterative weighted boundary matching criterion," Proc. ICIP, pp.384-387, 2000
  2. Ye-Kui Wang, Hannuksela M. Miska, and Viktor Varsa, "The error concealment feature in the H.26L test model," Proc. ICIP, Vol.2, pp.729-732, 2002
  3. D. Kim, S. Yang, and J. Jeong, "A new temporal error concealment method for H.264 using adaptive block sizes," Proc. ICIP, vol.3. pp.928- 931, 2005
  4. Y. Chen, Y. Hu, O.C. Au, H. Li, and C.W. Chen, "Video Error Concealment Using Spatio-Temporal Boundary Matching and Partial Differential Equation," IEEE Trans. on Multimedia, Vol.10, No.1, pp.2-15, 2008 https://doi.org/10.1109/TMM.2007.911223
  5. Jinghong Zheng, and Lap-Pui Chau, "A motion vector recovery algorithm for digital video using lagrange interpolation," IEEE Trans. on Broadcasting, Vol.49, pp.383-389, Dec. 2003 https://doi.org/10.1109/TBC.2003.819050
  6. J. Suh, and Y. Ho, "Recovery of motion vectors for error concealment," IEEE TENCON, pp.750- 753, June 1999
  7. Zhi-Heng Zhou, and Sheng-Li Xie, "Error concealment based on robust optical flow," Proc. ICCCAS, Vol.1, pp.547-550, May 2005
  8. 김동형, 정제창, "H.264에서 에러은닉을 위한 Optical Flow 기반의 움직임벡터 복원 기법" 한 국통신학회논문지, Vol.31, No.5, pp.503-511, 2006
  9. Sang-Hak Lee, Dong-Hwan Choi, and Chan-Sik Hwang, "Error concealment using affine transform for H.263 coded video transmissions," IEE Electronics Letters, pp.218-220, 2001
  10. R.C. Kordasiewicz, M.D. Gallant, and S. Shirani, "Affine Motion Prediction Based on Translational Motion Vectors," IEEE Trans. on Circuit and Systems for Video Technology, Vol.17, No.10, pp.1388-1394, 2007 https://doi.org/10.1109/TCSVT.2007.903777
  11. R. Hartley, and A. Zisserman, Multiple view geometry in computer vision, Cambridge University Press, March 2004
  12. JVT G050r1, "Draft ITU-T recommendation and final draft international standard of joint video specification (ITU-T Rec. H.264/ISO/IEC 14496- 10 AVC)," May 2003
  13. Thomas Wiegand, and Gary J. Sullivan, "Overview of the H.264/AVC Video Coding Standard," IEEE Trans. Circuits and Systems for Video Technology, Vol.13, pp.560-576, July 2003 https://doi.org/10.1109/TCSVT.2003.815165
  14. G.L. Wu, and S.Y. Chien "Spatial-temporal error detection scheme for video transmission over noisy channels," IEEE Symposium on Multimedia (ISM'07), Dec. 2007, pp.78-85
  15. http://bs.hhi.de/~suehring/tml/download/jm110. zip