Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Frame Rate Up-Conversion Using Triple Frame-based Bidirectional Motion Estimation

삼중 프레임 기반의 양방향 움직임 추정을 사용한 프레임율 증가 변환 방법

  • 강석주 (포항공과대학교 전자전기공학과) ;
  • 김영환 (포항공과대학교 전자전기공학과)
  • Received : 2010.01.25
  • Accepted : 2010.06.09
  • Published : 2010.07.25
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes a new frame rate up-conversion method. First, the proposed triple frame-based bidirectional motion estimation method reduce block artifacts in the interpolated frame by solving the wrong motion estimation in the area with similar characteristics. Second, the proposed motion vector smoothing reduces outliers, which result in block artifacts, considering the spatio-temporal neighboring motion vectors. In the experiments, the proposed frame rate up-conversion method improves the average PSNR and SSIM by up to 4.337 dB and 0.089, respectively, compared to the existing methods.

본 논문에서는 효과적인 프레임율 증가 변환을 위한 새로운 방법을 제안하였다. 첫 번째로 제안한 삼중 프레임 기반의 양방향 움직임 추정 방법은 기존의 양방향 움직임 추정 방법에서 발생한 문제점인 유사한 특성을 갖는 이미지에서의 잘못된 움직임 추정을 해결하여 보간 프레임 생성 시 발생한 블록화 현상을 크게 줄일 수 있었다. 두 번째로 제안한 움직임 벡터 평탄화 방법은 시공간적으로 인접한 움직임 벡터들을 고려하여 블록화 현상의 원인이 되는 아웃라이어를 제거할 수 있었다. 실험 결과 제안한 프레임율 증가 변환 방법은 기존의 방법들과 비교했을 때 평균 PSNR이 최대 4.337 dB만큼 높은 것을 확인할 수 있었고, 평균 SSIM은 최대 0.089만큼 높은 것을 확인할 수 있었다.

Keywords

References

  1. 정유찬, 백준기, "동영상의 필드불일치 보정 및 움직임열화 제거 시스템 개발," 전자공학회논문지, 제 36권 S편, 제2호, 81-87쪽, 1999년 2월.
  2. 김낙우, 김태용, 최종수, "압축 영역에서의 양방향예측 구조를 이용한 움직임 흐름 분석," 전자공학회논문지, 제41권 SP편, 제5호, 13-22쪽, 2004년 9 월.
  3. S.-J. Kang and Y. H. Kim, "Performance comparison of motion estimation methods for frame rate up-conversion," International Display Workshops (IDW), pp. 1633-1636, Dec. 2006.
  4. R. Castagno, P. Haavisto and G. Ramponi, "A method for motion adaptive frame rate upconversion," IEEE Trans. Circuits and Systems for Video Tech., Vol. 6, no. 5, pp. 436-445, Oct. 1996. https://doi.org/10.1109/76.538926
  5. S.-J. Kang, K.-R. Cho, and Y. H. Kim, "Motion compensated frame rate up-conversion using extended bilateral motion estimation," IEEE Trans. Consumer Electronics, Vol. 53, no. 4, pp. 1759-1767, Nov. 2007.
  6. B.-W. Jeon, G.-I. Lee, S.-H. Lee, and R.-H. Park, "Coarse-to-fine frame interpolation for frame rate up-conversion using pyramid structure," IEEE Trans. Consumer Electronics, Vol. 49, no. 3, pp. 499-508, Aug. 2003. https://doi.org/10.1109/TCE.2003.1233761
  7. B. D. Choi, J. W. Han, C. S. Kim, and S. J. Ko, "Frame rate up-conversion using perspective transform," IEEE Trans. Consumer Electronics, vol. 52, no. 3, pp. 975-982, Aug. 2006. https://doi.org/10.1109/TCE.2006.1706496
  8. B. T. Choi, S. H. Lee, and S. J. Ko, "New frame rate up-conversion using bidirectional motion estimation," IEEE Trans. Consumer Electronics, vol. 46, no. 3, pp. 603-609, Aug. 2000. https://doi.org/10.1109/30.883418
  9. J. Zhai, J. L. K. Yu, and S. Li "A low complexity motion compensated frame interpolation method," Proc. IEEE International Symposium on Circuits and Systems (ISCAS), vol. 5, pp. 4927-4930, Sept. 2005.
  10. M. T. Orchard and C. J. Sullivan, "Overlapped block motion compensation: An estimation theoretic approach," IEEE Trans. Image Processing, Vol. 3, no. 9, pp. 693-699, Sept. 1994.
  11. Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: From error visibility to structural similarity," IEEE Trans. Image Processing, Vol. 13, pp. 600-612, Apr. 2004. https://doi.org/10.1109/TIP.2003.819861
  12. T. Ha, S. Lee, and J. Kim, "Motion compensated frame interpolation by new block-based motion estimation algorithm," IEEE Trans. Consumer Electronics, Vol. 50, no. 2, pp. 752-759, May 2004. https://doi.org/10.1109/TCE.2004.1309458