Frame Interpolation using Dominant MV

우세 움직임 벡터를 이용한 프레임 보간 기법

  • 최승현 (광운대학교 컴퓨터공학과) ;
  • 이성원 (광운대학교 컴퓨터공학과)
  • Published : 2009.11.25

Abstract

The emerging display technology has been replaced the previous position of the CRT with the LCD. The nature of hold type display such as LCD, however, causes many problems such as motion blur and motion judder. To resolve the problems, we used frame interpolation technique which improves the image quality by inserting new interpolated frames between existing frames. In this paper, we propose a novel frame interpolation technique that uses dominant MV and variance different value in each block. At first, the proposed algorithm performs unidirectional motion estimation using blocking matching algorithm. The new frame is generated by pixel average using compared block variance or by pixel motion compensation using dominant motion vector, whether the motion estimation find the target area or not. Several experiments with the proposed algorithm shows that the proposed algorithm has better image quality than the existing bidirectional frame interpolation algorithm at the rate of about 3dB PSNR and has low complexity comparing to the unidirectional frame interpolation technique.

LCD(Liquid Crystal Display)의 발전은 이전에 사용하던 CRT를 대체하고 있다. 하지만 LCD와 같은 홀드 타입(Hold type)형 디스플레이의 구조적 특성으로 인해 동영상 재생 시 움직임 블러나 움직임 저더 등의 많은 문제점이 발생했다. 이를 해결하기 위해 화면 사이사이에 새로운 화면을 생성하여 화질을 개선하기 위한 화면 보간 기법을 사용하고 있다. 본 논문에서는 우세 움직임 벡터와 블럭간 분산값의 차이를 이용한 화면 보간 기법을 제안한다. 제안하는 알고리즘은 먼저 생성되는 프레임 전후의 프레임에 대하여 블록매칭을 이용한 단방향 움직임 추정을 통한 블록 움직임 예측을 하게 된다. 그리고 블록 움직임 예측에서 찾지 못한 부분을 비교 블록간 분산값을 통해 픽셀 평균값과 영향이 큰 모션 벡터를 선택하여 적용시키는 픽셀 움직임 예측으로 새로운 프레임을 생성한다. 제안하는 알고리즘을 이용하여 여러 실험영상의 프레임 보간 결과를 비교하였으며, 기존 알고리즘인 양방향 화면 보간 방법에 비하여 약 3dB 정도의 PSNR 증가를 얻을 수 있었고 단방향 화면 보간 방법에 비해 계산량을 줄일 수 있었다.

Keywords

References

  1. Hilman, K. H. Park, Y, Kim, "Using motion-compensated frame-rate conversion for the correction of 3:2 pulldown artifacts in video sequences", IEEE transactions on Circuit and system for Video Technology, vol10, issue6, pp.869-877, Sept. 2000
  2. B. Choi, S. Lee, "New frame rate up-conversion using bi-directional motion estimation", IEEE Transactions on Consumer Electronics, vol.46, Issue.3, pp603-609, Aug. 2000 https://doi.org/10.1109/30.883418
  3. T. Ha, S. Lee and J. Kim, "Motion Compensated Frame Interpolation by new Block-based Motion Estimation Algorithm," IEEE Transactions on Consumer Electronics, vol.50, Issue.2, pp.752-759, May, 2004 https://doi.org/10.1109/TCE.2004.1309458
  4. B. Choi, J. Han, C. Kim, and S. Ko, "Motion-Compensated Frame Interpolation Using Bilateral Motion Estimation and Adaptive Overlapped Block Motion Compensation," IEEE Transactions on Circuit and system for Video Technology, vol.17, issue.4, pp.407-416, Apr. 2007 https://doi.org/10.1109/TCSVT.2007.893835
  5. Y. Yang, Y. Tung and J. Wu, "Quality Enhancement of Frame Rate Up-Converted Video by Adaptive Frame Skip and Reliable Motion Extraction" IEEE transactions on Circuit and system for Video Technology, vol.17, issue.12, pp.1700-1713, Jan. 2007 https://doi.org/10.1109/TCSVT.2007.903806
  6. Z. Gan, L. Qi and X. Zhu, "Motion compensated frame interpolation based on H.264 decoder," Electronics Letters, vol.43, Issue.2, pp.96-98, Jan. 2007 https://doi.org/10.1049/el:20072810
  7. 남현우, "개선된 크로스-육각 패턴을 이용한 고속 블록 정합 움직임 추정 알고리즘", 한국컴퓨터정보학회 논문지, vol.11, no.4, pp77-85, 2007.09
  8. A. Huang, T. Nguyen, "A multistage Motion Vector Processing Method for Motion-Compensated Frame Interpolation", IEEE transactions on image processing, vol.17, issue.5, pp694-708, may. 2008 https://doi.org/10.1109/TIP.2008.919360
  9. S. Lee, O. Kwon, R. Park, "Weighted-adaptive Motion-Compensated Frame Rate Up-Conversion", IEEE Transactions on Consumer Electronics, vol.49, Issue.3, pp.485-492, Aug. 2003 https://doi.org/10.1109/TCE.2003.1233759
  10. B. Jeon, G. Lee, S. Lee, R. Park, "Coarse-to-fine frame interpolation for frame rate up-conversion using pyramid structure", IEEE Transactions on Consumer Electronics, Vol.49, Issue.3, pp499-508, Aug. 2003 https://doi.org/10.1109/TCE.2003.1233761
  11. 하태현, 이성주, 김성식, 성준호, 김재석, "중첩 블록 기반 움직임 추정에 의한 중간 영상 합성기법", 한국방송공학회논문지, 제 9권, 제 1호, pp54-63, mar. 2004
  12. N. Mishima, G. Itoh, "Novel Frame Interpolation Method For Hold-type Displays", ICIP04 International Conference on image processing, Vol.3, pp1473-1476, Singapore, Oct.2004
  13. D. Lim, Y. Ho, "A Fast Block Matching Motion Estimation Algorithm Using Optimal Search Patterns", Proceeding of SPIE, Vol.4310, pp.767-775, Jul. 2001