DOI QR코드

DOI QR Code

Motion Linearity-based Frame Rate Up Conversion Method

선형 움직임 기반 프레임률 향상 기법

  • Kim, Donghyung (Dept. of Computer Science & Information Systems, Hanyang Women's Univ.)
  • 김동형 (한양여자대학교 컴퓨터정보과)
  • Received : 2017.05.12
  • Accepted : 2017.07.07
  • Published : 2017.07.31

Abstract

A frame rate up-conversion scheme is needed when moving pictures with a low frame rate is played on appliances with a high frame rate. Frame rate up-conversion methods interpolate the frame with two consecutive frames of the original source. This can be divided into the frame repetition method and motion estimation-based the frame interpolation one. Frame repetition has very low complexity, but it can yield jerky artifacts. The interpolation method based on a motion estimation and compensation can be divided into pixel or block interpolation methods. In the case of pixel interpolation, the interpolated frame was classified into four areas, which were interpolated using different methods. The block interpolation method has relatively low complexity, but it can yield blocking artifacts. The proposed method is the frame rate up-conversion method based on a block motion estimation and compensation using the linearity of motion. This method uses two previous frames and one next frame for motion estimation and compensation. The simulation results show that the proposed algorithm effectively enhances the objective quality, particularly in a high resolution image. In addition, the proposed method has similar or higher subjective quality than other conventional approaches.

낮은 프레임률을 가지는 동영상을 높은 프레임률 디스플레이 장치를 통해 재생하는 경우 프레임률 향상기법이 필요하다. 프레임 향상 기법은 연속된 원본 프레임 사이에 프레임을 보간함으로써 생성하며 이러한 프레임 보간방법은 크게 프레임 복사 기법과 움직임벡터 기반의 보간기법으로 나뉜다. 프레임 복사 기법은 단순히 보간하고자 하는 프레임의 이전 또는 이후 프레임을 복사하는 기법으로 매우 낮은 복잡도를 가지지만 저키현상이 발생하는 단점이 있다. 움직임 벡터 추정 및 보상을 통한 프레임 보간기법은 다시 화소단위의 방법과 블록단위의 움직임 추정 방법으로 나눌 수 있다. 화소기반의 경우 영역별 다른 보간 방법을 사용하여 보간을 수행하며 높은 복잡도를 가지는 단점이 있다. 블록기반 방법은 상대적으로 낮은 복잡도를 가지지만 블록킹현상이 발생한다는 단점을 가진다. 제안하는 방법은 블록단위의 움직임 추정 기반 프레임률 향상기법으로 프레임내 움직임의 선형성을 이용하여 움직임을 추정한다. 이 과정에서 보간하고자 하는 프레임 이전 두 프레임과 이후 한 프레임을 사용하여 움직임 추정 및 보상을 수행함으로써 프레임을 보간하다. 실험결과 제안한 알고리즘은 객관적 화질 측면에서 이전의 다른 방법과 비교하여 높은 성능을 보이고 특히 해상도가 높은 경우 더욱 우수한 성능을 가지는 것으로 나타났으며 주관적 화질 또한 상대적으로 우수한 것을 볼 수 있었다.

Keywords

References

  1. C. K. Wong, O. C. Au, "Modified motion compensated temporal frame interpolation for very low bitrate video," IEEE Conf. Acoust. Speech, Signal Processing, vol. 4, pp. 2327-2330, May 1996. DOI: https://doi.org/10.1109/ICASSP.1996.547748
  2. K. Hilman, H.-W. Park, Y.-M. Kim, "Using motion compensated frame-rate conversion for the correction of 3:2 pulldown artifacts in video sequences," IEEE Trans. on CSVT, vol. 10, no. 1, pp. 869-877, Sep. 2000. DOI: https://doi.org/10.1109/76.867925
  3. P. Moulin, R. Krishnamurthy, J. W. Woods, "Multiscale modeling and estimation of motion fields for video coding," IEEE Trans. Image Processing, vol. 6, no. 12, pp. 1606-1620, Dec. 1997. DOI: https://doi.org/10.1109/83.650115
  4. T. Y. Kuo, C. -C. I. Kuo, "Motion- compensated interpolation for low-bit-rate video quality enhancement," SPIE Proc. Visual Communications and Image Processing, vol. 3460, pp. 277-288, July 1998. DOI: https://doi.org/10.1117/12.323181
  5. T. Liu, K. T. Lo, J. Feng, X. Zhang, "Frame interpolation scheme using inertia motion prediction," Signal Processing: Image Communication, vol. 18, no. 3, pp. 221-229, Mar. 2003. DOI: https://doi.org/10.1016/S0923-5965(02)00141-8
  6. Y.-K. Chen, A. Vetro, H. Sun, S. Y. Kung, "Frame-rate up-conversion using transmitted true motion vectors," IEEE Multimedia Signal Processing, Second Workshop, pp. 622-627, Dec. 1998. DOI: https://doi.org/10.1109/MMSP.1998.739050
  7. J. Zhai, K. Yu, J. Li, S. Li, "A Low Complexity Motion Compensated Frame Interpolation Method," IEEE Proc. International Symposium on Circuits and Systems, pp. 4927-4930, May 2005. DOI: https://doi.org/10.1109/ISCAS.2005.1465738
  8. B.-T. Choi, S. H. Lee, S. J. Ko, "New frame rate up-conversion using bi-directional motion estimation," IEEE Trans. Consumer Electronics, vol. 46, no. 3, Aug. 2000. DOI: https://doi.org/10.1109/30.883418
  9. Y. Guo, L. Chen, Z. Gao, X. Zhang, "Frame Rate Up-Conversion Method for Video Processing Applications," IEEE Trans. on Broadcasting, vol. 60, no. 4, pp. 659-669, Dec. 2014. DOI: https://doi.org/10.1109/TBC.2014.2354951