The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지
DOI QR코드

DOI QR Code

Multi-Frame-Based Super Resolution Algorithm by Using Motion Vector Normalization and Edge Pattern Analysis

움직임 벡터의 정규화 및 에지의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 기법

  • 권순찬 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 유지상 (광운대학교 전자공학과 디지털 미디어 연구실)
  • Received : 2012.07.10
  • Accepted : 2013.01.07
  • Published : 2013.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose multi-frame based super resolution algorithm by using motion vector normalization and edge pattern analysis. Existing algorithms have constraints of sub-pixel motion and global translation between frames. Thus, applying of algorithms is limited. And single-frame based super resolution algorithm by using discrete wavelet transform which robust to these problems is proposed but it has another problem that quantity of information for interpolation is limited. To solve these problems, we propose motion vector normalization and edge pattern analysis for 2*2 block motion estimation. The experimental results show that the proposed algorithm has better performance than other conventional algorithms.

본 논문에서는 움직임 벡터의 정규화 및 윤곽선(edge)의 패턴 분석을 이용한 새로운 복수영상 기반의 초해상도(super resolution) 영상 생성 기법을 제안한다. 기존의 복수영상 기반의 초해상도 기법의 경우 입력 동영상을 구성하는 각 영상 간 부화소(sub-pixel) 단위의 움직임과 병진이동(global translation)만이 발생한다고 가정하여 기법의 적용이 제한적이다. 또한 이러한 제한에 강한 단일영상 기반의 초해상도 영상 생성 기법의 경우 보간 시 사용할 수 있는 정보량이 제한적이라는 단점이 있다. 본 논문에서는 기존 기법의 단점인 부화소 단위의 움직임에 대한 제한을 움직임 벡터의 정규화 기법을 통해 해결하고, 윤곽선 패턴 분석을 기반으로 한 2*2 블록 단위의 움직임 추정을 통해 병진이동에 대한 제한을 해결하였다. 또한 실험을 통하여 제안하는 기법이 기존의 이중선형(bi-linear)보간법, 단일영상과 복수영상 기반 초해상도 기법보다 우수하다는 것을 확인하였다.

Keywords

References

  1. G. B. Kang, Y. S. Yang and J. H. Kim, "A study on interpolation for enlarged still image," in Proc. KIICE General Conf., pp. 643-648, May 2001.
  2. S. C. Park, M. K. Park, and M. G. Kang, "Super resolution image reconstruction: a technical overview," IEEE Signal Proc. Mag., vol. 20, no. 3, pp. 21-36, May, 2003. https://doi.org/10.1109/MSP.2003.1203207
  3. J. M. Lim and J. Yoo, "Super resolution algorithm using discrete wavelet transform for single-image," J. KOSBE, vol. 17, no. 2, pp. 344-353, Mar. 2012. https://doi.org/10.5909/JEB.2012.17.2.344
  4. S. C. Kwon and J. Yoo, "Super resolution algorithm by motion estimation with sub-pixel accuracy using 6-tap FIR filter," J. KICS., vol. 37, no. 6, pp. 464-472, Jun. 2012. https://doi.org/10.7840/KICS.2012.37.6A.464
  5. V. K. Asari, M. N. Islam and M. A. Karim, "Super resolution enhancement technique for low resolution video," IEEE trans. Consumer Elect., vol. 56, no. 2, pp. 919-924, May 2010. https://doi.org/10.1109/TCE.2010.5506020
  6. S. Farsiu and P. Milanfar, "Kernel regression for image processing and reconstruction," IEEE Trans. Image Process., vol. 16, no. 2, pp. 349-366, Feb., 2007. https://doi.org/10.1109/TIP.2006.888330
  7. M. Elad, H. Takeda and P. Milanfar, "Generalizing the nonlocal-means to super resolution reconstruction," IEEE Trans. Image Process., vol. 18, no. 1, pp. 36-51, Jan. 2009. https://doi.org/10.1109/TIP.2008.2008067
  8. S. C. Jeong and Y. L. Choi, "Video super resolution algorithm using bi-directional overlapped block motion compensation and on-the-fly dictionary training," IEEE Trans. Circ. Syst. Vid., vol. 21, no. 3, pp. 274-285, Mar. 2011. https://doi.org/10.1109/TCSVT.2010.2087454
  9. T. H. Kim, Y. S. Moon and C. S. Han, "Estimation of real boundary with subpixel accuracy in digital imagery," KSPE Journals, vol. 16, no. 8, pp. 16-22. Aug. 1999.
  10. T. Wiegand, G. J. Sullivan, G. Bjontegaard, and A. Luthra, "Overview of the H.264/AVC video coding standard," IEEE Trans Circ. Syst. Vid., vol. 13, no. 7, pp. 560-576, Jul. 2003. https://doi.org/10.1109/TCSVT.2003.815165
  11. N. Hirai, T. Kato, T. Song and T. Shimamoto, "An efficient architecture for spiral-type motion estimation for H.264/AVC," IEEK General Conf., pp. 314-317, Jul. 2009.
  12. Y. Ismail, J.B. McNeely, M. Shaaban, H. Mahmoud and M.A. Bayoumi, "Fast motion estimation system using dynamic models for H.264/AVC video coding," IEEE Trans. Circ. Syst. Vid., vol. 22, no. 1, pp. 28-42, Jan. 2012. https://doi.org/10.1109/TCSVT.2011.2148450
  13. H. M. Wong, O. C. Au, A. Chang, S.K. Yip and C.W. Ho, "Fast mode decision and motion estimation for H.264(FMDME)," IEEE Int. Symp. Circ. and Syst., pp. 21-24, May 2006.
  14. S. Winkler, "The evolution of video quality measurement: from PSNR to hybrid metrics," IEEE Trans Broadcast., vol. 54, no. 3, pp. 660-668, Sep. 2008. https://doi.org/10.1109/TBC.2008.2000733