Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Superresolution Restoration From Directional Rectangular Blurred Images

방향성 직사각형 열화 영상을 사용한 초해상도 영상복원

  • Shin, Jeongho (Dept. of Computer and Web Information Engineering, Hankyong National University)
  • 신정호 (한경대학교 컴퓨터웹정보공학과)
  • Received : 2013.12.17
  • Accepted : 2014.01.27
  • Published : 2014.01.30
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents a superresolution restoration technique that can restore high-resolution images from differently blurred low resolution images rather than using the motion information between low-resolution images. In order to restore the super-resolution image the rotatable aperture mask lens system is proposed. The proposed technique does not need to estimate point spread function at each frame. In addition, it does not require image registration because there is no global translational motion between low resolution images. By using a rotatable rectangular aperture, two consecutive captured images provide sufficiently exclusive information for superresolution. Therefore, the proposed method can reduce the registration error between the low-resolution image as well as the calculation amount for superresolution restoration. The existing lens system of the camera can be extended to obtain a superresolution image by only adding an rotatable rectangular aperture mask. Finally, in order to verify the performance of the proposed system, experimental results are performed. By comparing with the existing superresolution methods, the proposed method showed the significant improvements in the sense of spatial resolution.

본 논문에서는 저해상도 영상들 사이의 움직임 정보를 사용하지 않고 서로 다른 형태의 열화영상들로부터 초해상도 영상을 복원하는 기술을 제안한다. 초해상도 영상 복원을 위해서 직사각형 조리개 마스크를 90도 회전하여 두 장의 영상을 취득하기 위한 렌즈시스템을 제안한다. 제안한 기술은 저해상도 영상에서 발생한 초점열화를 프레임마다 추정할 필요가 없고, 조리개 마스크 형태에 해당하는 초점열화만 추정하면 된다. 취득한 영상 간에는 평행 이동이 없기 때문에 영상정합이 필요하지 않다. 직사각형 조리개 마스크를 직교하여 취득한 두 장만의 영상으로 충분히 배타적인 정보를 얻을 수 있다. 따라서 저해상도 영상들 사이의 정합오류와 정합을 위한 계산량을 감소시킬 수 있기 때문에 고해상도 영상을 추정하기에 용이하다. 또한 기존의 카메라 렌즈 시스템에 조리개 마스크를 추가하여 적용할 수 있기 때문에 새로운 형태의 렌즈 시스템을 제작할 필요 없이 초해상도 영상을 복원할 수 있는 카메라 시스템으로 확장 가능하다. 마지막으로 본 논문에서 제안한 방향성 직사각형 열화를 사용한 초해상도 영상복원 기술의 성능을 검증하기 위해서 기존의 초해상도 영상복원 기술과 비교하였으며, 그 결과 해상도가 상당히 개선되었음을 보였다.

Keywords

References

  1. R. Y. Tsai and T. S. Huang, "Multiframe image restoration and registration," in Advances in Computer Vision and Image Processing, pp. 317 -339, JAI Press Inc., 1984.
  2. S. C. Park, M. K. Park, and M. G. Kang, "Super-resolution image reconstruction: A technical overview," IEEE Signal Processing Magazine, vol. 20, no. 3, pp. 21-36, May 2003. https://doi.org/10.1109/MSP.2003.1203207
  3. S. Borman and R. L. Stevenson, "Spatial resolution enhancement of low-resolution image sequences-A review," Uinversity of Nortre Dame, Tech. Rep., 1998.
  4. M. Elad, and A. Feuer, "Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images," IEEE Tr. Image Processing, vol. 6, no. 12, pp. 1646-1658, December 1997. https://doi.org/10.1109/83.650118
  5. D. Rajan and S. Chaudhuri, "Generation of super-resolution images from blurred observations using an MRF model," J. Math. Imaging Vision, vol. 16, pp. 5-15, 2002. https://doi.org/10.1023/A:1013961817285
  6. A. Mohan, X, Huang, and J. Tumblin, "Sensing increased image resolution using aperture masks," CVPR 2008.
  7. Y. Bando, B. Chen, and T. Nishita, "Extracting depth and matte using a color-filtered aperture," ACM Tr. Graph., vol. 27, no. 5, December 2008.
  8. S. Kim, E. Lee, M. Hayes, and J. Paik, "Multifocusing and depth estimation using a color shift model-based computational camera," IEEE Tr. Image Processing, vol. 21, no. 9, pp. 4152-4166, September 2012. https://doi.org/10.1109/TIP.2012.2202671
  9. A. Levin, R. Dergus, F. Durand, and W. Freeman, "Image and depth from a conventional camera with a coded aperture," ACM Tr. Graphics, vol. 26, no. 3, July 2007.
  10. V. Maik, D. Cho, J. Shin, D. Har, and J. Paik, "Color-shift model-based segmentation and fusion for digital auto focusing," Journal of Imaging Science, Technology, vol. 51, no. 4, pp. 368-379, July/August 2007. https://doi.org/10.2352/J.ImagingSci.Technol.(2007)51:4(368)