KIPS Transactions on Software and Data Engineering (정보처리학회논문지:소프트웨어 및 데이터공학)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Super Resolution Algorithm Based on Edge Map Interpolation and Improved Fast Back Projection Method in Mobile Devices

모바일 환경을 위해 에지맵 보간과 개선된 고속 Back Projection 기법을 이용한 Super Resolution 알고리즘

  • 이두희 (강원대학교 컴퓨터정보통신공학과) ;
  • 박대현 (강원대학교 컴퓨터정보통신공학과) ;
  • 김윤 (강원대학교 컴퓨터정보통신공학과)
  • Received : 2012.01.02
  • Accepted : 2012.07.23
  • Published : 2012.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

Recently, as the prevalence of high-performance mobile devices and the application of the multimedia content are expanded, Super Resolution (SR) technique which reconstructs low resolution images to high resolution images is becoming important. And in the mobile devices, the development of the SR algorithm considering the operation quantity or memory is required because of using the restricted resources. In this paper, we propose a new single frame fast SR technique suitable for mobile devices. In order to prevent color distortion, we change RGB color domain to HSV color domain and process the brightness information V (Value) considering the characteristics of human visual perception. First, the low resolution image is enlarged by the improved fast back projection considering the noise elimination. And at the same time, the reliable edge map is extracted by using the LoG (Laplacian of Gaussian) filtering. Finally, the high definition picture is reconstructed by using the edge information and the improved back projection result. The proposed technique removes effectually the unnatural artefact which is generated during the super resolution restoration, and the edge information which can be lost is amended and emphasized. The experimental results indicate that the proposed algorithm provides better performance than conventional back projection and interpolation methods.

최근 고성능 모바일기기의 보급과 멀티미디어 콘텐츠의 활용이 커짐에 따라 저해상도 영상을 고해상도로 재구성하는 초해상도(super resolution) 기법이 중요하게 대두되고 있다. 모바일기기에서는 초해상도를 사용하기 위해서는 연산량과 메모리 등의 제한적인 자원의 사용을 고려한 초해상도 알고리즘이 요구된다. 본 논문에서는 모바일기기에 적용하기 위해 단일영상을 통한 빠른 초해상도 기법을 제안한다. 제안한 알고리즘은 색채 왜곡을 방지하기 위해 RGB 컬러 도메인에서 HSV 컬러 도메인으로 변경하여 인간의 시각인지 특성이 가장 뚜렷한 밝기정보인 V만 처리한다. 먼저 잡음제거 및 속도향상을 고려하여 개선된 고속 back projection에 의해 영상을 확대 재구성한다. 이와 함께 2차 미분을 사용하는 LoG (laplacian of gaussian) 필터링을 이용하여 신뢰할 수 있는 에지 맵을 추출한다. 최종적으로 에지 정보와 개선된 back projection 결과를 이용하여 고해상도 영상을 재구성한다. 제안한 알고리즘을 사용하여 복원한 영상은 부자연스러운 인공물을 효과적으로 제거하고, blur현상을 최소화하여 에지 정보를 보정하고 강조해준다. 실험결과를 통해 제안하는 알고리즘이 기존의 보간법이나 전통적인 back projection 결과보다 주관적인 화질이 우수하고, 객관적으로 우수한 성능을 나타냄을 입증한다.

Keywords

References

  1. J.P. Allebach and P.W. Wong, "Edge-directed interpolation", In ICIP, 1996.
  2. X. Li and M.T. Orchard, "New edge-directed interpolation", In ICIP, 2000.
  3. R. W. Schafer and L. R. Rabiner, "A digital signal processing approach to interpolation", Proc. IEEE, Vol.61, pp.692-702, 1973. https://doi.org/10.1109/PROC.1973.9150
  4. R. G. Keys, "Cubic convolution interpolation for digital image processing", IEEE Trans. Acoustics, Speech and Signal Processing, Vol.29, pp.1153-1160, 1981. https://doi.org/10.1109/TASSP.1981.1163711
  5. W.T. Freeman, T.R. Jones, and E.C. Pasztor, "Example-based superresolution", IEEE Computer Graphics and Applications, Vol.22, pp.56-65, 2002.
  6. Y. Weiss, J. S. Yedidia, W. T. Freeman, "Understanding belief propagation and its generalizations" Morgan Kaufmann Publishers Inc. San Francisco, CA, USA, 2003.
  7. Y. Jianchao, W. John, H. Thomas, and M. Yi. "Image super-resolution as sparse representation of raw image patches", In CVPR, 2008.
  8. C. Liu, H.Y. Shum, and W.T. Freeman, "Face hallucination: Theory and practice", IJCV, Vol.75, pp.115-134, 2007. https://doi.org/10.1007/s11263-006-0029-5
  9. G. R. Park and I. J. Kim, "Example-based Super Resolution Text Image Reconstruction Using Image Observation Model", The KIPS Transactions: Part B, Vol.17, No.4, pp.295-302, 2010. https://doi.org/10.3745/KIPSTB.2010.17B.4.295
  10. M. Irani and S. Peleg, "Motion analysis for image enhancement: Resolution, occlusion and transparency", JVCIR, 1993.
  11. W. Ying G, Yihong D, Shengyang, and H. Mei, "Bilateral back-projection for single image super resolution", Multimedia, 2007.
  12. S. Baker and T. Kanade, "Limits on super-resolution and how to break them", IEEE Trans. on PAMI, Vol.24, pp.1167-1183, 2002. https://doi.org/10.1109/TPAMI.2002.1033210
  13. J. Sun, J. Sun, Z. Xu, and H.Y. Shum, "Image super-resolution using gradient profile prior", In CVPR, 2008.