An Improved Input Image Selection Algorithm for Super Resolution Still Image Reconstruction from Video Sequence

비디오 시퀀스로부터 고해상도 정지영상 복원을 위한 입력영상 선택 알고리즘

In this paper, we propose the input image selection-method to improve the reconstructed high-resolution (HR) image quality. To obtain ideal super-resolution (SR) reconstruction image, all input images are well-registered. However, the registration is not ideal in practice. Due to this reason, the selection of input images with low registration error (RE) is more important than the number of input images in order to obtain good quality of a HR image. The suitability of a candidate input image can be determined by using statistical and restricted registration properties. Therefore, we propose the proper candidate input Low Resolution(LR) image selection-method as a pre-processing for the SR reconstruction in automatic manner. In video sequences, all input images in specified region are allowed to use SR reconstruction as low-resolution input image and/or the reference image. The candidacy of an input LR image is decided by the threshold value and this threshold is calculated by using the maximum motion compensation error (MMCE) of the reference image. If the motion compensation error (MCE) of LR input image is in the range of 0 < MCE < MMCE then this LR input image is selected for SR reconstruction, else then LR input image are neglected. The optimal reference LR (ORLR) image is decided by comparing the number of the selected LR input (SLRI) images with each reference LR input (RLRI) image. Finally, we generate a HR image by using optimal reference LR image and selected LR images and by using the Hardie's interpolation method. This proposed algorithm is expected to improve the quality of SR without any user intervention.

본 논문에서는 SR(Super Resolution) 복원 과정에 있어 사용되는 입력 후보 영상 중 적합한 입력 영상을 자동 선택하는 알고리즘을 제안함으로써 복원된 고해상도 영상의 질을 개선하고자 한다. SR 복원과정에서 이상적인 결과 영상을 얻기 위해서는 입력되는 모든 영상이 유기적으로 잘 정합 되어야 하지만, 실제로는 그렇지 못하다. 이런 이유로 입력 후보군 영상의 정합 적합성이 얼마나 높은가가 단순히 많은 입력 영상의 수보다 고품질의 고해상도 결과 영상을 얻는데 더욱 결정적이라 할 수 있다. 입력 영상의 적합성은 통계 특성 및 정합 특성을 이용하여 평가 가능하다. 그러므로 본 논문에서는 SR 복원과정에 정합 적합성을 자동으로 평가하여 이에 따라 입력 영상을 결정하는 전처리 과정을 제안하고 구조화하였다. 또한 비디오 시퀀스의 모든 입력 영상은 SR 복원과정의 기준 영상이나 저해상도 입력 영상과 같이 사용될 수 있으므로 본 논문에서는 연속적인 비디오 시퀀스를 위한 SR 복원알고리즘을 제안한다. 적합성의 유무는 임계값(Threshold Value)에 의해 결정되며, 이 임계값은 기준 영상과의 움직임 추정에서 그 보상 값의 오류 값 중 최대치(MMCE, Maximum Motion Compensation Error)로 결정된다. 만약 저해상도 입력 영상의 보상 오류 값의 범위가 0과 MMCE사이(0 < MCE < MMCE )값이라면 그 범위 안의 입력 후보 영상은 SR 복원과정에 사용되며 범위 밖의 후보영상은 제외된다. 최적의 저해상도 기준(ORLR, Optimal Reference Low Resolution)영상은 선택된 저해상도 입력(SLRI, Selected LR Input)영상들과 각각의 저해상도 기준 입력(RLRI, Reference Low Resolution Input)영상들의 비교를 통해 결정된다. 본 논문에서는 이와 같은 과정에 의해 결정된 저해상도의 최적 기준영상과 선택영상을 'Hardie' 보간법을 사용하여 고해상도 영상을 만들어 내는 것으로 사용자의 조정이 없이도 SR 복원영상의 질적 향상을 가져올 것이라 기대된다.