Abstract
Image registration is a process to establish the spatial correspondence between images of the same scene, which are acquired at different view points, at different times, or by different sensors. This paper presents a new algorithm for robust registration of the images acquired by multiple sensors having different modalities; the EO (electro-optic) and IR(infrared) ones in the paper. The two feature-based and intensity-based approaches are usually possible for image registration. In the former selection of accurate common features is crucial for high performance, but features in the EO image are often not the same as those in the R image. Hence, this approach is inadequate to register the E0/IR images. In the latter normalized mutual Information (nHr) has been widely used as a similarity measure due to its high accuracy and robustness, and NMI-based image registration methods assume that statistical correlation between two images should be global. Unfortunately, since we find out that EO and IR images don't often satisfy this assumption, registration accuracy is not high enough to apply to some applications. In this paper, we propose a two-stage NMI-based registration method based on the analysis of statistical correlation between E0/1R images. In the first stage, for robust registration, we propose two preprocessing schemes: extraction of statistically correlated regions (ESCR) and enhancement of statistical correlation by filtering (ESCF). For each image, ESCR automatically extracts the regions that are highly correlated to the corresponding regions in the other image. And ESCF adaptively filters out each image to enhance statistical correlation between them. In the second stage, two output images are registered by using NMI-based algorithm. The proposed method provides prospective results for various E0/1R sensor image pairs in terms of accuracy, robustness, and speed.
영상정합은 동일한 장면에 대해서 서로 다른 시간 혹은 서로 다른 특성의 센서로부터 서로 다른 위치에서 얻은 영상들의 위치적 대응관계를 찾는 기법이다. 이 논문에서는 특성이 다른 적외선 센서와 광학 센서로부터 얻은 영상의 정합을 위한 새로운 알고리즘을 제안한다. 지금까지 제안된 서로 다른 특성의 영상을 위한 정합기법은 크게 특징점 기반 영상정합기법과 밝기값 기반 영상정합기법으로 구분될 수 있다. 특징점 기반의 영상정합기법은 정확하게 대응하는 특징점을 선택하는 것이 성능에 결정적인 영향을 준다 그러나 적외선 영상과 가시광선 영상에서는 특징점이 서로 같지 않은 경우가 많기 때문에 강인하지 못하다 그리고 밝기 값 기반의 정합기법에서는 정규상호정보를 유사성 척도로 사용한 영상정합기법이 가장 좋은 성능을 제공하는 것으로 알려져 있다. 그러나 정규상호정보 기반의 영상정합기법은 두 영상의 통계적 상관성이 전역적이어야 한다는 가정을 전제하는데, 적외선 영상과 가시광선 영상에서는 이를 보장하지 못하는 경우가 많아 정규상호정보를 유사성 척도로 사용하는 영상정합기법에서도 좋은 성능을 기대하기 힐들다. 따라서 이 논문에서는 적외선 영상과 가시광선 영상의 통계적 상관성의 해석에 기반한 두 단계 영상정합기법을 제안한다. 정확하고 강인한 정합을 위해서 첫 단계에서는 두 영상에서 통계적 상관성이 높은 부분을 추출하는 ESCR기법과 두 영상을 통계적 상관성이 높도록 필터링하는 ESCF기법을 수행한다. 그리고 두 번째 단계에서는 첫 단계에서의 결과 영상에 대해서 정규상호정보를 유사성 척도로 한 영상정합을 수행한다. 다양한 적외선 영상과 가시광선 영상을 이용한 실험으로부터 제안하는 두 단계 영상정합기법이 기존의 정규상호정보 기반의 영상정합기법에 비해 정확도와 강인함, 그리고 실행 속도의 측면에서 더욱 향상된 성능을 제공함을 확인하였다.
