Coarse to Fine Image Registration of Unmanned Aerial Vehicle Images over Agricultural Area using SURF and Mutual Information Methods

SURF 기법과 상호정보기법을 활용한 농경지 지역 무인항공기 영상 간 정밀영상등록

Abstract

In this study, we propose a coarse to fine image registration method for eliminating geometric error between images over agricultural areas acquired using Unmanned Aerial Vehicle (UAV). First, images of agricultural area were acquired using UAV, and then orthophotos were generated. In order to reduce the probability of extracting outliers that cause errors during image registration, the region of interest is selected by using the metadata of the generated orthophotos to minimize the search area. The coarse image registration was performed based on the extracted tie-points using the Speeded-Up Robust Features (SURF) method to eliminate geometric error between orthophotos. Subsequently, the fine image registration was performed using tie-points extracted through the Mutual Information (MI) method, which can extract the tie-points effectively even if there is no outstanding spatial properties or structure in the image. To verify the effectiveness and superiority of the proposed method, a comparison analysis using 8 orthophotos was performed with the results of image registration using the SURF method and the MI method individually. As a result, we confirmed that the proposed method can effectively eliminated the geometric errors between the orthophotos.

본 연구에서는 무인항공기(Unmanned Aerial Vehicle, UAV)를 활용하여 취득된 농경지 지역에 대한 영상 간 기하 오차를 제거하기 위한 정밀영상등록(Coarse to Fine Image Registration) 방법론을 제시한다. 먼저 무인항공기를 활용하여 농경지 지역에 대한 영상을 취득한 후 정사영상을 생성하였다. 영상등록 시 오차를 유발하는 오정합쌍이 추출되는 확률을 감소시키기 위해 생성된 정사영상의 메타데이터를 기반으로 관심지역을 선정하여 탐색영역을 최소화하였다. 그리고 Speeded Up Robust Features (SURF) 기법을 활용하여 추출된 정합쌍(Tie-points)을 기반으로 초기영상등록을 수행하여 정사영상 간 기하 오차를 전반적으로 제거하였다. 이어서 영상내에 두드러진 공간특성이나 구조가 없어도 효과적으로 정합쌍 추출이 가능한 상호정보(Mutual Information) 기법을 통해 추출된 정합쌍을 활용하여 정밀영상등록을 수행하였다. 총 8장의 정사영상을 이용하여 제안기법의 우수성 및 효율성을 검증하기 위해 SURF 기법, 상호정보기법을 개별적으로 활용하여 영상등록을 수행한 결과와 비교분석을 수행하였다. 그 결과, 제안기법을 활용한 경우 효과적으로 정사영상 간 기하 오차가 제거된 것을 확인하였다.

1. 서론

4차 산업혁명 시대의 고부가가치를 창출하는 핵심기술 중 하나인 무인항공기(UnmannedAerialVehicle, UAV)는 지도제작, 객체추출(Object Extraction), 재난 및 재해 모니터링, 그리고 정밀농업(Precision Agriculture) 등 다양한 분야에서 활용되고 있다. 특히, 정밀농업 분야에서의 무인항공기는 다양한 센서 장착을 통한 데이터 취득이 가능하고, 작물 분석 및 모니터링에 핵심인 시계열 데이터 취득이 용이하기 때문에 차세대 핵심 플랫폼으로 주목받고 있다(Wei et al., 2017). 이러한 무인항공기에서 취득된 영상을 정밀농업 분야에 보다 효율적으로 활용하기 위해 일반적으로 정사영상을 생성하여 활용한다. 하지만 동일 지역에 대해 동일한 촬영조건으로 시계열 무인항공기 영상을 취득하더라도 취득 당시의 Global Positioning System (GPS) 신호, 바람, 카메라 및 플랫폼의 성능 등 외부요소로 인해 영상별 기하 위치가 상이하게 나타나며, 이로 인해 생성된 정사영상 간 상대적인 기하 오차(Geometric Error)가 발생한다(Oh et al., 2018). 시계열 무인항공기 기반 정사영상을 효율적으로 활용하기 위해서는 기하 보정(Geometric Correction)을 통해 정사영상 간 좌표를 통일하여 상대적인 기하 오차를 최소화해주어야 한다(Han et al., 2019).

일반적으로 무인항공기에서 취득된 영상 간 좌표를 통일하여 기하 오차를 최소화하기 위해 영상 취득 전 촬영지 일대에 대공표지판을 설치한다. 그리고 대공표지판을 중심으로 Global Navigation Satellite System (GNSS) 측량을 수행하여 취득된 지상기준점(Ground Control Points, GCPs) 데이터를 정사영상 생성 시 입력한다. 지상기준점의 절대 좌표를 통해 시계열 정사영상 간 좌표를 통일하여 기하 오차를 최소화할 수 있지만, 매번 영상 취득 시 지상기준점을 취득하기에는 인력 및 시간 비용의 소모가 크다. 이에 지상기준점을 활용하지 않고 자동으로 영상 간 존재하는 상대적인 기하 오차를 제거하는 방법의 필요성이 대두되고 있다(Aicardi et al., 2016).

영상등록(Image Registration)은 지상기준점 없이 영상 간 특징요소(Feature)를 추출 및 정합하여 정합쌍(Tiepoints)을 추출한 다음 변환모델을 구성하여 영상 간 존재하는 상대적인 기하 오차를 제거하는 방법이다(Choi and Kim, 2017; Han, 2017). 여기서 정합쌍 추출 과정은 영상등록 수행에 있어 핵심 과정이며, 자동으로 추출하는 방법으로는 영역기반 정합기법(Area Based Matching Method)과 특징기반 정합기법(Feature Based Matching Method)으로 구분된다(Zitova and Flusser, 2003). 영역기반 정합기법은 영상 간 템플릿(Template)을 설정하고 템플릿을 이동해 가면서 템플릿에 포함된 영역 간 유사도 측정을 통해 유사도가 가장 높은 위치의 중심점을 정합쌍으로 추출하는 방식이다(Bentoutou et al., 2005; Hong and Zhang, 2007). 이러한 영역기반 정합기법은 영상 내에 특정한 특징요소가 존재하지 않은 경우에도 효과적으로 정합쌍을 추출할 수 있지만, 영상 간 초기 기하 오차가 큰 경우 정합쌍 추출에 어려움이 존재한다. 특징기반 정합기법은 영상 내에 두드러진 점, 선, 면 기반의 특징요소를 특징점으로 추출하여 서술 벡터(Description)를 통한 유사도 측정 과정을 거친 다음 정합쌍을 추출하는 방법이다(Huo et al., 2013). 특징기반 정합기법은 영상 간 기하 오차 및 왜곡이 큰 경우에도 효과적으로 정합쌍을 추출할 수 있지만, 영상 내에 특징요소가 존재하지 않는 경우 정합쌍 추출에 어려움이 있다.

무인항공기에서 취득된 영상은 위성영상 및 항공사진에 비해 공간해상도가 높아 효율적으로 영상 내 특징 요소 식별이 가능하며, 이에 특징기반 정합기법이 무인 항공기 영상 간 상대적인 기하오차를 제거하기에 적합하다(Tasi and Lin, 2017). Choi and Kim(2017)은 영상의 선형요소를 활용하여 무인항공기 정사영상 간 기하 오차를 제거하였다. Wei et al.(2017)은 Guided Image Filtering을 이용하여 계단식 농경지 지역의 구획선을 강조한 뒤 Harris Detector에 기반한 특징점 추출 기법과 Local Geometric Structure Feature Descriptor와 Multi-Feature Descriptor에 의해 서술된 특징점을 정합쌍으로 활용하여 영상등록을 수행하였다. 그리고 Zhuo et al.(2017)은 영상 분할 기법인 Simple Linear Iterative Clustering (SLIC)와 K-nearest neighbors 기법을 활용하여 다수의 정합쌍을 추출하여 영상등록 정확도를 개선하였으며, Tsai and Lin(2017)은 Accelerated Binary Robust Invariant Scalable Keypoints (ABRISK) 알고리즘을 개발하여 안정적으로 특징점을 추출하고, 이를 정합쌍으로 활용하여 기하 오차를 제거하였다. 하지만 우리나라의 일반적인 농경지 지역의 지형은 계단식이 아닌 평야이며, 휴경지가 아닌 경작지이다. 이에 파종이 시작되고 생장기에서 수확기까지에 의한 작물의 변화폭이 크기 때문에 특징요소를 추출하기에는 어려움이 있다. 영역기반 정합기법을 활용하여 영상등록을 수행할 수 있지만, 초기 기하오차가 큰 경우 정합쌍 추출에 한계가 존재한다. 이에 우리나라 농경지 지역에 적합한 자동영상등록 방법에 관한 연구가 수행되어야 한다.

본 연구에서는 농경지 지역에 대해 취득된 시계열 무인항공기 영상을 효율적으로 활용하기 위한 정사영상 간 발생하는 기하 오차를 제거하는 정밀영상등록 방법론을 제시하고자 한다. 본 연구에서 제안하는 정밀영상 등록은 총 2단계인 초기영상등록과 정밀영상등록으로 구분된다. 첫 번째 초기(Coarse)영상등록 단계에서는 특징기반 정합기법 중 Bay et al.(2008)이 제안한 SpeededUp Robust Features (SURF) 기법을 통해 추출된 정합쌍을 이용하여 초기 기하 오차를 제거하였다. 이어서 두 번째 정밀(Fine)영상등록 단계에서는 영역기반 정합기법중 Viola and Wells(1997)가 제안한 상호정보(Mutual Information) 기법을 통해 정합쌍을 추출한 다음 이를 활용하여 초기영상등록을 통해 제거되지 않은 기하 오차를 제거하였다. 그리고 제안기법의 성능을 검증하기 위해 SURF 알고리즘과 상호정보 알고리즘을 개별적으로 수행한 결과와 비교분석하였다.

2. 연구방법

농경지 지역의 시계열 무인항공기 정사영상 간 상대적인 기하 오차를 제거하기 위해 본 연구에서는 Fig. 1의 연구흐름도를 바탕으로 정밀영상등록 방법론을 제안하고자 한다. 먼저 무인항공기 영상을 활용하여 제작된 정사영상에서 제공되는 메타데이터를 기반으로 기준영상(Reference Image)과 입력영상(Subject Image) 간 관심지역을 선정하여 탐색영역을 최소화하였다. 그리고 관심 지역을 중심으로 기준영상과 입력영상에 SURF 기법을 적용하여 정합쌍을 추출하고 어핀변환모델 (Affine Transformation Model)을 구성한 다음 초기영상등록을 수행함으로써 전반적인 기하 오차를 제거하 였다. 이어서 초기영상등록 과정을 거친 입력영상과 기준영상에 상호정보 기법을 적용하여 템플릿 기반으로 정합쌍을 추출하였다. 상호정보 기법을 통해 추출된 정합쌍을 기반으로 어핀변환모델을 구성하여 초기영상 등록을 통해 제거되지 않은 기하 오차를 정밀영상등록을 통해 제거하였다.

Fig. 1. Flowchart of the proposed method.

1) 관심지역 선정 및 SURF 기법을 이용한 초기영상등록

영상등록 시 오차를 유발하는 오정합쌍(Outlier) 추출 확률을 감소시키기 위해서는 탐색영역을 최소화시켜 주어야 한다. 본 연구에서는 기준영상과 입력영상을 중첩한 다음 중첩된 범위를 포함하는 영역을 메타데이터를 통해 추출하여 관심지역으로 선정한다.

자동영상등록 방법 중 특징기반 정합기법은 영상 간 기하 오차 및 왜곡이 큰 경우에도 스케일(Scale) 및 회전 (Rotation)에 강인한 정합쌍을 추출할 수 있다. 대표적인 특징기반 정합기법으로는 Lowe(2004)가 제안한 ScaleInvariant Feature Transform (SIFT) 기법과 Bay et al.(2008)이 제안한 SURF 기법이 있다. 무인항공기 영상 기반의 정사영상과 같이 영상의 해상도 및 크기가 큰 경우에는 적분영상(Integrated Image)과 근사화된 헤이시안 박스 필터(Approximated Hessian Boxfilter)를 활용하여 신속하게 정합쌍을 추출하는 SURF 기법이 SIFT 기법보다 효율적이다(Kim et al., 2014). 또한, 특징기반 정합기법으로 정합쌍 추출 시 영상의 공간해상도를 감소시키면 계산효율을 증가시킬 수 있으며(Huo et al., 2013), Red 밴드 영상을 활용하면 보다 안정적으로 정합쌍을 추출할 수 있다(Han and Oh, 2018). 따라서 본 연구에서는 기준 및 입력영상의 Red 밴드 영상에 피라미드 기법을 적용하여 해상도를 감소시킨 다음 신속하게 정합쌍을 추출하는 SURF 기법을 활용하여 초기영상등록을 수행한다.

SURF 기법은 계산효율을 증가시키기 위해 먼저 적분영상을 생성한다. 그리고 영상과 식 (1)과 같이 정의된 헤이시안 필터와의 회선(Convolutions)처리를 통해 가우시안 2차 미분을 수행하고, 그 결과값이 최댓값이 될 때 특징점으로 추출한다. 그러나 가우시안 2차 미분 시 정보손실이 발생하며, 이를 보완하기 위해 SURF에서는 근사화된 헤이시안 박스필터를 활용하며, 이 과정에서 계산효율을 높이기 위해 적분영상을 이용한다. 추출된 특징점들은 정합쌍 추출을 위해 특징점 서술과정을 거친다. 특징점을 서술하기 위해 특징점을 중심으로 주변화소값을 이용하여 주방향(Orientation)을 계산한다. 그리고 주방향을 기준으로 회전하여 x, y 방향에 대한 누적 강도 값을 산출하여 서술벡터를 생성한다. 서술된 특징점 간 유사도를 평가하여 정합쌍을 추출한다.

\(H(p, \sigma)=\left|\begin{array}{l} L_{x x}(p, \sigma) L_{x y}(p, \sigma) \\ L_{x y}(p, \sigma) L_{y y}(p, \sigma) \end{array}\right|\)        (1)

여기서, H(p, σ)는 헤이시안 필터, L_xx(p, σ), L_xy(p, σ) 그리고 L_yy(p, σ)는 영상의 xx, xy 그리고 yy 방향에 대한 2차 가우시안 미분 회선 결과값을 나타낸다.

초기영상등록을 수행하기 위해서는 추출된 정합쌍을 활용하여 영상등록에 적합한 변환모델을 구성해야 한다. 본 연구에서는 추출된 정합쌍 간 축척(Sclae), 비직 교성(Nonorthogonality), 회전(Rotation), 그리고 대칭이동(Translation) 관계를 설명하는 어핀변환모델을 활용한다. 어핀변환모델 구성하기 전, 추출된 정합쌍에는 오차를 유발하는 오정합쌍이 포함되어 있으므로 제거해야 한다. 이에 추출된 정합쌍을 기반으로 어핀변환모델을 구성 시 발생하는 Root Mean Square Error (RMSE)가 큰 정합쌍을 반복적으로 제거하는 방법을 활용한다 (Han et al., 2019). 이러한 오정합쌍 제거방법은 어핀변환 모델에 최적화된 정합쌍만을 추출하기 때문에 영상등록 시 발생하는 오차를 최소화할 수 있다. 그리고 오정 합쌍이 제거된 정합쌍을 활용하여 어핀변환모델을 구성하고, 이를 활용하여 초기영상등록을 수행한다.

2) 상호정보 기법을 이용한 정밀영상등록

특징기반 정합기법으로는 농경지와 같이 특징요소가 명확히 구분되지 않는 지역에서 다수의 특징요소가 추출되지 않으므로 정합쌍 추출에 어려움이 있다. 이로 인해 효과적으로 기하 오차를 제거하기에는 한계가 존재한다. 영역기반 정합기법은 영상 내에 특정한 특징요소가 존재하지 않은 경우에도 효과적으로 정합쌍을 추출할 수 있으며, 농경지와 같이 특징요소가 없는 지역에 적용하기에 적합하다. 이러한 영역기반 정합기법으로는 교차상관(Cross Correlation, CC), 최소제곱정합(Least Square Matching), 위상상관(Phase Correlation, PC) 그리고 상호정보 기법 등이 있다. 본 연구에서는 기준영상과 초기영상등록 과정을 거친 영상의 Red 밴드 영상을 동일 크기의 템플릿으로 분할한 뒤 정합 신뢰도가 높은 상호정보 기법을 활용하여 정밀영상등록을 수행한다.

상호정보 기법은 영상의 템플릿 간 통계적인 상관관계를 측정하여 유사도가 가장 높은 위치를 정합쌍으로 추출한다(Viola and Wells, 1997; Gong et al., 2013; Ye, 2018). 먼저 기준영상과 입력영상에 대해 동일한 크기를 갖는 템플릿을 활용하여 영상을 템플릿 크기에 맞는 격자 형태로 분할 한다. 대응되는 템플릿에 대해 식 (2)와 같이 기준영상과 입력영상에 대한 확률분포를 산출하고, 기준영상과 입력영상의 화소값을 결합하여 2차원 결합 히스토그램(Joint Histogram)을 생성한다. 이어서 식 (2)를 통해 2차원 결합 히스토그램을 기반으로 결합확률밀도함수(Joint Probability Density Function)를 생성한다.

\(\begin{aligned} p_{R e f, S u b}(\alpha, \beta) &=h(\alpha, \beta) / \sum_{a, \beta} h(\alpha, \beta) \\ p_{R e f}(\alpha) &=\sum_{\beta} p_{R e f, S u b}(\alpha, \beta) \\ p_{s u b}(\beta) &=\sum_{a} p_{R e f, S u b}(\alpha, \beta) \end{aligned}\)       (2)

여기서, p_{Ref, Sub}(α, β)는 기준영상과 입력영상의 결합 확률밀도함수, h(α, β)는 기준영상과 입력영상에 대한 결합 히스토그램, α은 기준영상에 대한 축, β는 입력영상에 대한 축, p_Ref(α)와 p_Sub(β)는 기준영상과 입력영상의 확률분포를 나타낸다.

산출된 결합밀도함수와 기준영상과 입력영상의 확률분포를 식 (3)과 같이 활용하여 템플릿에 대응되는 각 영상에 대한 엔트로피(Entropy)와 결합엔트로피(Joint Entropy)를 산출한다. 그리고 식 (4)와 같이 산출된 각 영상에 대한 엔트로피와 결합엔트로피를 활용하여 영상 간 상호정보를 산출하고, 상호정보에 대한 유사도가 가장 높은 위치를 정합쌍으로 추출한다. 오정합쌍 제거 과정은 초기영상등록 과정과 동일한 방법으로 수행하고, 오정합쌍이 제거된 정합쌍을 활용하여 어핀변환모델을 구성한 후 정밀영상등록을 수행한다.

\(\begin{array}{c} H(\text {Ref})=-\sum_{a} p_{\text {Ref}}(\alpha) \log p_{\text {Ref}}(\alpha) \\ H(\text {Sub})=-\sum_{\beta} p_{\text {Sub}}(\beta) \log p_{\text {Sub}}(\beta) \\ H(\text {Ref}, S u b)=-\sum_{a, \beta} p_{\text {Ref}, \operatorname{sub}}(\alpha, \beta) \log p_{\text {Ref}, \operatorname{sub}}(\alpha, \beta) \end{array}\)       (3)

여기서, H(Ref)와 H(Sub)는 기준영상과 입력영상의 엔트로피, H(Ref, Sub)는 결합엔트로피를 나타낸다.

\(\begin{aligned} \operatorname{MI}(\operatorname{Ref}, \operatorname{Sub}) &=H(\operatorname{Ref})-H(\operatorname{Ref} \mid S u b) \\ &=H(\operatorname{Sub})-H(\operatorname{Sub} \mid \operatorname{Ref}) \\ &=H(\operatorname{Ref})+H(\operatorname{Sub})-H(\operatorname{Ref}, S u b) \end{aligned}\)       (4)

여기서, MI(Ref, Sub)는 기준영상과 입력영상 간 상호정보를 나타낸다.

3. 실험 결과 및 분석

1) 실험 대상지

다양한 작물로 구성된 농경지 지역에 대한 무인항공기에서 취득된 영상 간 정밀영상등록을 수행하기 위해 Fig. 2와 같이 경상북도 상주시 가장동에 위치한 농경지 지역을 연구대상지로 선정하였다. 연구대상지는 고추, 콩, 참깨, 들깨 등 다양한 밭작물과 논으로 이루어진 지역이며, 다양한 작물에 대한 시계열 분석을 효과적으로 수행할 수 있는 지역이다.

Fig. 2. Study site: Gyeongsangbuk-do, Sanju city, South Korea.

2) 실험 자료

본 연구에서는 회전익 무인항공기인 DJI사의 Inspire-2에 광학센서 ZenmuseX4S를 탑재하여 농경지 지역에 대한 시계열 무인항공기 영상을 취득하였으며, 연구에 활용된 장비에 대한 상세한 제원은 Table 1과 같다. 총 8번의 비행을 통해 무인항공기 영상을 취득하였으며, 영상 취득 시 촬영조건은 모두 촬영 시간 오전 10시경, 고도 30 m, 종 · 횡중복도 80%의 동일한 촬영조건에서 취득되었다. 그리고 취득된 무인항공기 영상을 기반으로 총 8장의 정사영상을 제작하였으며, 정사영상에 관한 상세한 정보는 Table 2와 같다. 실험을 위해 2019년 8월 1일에 취득된 영상으로 제작된 정사영상을 기준영상으로, 나머지 정사영상들은 모두 입력영상으로 선정하였다.

Table 1. Specification of the UAV and sensor

Table 2. Information of multi-temporal orthophotos

3) 실험 결과 및 분석

본 연구에서는 2019년 8월 1일부터 2019년 10월 4일까지 총 8번의 비행을 통해 취득된 무인항공기 영상을 활용하여 총 8장의 정사영상을 제작하였다. 2019년 8월 1일에 제작된 정사영상을 기준영상으로, 나머지 정사 영상들을 입력영상으로 선정하였다. 그리고 제안 기법을 활용하여 기준영상과 입력영상과의 기하 오차를 제거하기 위해 관심 지역 추출, 초기영상등록 그리고 정밀영상등록을 단계적으로 수행하였다. 관심 지역 선정을 위해 기준영상과 입력영상을 중첩하였다. 그리고 중첩된 지역을 포함하는 영역을 정사영상에서 제공되는 메타데이터를 활용하여 추출한 다음 관심지역으로 선정하였다.

초기영상등록 수행 시 계산효율을 증가시키기 위해 기준영상과 입력영상의 Red 밴드영상의 공간해상도를 피라미드 기법을 통해 4배 감소시켰다. 그리고 SURF 기법을 활용하여 영상 간 정합쌍을 추출한 후 오정합쌍을 제거하였다. 오정합쌍이 제거된 정합쌍은 Fig. 3과 같으며, 왼쪽 영상은 기준영상인 2019년 8월 1일 정사영상, 오른쪽 영상은 입력영상인 2019년 6월 21일 정사영상이다. 추출된 정합쌍들은 도로면 근처에서 대다수 추출 되었다. 2019년 6월 21일 영상뿐만 아니라 실험에 활용된 모든 정사영상에 대해 SURF 기법을 활용하여 정합쌍을 추출한 결과, 2019년 7월 22일, 2019년 8월 7일 정사영상을 제외하고 2019년 6월 21일 영상과 유사하게 도로면 근처에서 다수 추출되었다. 이는 SURF 기법을 통해 추출되는 정합쌍이 영상 내 명확히 식별되는 지점에서 추출되는 특성, 즉 불변(Invariant) 특성을 보이는 도로면 근처에서 대다수 추출된 것 판단된다. 하지만 2019년 7월 22일, 2019년 8월 7일 정사영상의 경우 Fig. 4 와 같이 도로면뿐만 아니라 농경지에서도 다수 추출되었다. 이는 영상을 구성하는 작물의 생육상태에 따른 분광특성 및 형태가 기준영상과 유사하므로 영상 전반적으로 일정하게 정합쌍이 추출된 것으로 판단된다.

Fig. 3. SURF based tie-points used for coarse image registration.

Fig. 4. Extracted tie-points used SURF method: (a) reference image: 2019-08-01, subject image: 2019-07-22, (b) reference image: 2019-08-01, subject image: 2019-08-07.

앞선 초기영상등록을 통해 정사영상 간 전반적인 기하 오차를 제거하였다. 하지만 초기영상등록을 통해 제거되지 않은 기하 오차가 존재하므로 본 연구에서는 상호정보 기법을 활용하여 정밀영상등록을 수행하였다. 상호정보 기법을 활용하여 정합쌍을 추출하기 위해 영상을 일정 크기를 갖는 격자 형태로 분할해야 한다. 이에 기준영상의 Red 밴드 영상과 초기영상등록된 입력 영상의 Red 밴드 영상을 450×450 크기를 갖는 템플릿을 활용하여 격자 형태로 분할하였다. 그리고 상호정보 기법을 활용하여 정합쌍을 추출한 다음 오정합쌍을 제거한 결과는 Fig. 5와 같다. Fig. 5의 왼쪽 영상은 기준영상인 2019년 8월 1일 정사영상이며, 오른쪽 영상은 초기영 상등록된 입력영상인 2019년 6월 21일 영상이다. SURF 기법과는 달리 상호정보 기법을 통해 추출된 정합쌍들은 전반적으로 일정하게 추출되었다. 그리고 초기영상 등록된 다른 날짜 정사영상도 Fig. 5와 같이 영상 전반적으로 정합쌍이 일정하게 추출되는 경향을 나타내었다. 이는 영상 내의 화소값을 기반으로 통계적 특성을 활용하기 때문인 것을 판단된다.

Fig. 5. MI based tie-points used for fine image registration.

제안기법의 효율성 및 정확성을 검증하기 위해 SURF 와 상호정보기법을 개별적으로 활용하여 영상등록을 수행한 결과와 비교분석 하였으며, 비교분석 과정에서 제안기법의 정확도 분석까지 동시에 수행하였다. 정확도 분석은 모자이크 영상을 활용한 시각적 분석방법과, 상관계수(Correlation Coefficient, CC)와 RMSE를 함께 이용한 정량적 분석방법을 실시하였다. 여기서 상관계수는 식 (5)와 같이 공분산 기반으로 영상 간 유사성을 측정하며, 값이 클수록 영상등록의 결과의 정확도가 높다는 것을 의미한다. 그리고 Fig. 6과 같이 선정된 검사점(Checkpoint)과 식 (6)을 통해 RMSE를 산출하였으며, RMSE는 영상등록 정확도를 분석하는데 있어 효과적이다.

\(C C(R e f, S u b)=\frac{\sigma_{R e f, S u b}}{\sqrt{\sigma_{R e f} \sigma_{S u b}}}\)       (5)

여기서, CC(Ref, Sub)는 기준영상과 입력영상 간 상관계수, σ_{Ref, Sub}는 기준영상과 입력영상 간 공분산, σ_Ref 와 σ_Sub는 기준 및 입력영상의 공분산을 나타낸다.

\(R M S E=\sqrt{\frac{\sum_{i=1}^{n}\left\|\left(x_{i}^{\prime}, y_{i}\right)-\left(x_{i}, y_{i}\right)\right\|^{2}}{n}}\)       (6)

여기서, RMSE는 평균제곱근오차, (\(x_i ^′ \), \(y_i ^′ \))는 기준영상 위치, (x_i , y_i)는 입력영상 위치, n는 총 검사점 개수를 나타낸다.

Fig. 6. Location of checkpoints.

SURF 기법, 상호정보기법 그리고 제안기법을 활용하여 영상등록을 수행한 결과에 대한 시각적 분석을 위해 Fig. 7과 같이 모자이크 영상을 생성하였다. Fig. 7의 모자이크 영상에서 기준영상은 Red, Green, Blue (RGB)로, 입력영상(2019년 6월 21일)은 Blue, Green, Red (BGR)로 표현하였다. 모든 정사영상에 대해 영상등록을 수행한 결과가 유사하여, 시각적 분석에서는 2019년 6월 21일 영상등록 결과만을 활용하였다. SURF 기법과 제안기법을 활용하여 영상등록을 수행한 결과, 영상 간 기하 오차가 전반적으로 제거되었다(Fig. 7(b), Fig. 7(d)). 반면에 상호정보기법만을 활용하여 영상등록을 수행한 결과, 원영상에 비해 오히려 기하 오차가 증가한 것을 볼 수 있다(Fig. 7(c)).

Fig. 7. Chessboard image of image registration results using SURF, MI and proposed methods: (a) Raw image, (b) SURF, (c) MI, (d) Proposed method.

먼저 시각적으로 높은 정확도를 보인 SURF 기법과 제안기법을 세부적으로 비교 분석 하였다. SURF 기법 만을 활용하여 영상등록을 수행한 경우 기하 오차가 전반적으로 제거되었지만, 미세한 기하 오차는 제거되지 않았다(Fig. 8(a)). 이는 영상의 우측면에 집중적으로 추출된 정합쌍만을 활용하였기 때문에 미세한 기하 오차 까지는 제거하지 못하였다. 반면에 제안기법을 활용하여 영상등록을 수행한 결과, 초기영상등록을 통해 제거되지 않은 미세한 기하 오차가 제거되었다(Fig. 8(b)). 미세한 기하 오차가 제거된 원인으로는 제안기법의 정밀 영상등록 과정에서 활용된 상호정보기법의 특성으로 볼 수 있다. 상호정보기법은 SURF 기법과는 달리 영상의 화소값 기반의 유사도를 측정하므로, 영상 내에 일정하게 정합쌍을 추출할 수 있다. 이로 인해 영상 전체에 걸쳐 추출된 정합쌍을 활용하여 제거되지 않은 미세한 기하 오차를 효과적으로 제거하였다. 하지만 이러한 상호정보 기법만을 활용한 경우 오히려 원영상에 비해 기하 오차가 증가하였다. 이러한 결과가 도출된 원인으로는 영역기반 정합기법의 한계점으로 볼 수 있다. 템플릿을 활용하는 영역기반 정합기법은 초기 기하 오차가 큰 경우, 영상 간 대응되는 템플릿의 위치 차이가 크기 때문에 서로 상이한 지역에서 정합쌍이 추출되므로 오정합쌍 추출 확률이 높아진다. 또한, 영상 간 대응되는 템플릿에 포함되는 객체들의 특성이 유사한 경우, 템플릿 간 유사도 측정 시 혼동을 주므로 추출된 대다수의 정합쌍이 오정합쌍으로 분류된다. 이에 본 연구에서도 영역기반 정합기법인 상호정보만을 활용한 경우 Fig. 9(a)와 같이 영상 전반적으로 정합쌍이 추출되지만, 오정합쌍 제거 결과 Fig. 9(b)와 같이 대다수의 정합쌍이 오정합쌍으로 판단되어 제거되었다. 그리고 Fig. 9(b)에 서 오정합쌍이 제거된 정합쌍은 변환모델 구성에 필요한 최소한의 정합쌍만이 제거되지 않고 정합쌍으로 추출되었다. 이를 기반으로 어핀변환모델을 구성하여 영상등록을 수행하였기 때문에 원영상에 비해 기하 오차가 증가하였다.

Fig. 8. Comparison of image registration results: (a) SURF, (b) Proposed method.

Fig. 9. MI based tie-points used for image registration: (a) Before eliminating outliers, (b) After eliminating outliers.

정량적 분석은 앞서 설명한 총 8장의 시계열 정사영상을 모두 활용하여 실시하였다. 2019년 8월 1일 영상을 기준영상으로, 나머지 정사영상들을 입력영상으로 선정하여 1) SURF 기법, 2) 상호정보기법, 3) 제안기법을 통해 수행된 시계열 정사영상 간 영상등록 결과를 비교 분석 하였다. 각 기법을 수행한 결과에 대한 상관계수와 RMSE는 Table 3과 같다. 여기서 RMSE는 5개의 검사 점에서 산출된 RMSE를 평균한 값이다.

Table 3. CC and RMSE values of image registration results (RMSE unit: pixel)

계절이 유사한 경우 상대적으로 상관계수가 높게 산출 되었다(Table 3). 이는 작물의 생육상태가 유사하여 영상 간 유사도를 측정하는 상관계수 특성으로 인해 나타나는 현상으로 보이며, 이를 보완하기 위해 본 연구에서는 상관계수와 RMSE를 함께 활용하여 정확도를 분석하였다.

총 7개의 정사영상에 대해 산출된 상관계수와 RMSE에 대한 평균값을 산출하여 알고리즘별 전반적인 정확도를 파악하였다. 영상등록 수행 전 평균 상관계수와 RMSE는 0.171/159.19 화소, SURF 기법은 0.397/45.99 화소, 상호정보기법은 0.104/539.31 화소, 제안기법은 0.452/3.43 화소를 보였다(Table 3). 평균적으로 제안기법을 활용하여 영상등록을 수행할 경우 가장 효과적으로 정사영상 간 기하 오차를 제거할 수 있는 것을 확인하였다.

각 정사영상별 세부적인 정확도 분석을 위해 정사영 상별 상관계수와 RMSE를 분석하였다. 영상 등록 수행 전 상관계수와 RMSE는 0.083-0.224/75.79-301.68 화소, SURF 기법은 0.258-0.632/1.00-113.67 화소, 상호정보기 법은 -0.032-0.193/98.10-1643.11 화소, 제안기법은 0.303- 0.637/0.94-14.63 화소를 보였다(Table 3). 앞선 시각적 분석결과와 유사하게 제안기법을 활용한 경우 모든 정사영상에 대해 정확도가 가장 높게 나타났지만, 2019년 6월 21일, 2019년 7월 22일, 2019년 8월 7일 그리고 2019 년 10월 4일 정확도 분석결과, 계절별로 제안기법의 정확도 편차가 발생하였다.

계절별로 제안기법의 정확도 편차가 발생하는 이유로, Fig. 10과 같이 계절에 따른 농경지의 작물 생육상태 변화로 인한 분광특성 차이와 형태변화를 원인으로 볼 수 있다. 2019년 6월 21일(Fig. 10(a)) 정사영상은 생장기의 작물과 최근에 파종된 작물로, 2019년 7월 22일(Fig. 10(b)), 2019년 8월 1일(Fig. 10(c)) 그리고 2019년 8월 7일 (Fig. 10(d)) 정사영상은 대다수 생장기의 작물로 구성되어 있다. 즉, 앞서 설명한 내용과 같이 계절이 유사할 경우 영상을 구성하는 작물 생육상태가 유사하여 SURF 기법을 활용하는 초기영상등록과정에서 도로면뿐만 아니라 농경지에서도 다수 정합쌍이 추출된다. 이로 인해 초기영상등록의 정확도가 대폭 상승하기 때문에 SURF 기법과 제안기법과의 정확도가 유사한 것으로 볼 수 있다. 반면에 영상 간 계절적 차이가 발생하는 경우 초기영상등록에서 대다수의 정합쌍이 도로면 근처에서 추출된다. 이로 인해 초기영상등록의 정확도가 떨어지므로 정밀영상등록에서 개선되는 되는 것을 볼 수 있다. 그러나 2019년 10월 4일 정사영상은 다른 정사영상들에 비해 정확도가 상대적으로 낮게 산출되었다. 이는 기준영상을 구성하는 작물들은 생장기이지만, 2019년 10월 4일(Fig. 10(e)) 정사영상을 구성하는 작물들은 대다수가 수확기이므로 영상 간 작물의 분광특성 및 형태적 차이가 크다. 또한, 2019년 10월 4일 정사영상에서는 수확된 작물도 있어 변화지역도 발생하기 때문에 다른 영상들에 비해 상대적으로 정밀영상등록의 정확도가 떨어지는 것으로 사료된다. 종합적으로 농경지 지역에 대해 제안기법이 타 기법들에 비해 전반적으로 높은 정확도를 보여주고 있으며, 시계열 데이터 활용에 있어 근간이 되는 기술로 활용될 수 있을 것으로 판단된다.

Fig. 10. Multi-temporal orthophotos over agricultural area: (a) 2019-06-21, (b) 2019-07-22, (c) 2019-08-01, (d) 2019-08-07, (e) 2019-10-04.

5. 결론

본 연구에서는 농경지 지역에 대해 취득된 시계열 무인항공기 영상을 효율적으로 활용하기 위해 SURF 기법과 상호정보 기법을 활용하는 정밀영상등록 방법론을 제안하였다. SURF 기법을 활용하는 초기영상등록과 상호정보 기법을 활용하는 정밀영상등록 2단계로 구분된 제안기법을 단계적으로 활용하여 정사영상 간 정밀영상등록을 수행하였다. 초기영상등록을 수행하기에 앞서 정사영상 간 중첩된 지역을 포함하는 영역을 메타데이터를 활용하여 선정하고 이를 관심지역을 선정하였다. 그리고 관심지역을 중심으로 SURF 기법을 활용하여 정합쌍을 추출하고, 어핀변환모델을 구성 시 오차를 유발하는 오정합쌍을 제거한 다음 초기영상등록을 수행하였다. 이어서 상호정보기법을 통해 추출된 정합쌍을 활용하여 어핀변환계수를 추정한 다음 정밀 영상등록을 수행하였다. 그리고 SURF 기법과 상호정보 기법을 개별적으로 활용하여 영상등록을 수행한 결과와 비교분석을 통해 제안기법의 효율성 및 정확성을 검증하였다. 시각적 분석에는 모자이크 영상, 정량적 분석에는 상관계수 그리고 RMSE를 활용하였다. 그 결과 타 기법들에 비해 제안기법을 활용한 경우 영상 간 기하 오차가 효과적으로 제거된 것을 확인하였다. 이를 통해 농경지 지역에 대한 시계열 무인항공기 영상 활용에 있어 근간이 되는 기술로 제안기법을 활용할 수 있을 것 으로 사료된다.