Robust Feature Matching Using Haze Removal Based on Transmission Map for Aerial Images

위성 영상에서 전달맵 보정 기반의 안개 제거를 이용한 강인한 특징 정합

Abstract

This paper presents a method of single image dehazing and feature matching for aerial remote sensing images. In the case of a aerial image, transferring the information of the original image is difficult as the contrast leans by the haze. This also causes that the image contrast decreases. Therefore, a refined transmission map based on a hidden Markov random field. Moreover, the proposed algorithm enhances the accuracy of image matching surface-based features in an aerial remote sensing image. The performance of the proposed algorithm is confirmed using a variety of aerial images captured by a Worldview-2 satellite.

1. 서 론

일반적으로 영상에서 잡음을 포함한 다양한 외부의 요소들은 영상의 정보를 감소시키는 역할을 한다. 특히 외부 영상의 경우 태양광 및 날씨에 따라 영상 정보에 밀접한 영향을 주게 된다. 이 중에서 대기에 영향을 받은 영상은 빛이 흡수 및 산란되는 과정에서 색 정보 및 밝기가 달라져 목적하는 바에 이용하지 못하는 경우가 자주 발생한다. 이 때문에 날씨가 나쁜 상태의 영상으로부터 원영상을 복원하는 알고리즘들이 지속적으로 연구되어 왔다[1-2]. 특히 위성 영상의 경우, 위성이라는 위치의 특성상 일반 영상과는 달리 날씨의 변화에 영향을 많이 받게 된다. 한편 위성 영상에 대한 정보 검출 및 분석은 넓은 지역을 대상으로 수행하기 때문에 지역별 날씨에 강인한 정보를 검출하는 것이 필요하다.

위성 영상에 특히 많이 영향을 미치는 안개는 영상의 대비를 저하시킴으로써 특징 정보를 검출하는데 많은 어려움의 원인이 된다. 따라서 최근 안개 등에 의해 열화된 영상을 복원을 통해 대비를 향상시키는 기법들이 연구되고 있다. 기존의 안개 제거 방법으로 R. Tan[3]은 안개가 없는 영상의 통계를 이용하여 지역적 대비를 최대화하는 방법으로 영상을 복원하였다. Tarel과 Hautiere[4]는 에지와 코너를 보존하고 메디안 필터를 사용하여 빠른 복원을 수행하였다. Fattal[5]은 영상의 컬러 성분을 추정하기 위하여 표면의 그림자와 전달함수에 대한 지역적이며 통계적인 방법을 사용하였다. 최근 He[6] 등은 DCP (Dark Channel Prior) 방법은 하늘이 아닌 임의의 영역의 화소는 최소 하나의 채널에서 매우 낮은 밝기 값을 나타낸다는 가정을 이용하여 안개 제거의 성능을 향상하였다. 한편 Lee[7] 등은 원영상을 반전시켜 DCP를 적용함으로써 야간 영상에도 적용 가능하게 하였다. 그러나 DCP 방법은 일정 영역을 중심으로 수행하는 방법으로 영역 경계에서 블록 현상이 발생하는 문제가 있다. 이에 따라 최근에 He[8]등은 Guided Filtering 방법을 이용하여 블록현상의 문제점을 상당히 보완하였다. 본 논문에서는 위성영상에서 날씨 변화에 강인한 특징점을 검출하고 영상의 정합을 하기 위하여 은닉 마코프 모델을 이용하였다. 이를 통해 안개 제거의 성능을 향상시킴으로써 영상의 대비를 개선하였으며 또한 표면반사율 기반의 강인한 특징점을 검출함으로써 위성 영상에 대하여 강인한 특징을 검출함으로서 정합 성능을 향상시키고자 하였다.

 

2. 전달맵 수정에 기반한 안개 제거

일반적으로 한 장의 영상에 포함된 안개를 모델링하는 방법은 다음과 같은 수식으로 나타내어진다.

여기에서 I(x)는 안개가 포함된 영상이며, J(x) 안개가 없는 원본 영상의 밝기 값이다. A는 대기광을 나타내며, t(x)는 전달량(transmission)으로써 산란되지 않은 빛이 카메라로 도달된 정도를 나타낸다. 한편 안개 제거를 위한 DCP(Dark Channel Prior)방법을 수식적으로 표현하면 다음과 같이 표현할 수 있다.

여기에서 Jc는 J의 컬러채널을 의미하고 Ω(x)는 x를 중심으로 하는 블록 크기의 영역을 의미한다. 관찰에 기반한 통계적 접근에서 하늘을 제외한 영역의 Jdark는 대부분 0에 가까운 값을 가진다. 즉, Jdark≈0 이라고 놓을 수 있다. 여기서 대기광이 일정하며 일정 영역 Ω(x)에서의 전달량 또한 균일하다고 가정한다. 이것을 바탕으로 전달량에 최소연산자를 적용 후 대기광으로 나눈다. 다음으로 각 채널에 따라 최소연산자를 다시 적용하면 초기 전달량 를 다음과 같이 계산할 수 있다.

여기에서 ω는 안개 제거를 위한 상수로써 깊이 인식 손실 방지와 자연스러운 영상을 구현하기 위하여 전달량을 다음과 같이 수정하게 된다.

이때, 제안한 방법은 추정된 전달량의 블록이 발생하는 문제점을 해결하기 위하여 은닉 마코프 모델을 이용하여 블록을 검출하고 제거하였다. 먼저, 입력 화소의 밝기 y=(y1,y2,⋯,yN)에 대하여 가능한 조합은 x=(x1,x2,⋯,xN)이며, MAP 조건에 따라 x(k)를 구한다.

이때 사전 확률은 P이며 EM(Expectation-Maximization) 방법을 적용하기 위한 파라미터 집합인 Θ={Θl|l∈L}은 이진함수로써 L={0,1}로 정의된다. 이때, 이진 에지 맵 z 를 에지이면 1 그렇지 않으면 0 으로 정의하고 이를 사전 에너지 함수 U를 이용하여 표현하면 최종적으로 다음과 같은 새로운 값을 얻을 수 있다.

여기에서 Vc(x)는 잠재적인 이웃(clique potential)으로써 C는 모든 가능한 이웃 집합이며, 로 정의된다.

 

3. 제안한 특징점 정합 방법

영상 정합을 위해 안개가 제거된 영상에서 견고한 특징점 검출이 필요하다. 기존 영상에서 특징점을 검출하는데 널리 사용되는 방법으로 SIFT 방법이 있다 [9]. 이 방법은 회전, 크기변화, 조명 변화에 강인한 방법으로 크게 4가지 단계(스케일 공간 최대값 검출, 핵심 지역화, 방향 설정, 핵심 서술자 표현)로 구성된다. Fig. 1은 SIFT 연산자의 개념을 설명하는 것으로 Fig. 1(a)는 DOG 스케일 영역에서 키포인트를 검출하는 것이며 Fig. 1(b)는 키포인트의 벡터를 표현한 것이다. 그러나 안개가 제거된 위성 영상은 기존 입력에 비해 칼라 성분이 보다 뚜렷이 나타나게 된다.

Fig. 1.SIFT method. (a) Keypoint detection in DOG scale space and (b) Signature of the Keypoint.

본 논문에서는 이러한 특성을 이용하여 보다 견고한 특징점을 검출하고자 C-SIFT 방법[10]을 이용하였다. C-SIFT에서는 다음 두 가지 가정을 이용하여 광원과 반사율 사이의 간단한 관계식을 도출한다. 첫째 가정은 광원이 플랑키언 로커스(planckian locus)위에 존재한다. 그리고 둘째 가정은 카메라의 감도는 델타 함수(delta function)로 구성된다. 두 가지 가정으로부터 카메라 응답을 구하면 다음과 같다.

여기에서 S 은 파장에 따른 표면반사율이고 T 는 색온도이며, c1 과 c2 는 다음과 같다.

c1 = 3.74183 × 10-16Wm2 , c2 = 1.4388 × 10-2mK

카메라 응답을 G 채널에 대해 정규화하고 로그함수를 적용하면 다음과 같은 수식을 얻을 수 있다.

여기에서, S는

수식 (8)의 윗 식에 를 곱하고 연산하면, 다음과 같은 선형방정식이 도출된다.

여기서,

이 수식은 로그 색도 좌표계에서 광원이 일정할 경우에 표면의 반사율 특성이 선형성을 가지면서 변하는 것을 의미한다. 다시 말하면 색도 좌표계의 결과를 원점을 기준으로 회전하면 표면 반사율의 변화를 하나의 축으로 표현할 수 있다는 것이다. 기존에 밝기를 하나의 축으로 표현하는 것과 유사하게 2차원으로만 표현할 수 있었던 표면 특성을 하나의 축으로 표현할 수 있기 때문에 영상 내에서 표면에 대한 특징을 표현하는 것이 가능하다는 장점이 있다.

Fig. 2는 카메라로 획득된 응답을 가상응답으로 변환하는 과정을 나타낸 그림이다. 먼저 표준 챠트를 카메라로 촬영하여 RGB 응답에 대한 데이터를 수집한다. 다음으로 표준 챠트를 스펙트럼 분광기를 이용하여 스펙트럼 데이터를 획득하고 이를 Worldview-2(WV-2) 응답 함수[11]를 이용하여 가상 응답을 획득한다. 이 두 데이터에 대해 다중 회귀 함수를 이용하면 임의의 카메라 응답을 위성 영상에 대한 가상 응답으로 변환할 수 있다. 최종적으로 변환된 가상 응답은 광원에 영향을 받지 않은 물체색으로써의 의미를 가지기 때문에 영상내에서 강인한 특징으로써의 역할을 하게 된다.

Fig. 2.Transform of Worldview-2 function for satellite images.

 

4. 실험 결과

제안된 알고리즘의 성능을 평가하기 위하여 다양한 안개 영상을 이용하였다. 실험에 사용된 위성 영상은 3000×3000 이상의 고해상도 영상으로서 일부 영역을 확대를 할 경우에도 영상 정보는 대부분 그대로 유지되었다. Fig. 3은 안개가 일부 영역에서 포함된 위성 영상 및 제안한 알고리즘을 이용한 결과 영상이다. Fig. 3(b)의 결과에서 알고리즘 적용후 안개 제거에 의한 대비가 향상됨을 확인할 수 있다. Fig. 4는 Fig. 3의 영상에서 일부 영역을 확대하여 안개 제거 성능 및 대비 향상을 비교하였다. 다른 두 알고리즘에 비해 Fig. 4(c)와 4(d)가 성능이 뛰어난것을 확인할 수 있으며, 더 나아가 세부 디테일을 표현하는 측면에서 제안한 방법이 우수함을 확인할 수 있다. Fig. 5에서는 Fig. 4의 확대된 영상에 대하셔 알고리즘별로 특징점 검출에 따른 정합 결과를 보여주고 있다. 원 영상에 비해 안개 제거 알고리즘 적용 후 정합(Good matching)의 빈도가 높아짐을 확인할 수 있다. 특히 제안한 알고리즘은 기존 방법들에 비해 특징점 정합이 우수한 것을 확인할 수 있다. 이를 정량적으로 확인하기 위하여 Table 1에서는 Fig. 4의 실험에 사용된 4 개의 영상들에 대한 특징점 검출 및 정합 수를 평균하여 나타낸 것이다. 전반적으로 제안한 방법의 평균 정합수는 57로써 기존 방법들인 Tarel 방법의 평균 정합수(12)와 He 방법의 평균 정합수(37)에 비해서 특징점 추출 및 정합(Good mathcing)이 향상됨을 확인할 수 있다.

Fig. 3.Comparison of several aerial images. (a) original images and (b) proposed method.

Fig. 4.Comparison for several aerial images. (a) original image, (b) Tarel method (c) He method, and (d) proposed method.

Fig. 5.Comparison of image matching results in a zooming image. (a) original image, (b) Tarel and Hautiere method, (c) He method, and (d) proposed method.

Table 1.Experimental results of good feature matching

마지막으로 제안한 성능으로 인해 과도한 대비향상이 발생하는지에 대한 결과를 확인하였다. 이를 위해 안개가 없는 영상에서 알고리즘 적용후 히스토그램 변화를 분석하였다. 실험을 위해 사용된 영상은 Fig. 6(a)와 같이 안개가 거의 없는 일반 영상을 사용하였으며, 그에 대한 히스토그램의 결과는 Fig. 6(c)에서 나타내었다. 결과에서 보듯이 제안한 알고리즘은 안개가 없는 경우에는 영상의 대비를 조절하지 않음으로써 과도한 대비 향상으로 인한 부작용이 발생하지 않음을 확인하였다.

Fig. 6.Results for haze-free images. (a) original images and (b) proposed method, and (c) histograms comparison.

 

5. 결 론

본 논문은 위성 안개 영상에서 안개 제거를 통해 대비를 향상시키고 표면색 기반의 특징을 추출하여 특징 정합을 향상시키는 방법을 제안하였다. 제안한 방법은 기존의 안개 제거 이용되는 전달량을 보완하여 안개 제거 성능을 향상시켰으며 이를 통해 위성 영상의 정보를 개선할 수 있었다. 또한 안개 제거 후 표면 특성을 고려한 특징점을 추출함으로써 위성 영상에서 정합의 성능 개선을 확인하였다. 고해상도를 가지는 다양한 위성 영상을 이용하여 제안한 방법을 평가하였으며, 이를 통해 제안한 방법이 기존 방법들에 비해 영상 정합 측면에서 우수한 성능을 확인하였다.