Ⅰ. Introduction
넓은 영역을 포함하는 위성 영상의 경우, 여러 장의 영상을 정합하는 과정이 필수적이다. 이러한 정합을 위한 방법으로 대응하는 점들에 대한 특징을 검출하는 것이 필요하다. 그러나 위성 영상의 특징을 검출하는 과정에서 시점의 변화, 광원, 조명의 변화 등 다양한 문제들이 발생한다. 특히 영상에 포함되는 안개는 영상의 대비를 저하시킴으로써 특징점을 검출하는 데 많은 어려움의 원인이 된다. 따라서 최근 안개 등에 의해 열화된 영상을 복원시키는 기법들이 연구되고 있다.
기존의 안개 제거 방법으로 R. Tan[1]은 안개가 없는 영상의 통계를 이용하여 지역적 대비를 최대화하는 방법으로 영상을 복원하였다. Tarel과 Hautiere[2]는 에지와 코너를 보존하고 메디안(Median) 필터를 사용하여 빠른 복원을 수행하였다. Fattal[3]은 영상의 컬러 성분을 추정하기 위하여 표면의 그림자와 전달함수에 대한 지역적이며 통계적인 방법을 사용하였다. 최근 He[4] 등은 DCP (Dark Channel Prior) 방법을 이용하여 안개 제거의 성능을 향상하였다. 그러나 이 방법은 일정 영역을 중심으로 수행하는 방법으로 영역 경계에서 블록 현상이 발생하는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 은닉 마코프 모델을 이용하여 안개 제거의 성능을 향상시켰으며 표면반사율 기반의 견고한 특징점을 추출함으로써 위성 영상을 효과적으로 정합하였다.
Ⅱ. 제안한 수정된 DCP 기반의 강인한 특징점 검출 방법
일반적으로 한 장의 영상에 포함된 안개를 모델링하는 방법은 다음과 같은 수식으로 나타내어진다.
여기에서 I(x) 는 안개가 포함된 영상이며, J(x) 안개가 없는 원본 영상의 밝기값이다. A는 대기광을 나타내며, t(x) 는 전달량(transmission)으로써 산란되지 않은 빛이 카메라로 도달된 정도를 나타낸다. 이때, DCP(Dark Channel Prior) 방법은 안개를 제거하기 위한 가정으로 하늘이 아닌 영역에 대하여 임의의 영역의 화소를 관찰하면 최소 하나의 채널은 매우 낮은 밝기값을 나타낸다는 것을 이용한다. 이를 수식적으로 표현하면 다음과 같이 표현할 수 있다.
여기에서 Jc는 J의 컬러채널을 의미하고 Ω(x) 는 x를 중심으로 하는 블록 크기의 영역을 의미한다. 관찰에 기반한 통계적 접근에서 하늘을 제외한 영역의 Jdark는 대부분 0에 가까운 값을 가진다. 즉, Jdark ≈ 0 이라고 놓을 수 있다. 여기서 대기광이 일정하며 일정 영역 Ω(x)에서의 전달량 또한 균일하다고 가정한다. 이것을 바탕으로 전달량에 최소연산자를 적용 후 대기광으로 나눈다. 다음으로 각 채널에 따라 최소연산자를 다시 적용하면 초기 전달량 를 다음과 같이 계산할 수 있다.
여기에서 ω는 안개 제거를 위한 상수로써 깊이 인식 손실 방지와 자연스러운 영상을 구현하기 위하여 전달량을 다음과 같이 수정하게 된다.
이때, 제안한 방법은 추정된 전달량의 블록이 발생하는 문제점을 해결하기 위하여 은닉마코프 모델을 이용하여 블록을 검출하고 제거하였다. 먼저, 입력 화소의 밝기 y = (y1,y2,⋯,yN)에 대하여 가능한 조합은 x = (x1,x2,⋯,xN)이며, MAP 조건에 따라 x(k)를 구한다.
이때 사전 확률은 P 이며 EM(Expectation-Maximization) 방법을 적용하기 위한 파라미터 집합인 Θ = {Θl｜l∈L}은 이진함수로써 L = {0, 1}로 정의된다. 이때, 이진 에지 맵 z 를 에지이면 1 그렇지 않으면 0 으로 정의하고 이를 사전 에너지 함수 U 를 이용하여 표현하면 최종적으로 다음과 같은 새로운 값을 얻을 수 있다.
여기에서 Vc(x) 는 잠재적인 이웃(clique potential)으로 써 C 는 모든 가능한 이웃 집합이며, 로 정의된다.
다음으로 영상 정합을 위해 안개가 제거된 영상에서 견고한 특징점 검출이 필요하다. 기존 영상에서 특징점을 검출하는데 널리 사용되는 방법으로 SIFT가 있다. 이 방법은 회전, 크기변화, 조명 변화에 강인한 방법으로 크게 4가지 단계(스케일 공간 최대값 검출, 핵심 지역화, 방향 설정, 핵심 서술자 표현)로 구성된다.
본 논문에서는 이러한 특성을 이용하여 보다 견고한 특징점을 검출하고자 C-SIFT 방법[6]을 이용하였다. C-SIFT에서는 다음 두 가지 가정을 이용하여 광원과 반사율 사이의 간단한 관계식을 도출한다. 그것은 광원은 플랑키언 로커스(planckian locus)위에 존재하며 카메라의 감도는 델타 함수(delta function)로 구성된다. 이러한 조건을 바탕으로 가상 응답을 구하면 로그 색도 좌표계에서 광원이 일정할 경우에 표면의 반사율 특성이 선형성을 가지면서 변하게 된다. 이것은 색도 좌표계의 결과를 원점을 기준으로 회전하면 표면 반사율의 변화를 하나의 축으로 표현할 수 있다는 것이다. 기존에 밝기를 하나의 축으로 표현하는 것과 유사하게 2차원으로만 표현할 수 있었던 표면 특성을 하나의 축으로 표현할 수 있기 때문에 영상 내에서 표면에 대한 특징을 표현하는 것이 가능하다는 장점이 있다.
먼저 표준 챠트를 카메라로 촬영하여 RGB 응답에 대한 데이터를 수집한다. 다음으로 표준 챠트를 스펙트럼 분광기를 이용하여 스펙트럼 데이터를 획득하고 이를 Worldview-2(WV-2) 응답 함수를 이용하여 가상 응답을 획득한다. 이 두 데이터에 대해 다중 회귀 함수를 이용하면 임의의 카메라 응답을 위성 영상에 대한 가상 응답으로 변환할 수 있다. 최종적으로 변환된 가상 응답은 광원에 영향을 받지 않은 물체색으로써의 의미를 가지기 때문에 영상내에서 강인한 특징으로써의 역할을 하게 된다.
Ⅲ. 실험 및 결과
먼저 합성 영상을 이용하여 블록 현상 제거의 성능을 확인하였다. 그림 1은 기존 방법의 결과와 제안한 방법의 블록 제거 결과를 나타내고 있다. 에 의해서 제거되는 것을 보여주고 있다. 그림 1(c)에서 보이던 블록 현상들이 그림 1(d)에서 제거됨을 확인할 수 있다. 이는 은닉 마코프 모델을 이용하여 전달량을 재추정한 결과이다.
그림 1.블록 결함의 성능 비교; (a) DCP 방법의 결과, (b) 제안한 방법, (c) (a)의 확대, (d) (b)의 확대 Fig. 1. Comparison of block artifact; (a) DCP method, (b) proposed method, (c) zooming of (a), and (d) zooming of (b)
실험을 위해서 그림 2와 같이 다양한 위성 안개 영상에 대해 안개 제거를 수행하였다. 실험에 사용된 위성 영상은 3000×3000 이상의 고해상도 영상으로 확대를 할 경우에도 영상 정보는 대부분 그대로 유지되었다. 그림 3은 확대 영상의 안개 제거 성능을 비교하였다. 그림 3(c)와 3(d)가 성능이 유사해 보이나, 세부 디테일을 복원하는 성능에서 제안한 방법이 우수함을 확인할 수 있었다.
그림 2.실험에 사용된 위성 영상 Fig. 2. Several aerial images for experiments
그림 3.확대 영역에 대한 안개 제거 성능 결과 비교 (a) 원영상 (b) Tarel and Hautiere 방법 (c) He 방법 (d) 제안한 방법 Fig. 3. Comparison of haze removal results in a zooming image.(a) original image (b) Tarel and Hautiere method (c) He method, and (d) proposed method
그림 4에서는 각 알고리즘에 대한 특징점 검출 및 정합 결과를 보여주고 있다. 원 영상에 비해 안개 제거 후 정합(Good matching)의 빈도가 높아짐을 확인할 수 있다. 표 1에서는 실험에 사용된 네 개의 영상에 대한 특징점 정합수를 평균(소수점 제외)하여 나타낸 것이다. 전반적으로 제안한 방법이 기존 방법들에 비해서 특징점 추출 및 정합(Good mathcing)이 향상됨을 확인할 수 있다.
그림 4.확대 영역에 대한 특징점 정합의 성능 결과 비교 (a) 원영상 (b) Tarel and Hautiere 방법 (c) He 방법 (d) 제안한 방법 Fig. 4. Comparison of image matching results in a zooming image.(a) original image (b) Tarel and Hautiere method (c) He method, and (d) proposed method
표 1.알고리즘에 따른 정확한 특징점 매칭의 결과 Table 1. Experimental results of good feature matching
IV. 결 론
본 논문은 위성 안개 영상에서 안개 제거를 통해 대비를 향상시키고 표면색 기반의 특징을 추출하는 방법을 제안하였다. 제안한 방법은 기존의 전달량을 수정하여 평탄 영역에서 안개 제거 성능을 향상시켰으며 표면 특성을 고려한 특징점을 추출함으로써 위성 영상에서 정합의 성능 개선을 확인하였다. 제안한 방법이 기존 방법에 비해 정확성은 높으나 안개 제거 과정에서 실시간 처리에 미흡한 단점이 있기 때문에 향후 실시간 처리를 위해 연구를 확장할 것이다.
참고문헌
- R. Tan, "Visibility in bad weather from a single image," Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp. 1-8. 2008.
- J. Tarel, and N, Haultiere, "Fast visibility restoration from a single color or gray level image," Proc. IEEE Int. Conf. Comput. Vis., pp. 2201-2208, 2009.
- R. Fattal, “Single image dehazing,” ACM Trans. Graph., vol. 27, no. 5, p. 116, 2008. https://doi.org/10.1145/1409060.1409069
- K. He, J. Sun, and X. Tang, “Single image haze removal using dark channel prior,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 33, no. 12, pp. 2341-2353, 2011. https://doi.org/10.1109/TPAMI.2010.168
- Q. Wang, "HMRF-EM-image: Implementation of the hidden markov random field and its expectation-maximization algorithm," arXiv: 1207. 3510 [cs.CV], 2012
- O. Kwon and Y. Ha, "Panoramic video using scale-invariant feature transform with embedded color-invariant values," IEEE Trans. Consum. Electron., vol. 56, no. 2, pp. 792-798, 2010. https://doi.org/10.1109/TCE.2010.5506003