Ⅰ. 서 론
실외에서 획득되는 영상은 외부 환경의 변화에 따라 다를 수 있다. 특히 안개가 있는 영상의 경우 영상 전반의 색상이 흐려지고, 색상의 대비가 낮아지기 때문에 다양한 영상 처리 알고리즘을 적용하기 어렵다. 따라서 안개가 있는 영상에서 가시성을 증가하기 위해 안개를 제거하는 과정이 필요하다.
안개 제거 알고리즘은 안개의 짙은 정도를 파악하기 위해 두 개의 서로 다른 각도의 편광렌즈를 사용하거나[1], 두대 이상의 카메라를 이용하여 영상의 거리정보를 파악한 후 거리에 따라 안개를 제거하는 방법 등이 있다[2]. 또한 고정된 CCTV를 통해 획득된 두 장의 영상을 통해 안개량을 파악한 후 안개를 제거하는 방법이 있다[3]. 그러나 이러한 알고리즘은 두 대 이상의 카메라로부터 동일 위치 및 다른 시간에 촬영된 2장 이상의 영상이 필요하다. 최근에는 단일 영상에 포함된 안개를 제거하기 위한 연구가 활발히 진행되고 있다.
단일 영상의 안개를 제거하기 위한 대표적인 알고리즘으로 Dark Channel Prior(DCP)를 이용한 안개 제거 알고리즘이 있다[4]. DCP 안개 제거 알고리즘은 단일 영상의 피사체와 카메라간의 거리 정보를 정확히 파악하기 힘들기 때문에 영상 내에 일정 영역의 RGB 픽셀이 ‘0’에 수렴하는 실험적 관측 결과를 이용하여 안개의 짙은 정도를 추정한 후 안개를 제거한다.
그러나 석양이나 황사 등에 의해 안개 영상의 특정 채널이 다른 채널에 비해 상대적으로 높은 경우, 안개 제거 후 특정 채널의 색상이 두드러지게 나타날 수 있다. 또한 영상의 경계선 영역이나 높은 밝기 사물이 있는 경우 해당 영역을 안개가 짙은 영역으로 오추정 하게 되어, 해당 영역에 대해 잘못된 안개 제거 결과를 나타날 수 있다.
따라서 본 논문에서는 백색 기준 영역을 바탕으로 해당 영역이 표준 백색 영역에 위치하도록 하는 색 정규화 방식을 적용하여 안개 제거 후 발생하는 색상 문제를 개선하였다. 또한, 경계선 및 높은 밝기를 갖는 사물에 대해 주변영역으로 보정함으로써 안개 제거 후 해당 영역의 경계선 및 색상이 명확하게 나타날 수 있도록 하였다.
Ⅱ. 기존 알고리즘
1. 안개 영상의 물리적 모델
실외에 안개가 있는 경우 가시성을 확보하기 어려워 사물의 색상과 형태를 구별하기 어렵다. 또한 안개로 인해 사물의 색상과 경계선(edge)정보가 감소하기 때문에 다양한 영상 인식 알고리즘을 적용하기 어렵다. 따라서 안개영상의 가시성을 향상 시키고 다양한 영상처리 알고리즘의 적용을 위해서 영상 내의 안개를 제거하는 과정이 필요하다.
단일 영상에 포함된 안개를 제거하기 위해 Narasimhan 등이 제안한 안개 모델링 식을 사용한다.
식 (1)에서 I(x)는 안개가 포함된 영상, J(x)는 안개가 없는 깨끗한 영상으로서 최종적으로 얻어야 하는 영상이다. A는 대기 산란광으로 DCP 안개 제거 알고리즘에서는 안개가 가장 짙은 영역의 밝기값을 의미한다. d는 카메라와 피사체간의 거리, 그리고 β는 대기 감광 계수로서 대기 중의 안개량, e-βd는 각각의 픽셀 위치에서 안개가 짙은 정도를 나타내는 전달량을 나타낸다.
따라서 안개 영상은 d와 β가 클수록 즉, 거리가 멀고 안개량이 많아질수록 전달량이 작아지게 되므로 깨끗한 영상인 J(x)의 비율은 작아지기 때문에 본래의 색 정보가 사라지게 된다. 단일 영상에서는 영상과 피사체간의 거리정보를 얻기 어렵기 때문에 색상 정보를 바탕으로 전달량을 계산한다. 식 (1)의 안개의 짙은 정도를 나타내는 e-βd를 전달량 t(x)로 바꾸어 식 (2)와 같이 나타낼 수 있다.
따라서 안개를 제거하기 위해서는 안개 영상인 I(x)에서 대기 산란광 A와 영상의 각 지점의 안개 전달량 t(x)를 추정 및 계산 한 후, J(x)에 대해 정리함으로써 안개 제거가 가능하다.
2. Dark Channel Prior(DCP)를 이용한 안개 제거
DCP 안개 제거 알고리즘은 안개가 없는 영상에서 특정 구간의 RGB 채널은 ‘0’에 수렴하는 실험적 관측 결과를 이용한다. 즉 영상 내에 존재하는 어두운 픽셀을 기준으로 각 픽셀에 해당하는 안개량을 대략적인 추정이 가능하다.
식 (3)은 dark channel prior를 실험적 결과를 수식적으로 나타낸 것이다. J(x)는 각 채널의 픽셀 값, Ω(x)는 일정 구간을 나타낸다. 이 실험 결과를 바탕으로 식 (2)의 양변에 RGB채널과 특정 구간에 대해 최소값 연산을 적용한 후 대기 산란광 A로 나누어 주면 식 (4)를 얻을 수 있다.
안개가 없는 구간의 경우 식 (3)에 의해 J(x)를 0으로 가정할 수 있기 때문에, 식(4)를 전달량 t(x)에 관해 정리하면 전달량을 구하는 식 (5)를 얻을 수 있다.
He[4]의 논문에 따르면 맑은 날의 영상에서도 미세한 안개가 포함되어 있다. 따라서 이를 He[4]의 안개 가중치를 이용하여 식 (6)과 같이 전달량을 표현 할 수 있다.
w (0 < w ≤ 1)는 안개 가중치로 He의 실험적 결과에 의해 0.95로 정하였다. 대기 산란광 A는 He[4]의 연구 결과를 바탕으로 dark channel 중에서 상위 0.1% 밝기의 픽셀을 선택한다. 식 (2)를 J(x)에 관한 식으로 정리하면 안개가 있는 영상을 안개가 없는 깨끗한 영상으로 복원하는 식을 계산할 수 있다.
3. 기존 알고리즘의 문제점
DCP 안개제거 알고리즘을 이용하여 안개를 제거하는 경우 다음과 같은 문제점이 발생한다.
첫 번째 문제는 노을이나 황사와 같이 외부 광원의 영향이 있는 영상의 경우 카메라로 들어오는 빛의 색이 변하기 때문에 외부 영향의 색상만큼 더해지게 된다. 이러한 영상에 DCP 안개 제거를 적용 하였을 때, 그림 1과 같이 특정 색상 값이 더해진 만큼 전달량에 비례하여 안개를 제거하기 때문에 색이 한 쪽으로 더해진 결과가 나온다. 실제 피사체가 가지고 있는 색상과 다른 색으로 안개 제거 영상을 획득하는 경우 영상에 이질감이 생기고, 안개 제거 후 영상 전반의 명암이 낮아지기 때문에 색을 기반으로 하는 영상처리에 어려움이 생기게 된다.
그림 1.안개 제거 영상의 색 왜곡 현상 (a) 안개 영상 (b) 안개 제거 영상 Fig 1. Color distortion of dehazed image (a) Haze image (b) Haze removal image
두 번째 문제는 안개 영상에 백색 사물과 같이 높은 밝기의 사물이 있는 경우 식 (6)에 의해 안개량에 상관없이 전달량이 낮게 계산되는 문제점이 발생한다. 그림 2(a)의 붉은 마커 영역과 같이 상대적으로 가까운 거리에 있어 안개량이 적음에도 불구하고 그림 2(b)과 같이 높은 밝기에 의해 해당 영역의 안개가 많은 영역으로 오추정되어 전달량이 계산된다. 이러한 경우 식 (7)을 바탕으로 안개가 적은 곳에 대해 필요 이상으로 안개를 제거하기 때문에 영상의 명암이 낮아지거나, 전달량이 0에 수렴하게 되어 안개 제거 후 색이 과포화되는 문제점이 발생한다. He의 경우 이러한 문제점을 개선하기 위해 전달량 추정을 국부적으로 추정한 후 soft matting 기법을 적용하여 원본 영상과 전달량의 경계선이 일치하도록 정련을 한다. 백색사물의 크기가 국부영역보다 큰 경우 전달량의 보정이 어렵고, soft matting 방식은 많은 연산량으로 인해 처리 속도가 저하되는 문제점이 있다.
그림 2.밝은 영역의 전달량 (a) 안개 영상 (b) 전달량 Fig 2. Transmission of high intensity area (a) Haze image (b) Transmission
세 번째 문제는 대기 산란광 A의 오추정이다. 대기 산란광 A는 안개가 가장 짙은 영역의 픽셀값으로, DCP 안개제거에서는 대기 산란광 A의 추정을 다크 채널 내에서 가장 밝은 영역을 선택한다. 그러나 그림 안개량에 상관없이 높은 밝기의 사물의 영역에서 A를 추정 하는 경우, 안개 제거 가중치가 높아지기 때문에 안개 제거 영상의 명암이 낮아지거나 식 (7)의 전달량이 0에 수렴하게 되어 안개 제거 특정 영역의 색상이 과포화현상이 발생 할 수 있다.
본 논문은 안개 제거 후 발생하는 색상 왜곡 문제를 해결하기 위해 전처리 과정으로 색 정규화를 적용 후[5], 최소값 마스크를 이용하여 안개량을 추정 후 모폴로지의 침식 연산을 통해 안개량 오추정 영역을 보정하였다. 대기 산란광 A의 추정은 최소값 마스크를 통해 추정된 다크 채널에 영역평균 분할 방식을 적용함으로써 안개가 가장 짙은 영역에서 A의 추정이 이루어지도록 하였다[6]. 또한 전달량이 0에 수렴하는 문제점을 개선하기 위해 임계치 미만에서 전달량 값을 보정 한 후, 전달량 정련을 위해 Fast Guided Filter(FGD)를 적용함으로써 알고리즘의 수행속도를 개선하였다[7].
Ⅲ. 제안하는 알고리즘
본 논문에서는 기존 DCP 안개 제거 알고리즘에서 발생할 수 있는 색상 왜곡 문제와 안개량 오추정에 따른 안개제거 결과를 개선하기 위한 알고리즘을 제안한다. 기존 DCP 알고리즘에서 발생하는 색상 왜곡 문제를 해결하기 위해 안개 영상에서 백색 영역을 검출한 후, 백색 검출 영역이 표준 백색 영역으로 수렴하게 하는 색 정규화 방식을 적용하여 안개 제거 후 특정 채널의 색상이 두드러지고 명암이 감소하는 현상을 개선한다. 그 후 안개가 옅은 영역을 짙은 영역으로 오추정된 영역을 검출하여 주변 안개량으로 보정하는 알고리즘을 제안한다. 전체적인 흐름도는 그림 3과 같다.
그림 3.제안하는 알고리즘 순서도 Fig 3. Suggest algorithm flow
1. 가중치의 반복 적용을 이용한 색 정규화
본 논문에서는 안개를 제거하기 전 안개 영상에 대해 색정규화를 적용한다. 색 정규화를 위해 입력 영상의 백색 기준 영역을 검출한 후, 해당 영역이 표준 백색 영역에 수렴할 수 있도록 안개 영상의 각 RGB 채널에 대한 채널 이득을 계산하여 반복적으로 적용한다.
백색 영역 검출을 위해 입력 영상에 히스토그램 평활화를 적용한다. 히스토그램 평활화를 적용하면 명암대비가 높아져 백색의 검출이 용이하다. 그 후, 표준 백색의 YCbCr 의 화소가 Y = 255, Cb = Cr = 128 이기 때문에, 식 (8)(9)와 같이 검출 범위를 정하여 입력 영상의 백색 영역을 검출 한다. 검출 범위는 실험적인 결과로 표준 백색 YCbCr 화소값에 오차를 두어 설정하였다.
색 정규화는 백색 검출 영역이 그림 4와 같이 표준백색 영역으로 수렴할 수 있도록 각 RGB채널에 대한 채널 이득을 계산하여 영상 전체에 적용한다.
그림 4.표준 백색 영역 및 백색 검출 영역의 색상 왜곡 Fig 4. Standard white area and white detection area’s color distortion
검출된 백색 영역을 기준으로 식 (10)과 식(11)(12)(13)을 이용하여 각 RGB 채널이득을 계산한다.
avg는 안개 영상의 각 RGB채널에서 명암이 가장 높은 영역의평균을 의미하며 avg(RYmax), avg(GYmax), avg(BYmax)는 백색 검출 영역의 평균 RGB 이다. 각 채널 이득을 식 (14)(15)(16)과 같이 정규화 하여 최종 채널이득을 계산한다.
각 채널 이득을 입력 영상의 각 RGB 채널에 적용하여 검출 영역이 표준 백색에 수렴하도록 한다. 적용 후 백색 검출 영역의 YCbCr의 평균값이 표준 백색 범위에 수렴하지 않는 경우 식 (8)부터 반복하여 적용한다. 채널 이득의 반복 계산으로 인해 수렴 범위에 인접하는 경우 채널 이득의 크기가 낮아지는 효과를 얻을 수 있다. step size α는 스케일 상수로서 3개 채널 중 한 채널의 가중치를 나타낸다. 본 논문에서는 색 정규화 진행 시 색상의 과포화를 방지하고 효율적인 연산 속도를 위해 실험적으로 α = 3.1을 사용하였고, 반복 횟수는 최대 10회로 설정 하였다. 식 (14)(15)(16)에서 계산한 채널 이득을 적용하여 영상 전체에 식 (17)과 같이 색 정규화를 진행 한다. IR, IG, IB는 안개 영상의 각 채널을 의미하고 I'은 색 정규화가 진행된 영상이다. 그림 5의 (a)는 원본 영상이고, (b)는 제안하는 알고리즘을 이용하여 안개 영상을 정규화 한 영상이다.
그림 5.색 정규화 (a) 안개 영상 (b) 색 정규화 영상 (α = 3.1) (c) 색 정규화 영상 (α = 3.5) Fig 5. Color normalization (a) Haze image (b) Color normalized image (α = 3.1 ) (c) Color normalized image (α = 3.5)
2. 최소값 마스크 및 모폴로지 연산을 이용한 안개량 추정
기존 DCP알고리즘은 식 (3)과 같이 한 픽셀의 RGB 채널 중 최소값을 다크채널로 계산 하였다. 이러한 경우 경계선 영역, 백색 사물이 있는 영역의 경우 높은 밝기 변화로 인해 안개량이 추정이 정확이 이루어지지 않기 때문에 안개 제거 후 경계선이 뚜렷하게 나타나지 않는 문제점이 발생 할 수 있다. 따라서 경계선 부분이나, 밝은 화소 영역의 경우 정확한 안개량 추정을 위해 보정이 이루어 져야 한다.
본 논문에서는 색 정규화 컬러 영상에 최소값 마스크를 적용함으로써, 경계선 영역이 주변 안개량의 값으로 치환될 수 있도록 하였다. 제안하는 최소값 마스크는 한 개 픽셀에 대한 최소값을 찾기 위해, 식 (18)과 같이, W × H 사이즈의 영상에 대해, N × N 마스크 내에서 RGB의 최소값을 찾아 적용한다. 그 후 마스크를 이동하면서 전체 픽셀에 대한 다크채널을 계산한다. 그림 6과 같이 제안하는 방식을 적용하였을 때, 마스크를 적용함으로써 경계선 영역과 밝은 밝기의 사물에 대해 주변 안개로 보정 되는 효과를 얻을 수 있다.
그림 6.(a) 안개 영상 (b) 기존 dark channel (c) 제안하는 다크 채널 ( N = 16 ) Fig 6. (a) Haze image (b) Existing dark channel (c) proposed dark channel
그러나 그림 6(c)의 붉은 마커 영역의 경우, 밝은 밝기의 사물의 영역이 마스크 사이즈 보다 큰 경우 주변 안개로 보정이 어렵다. 마스크 사이즈를 증가시키면 다크 채널 추정의 연산량이 많아지는 문제점이 발생한다. 이를 해결하기 위해 모폴로지의 침식 연산을 적용하여 높은 밝기를 갖는 영역에 대해 주변 영역으로 보정을 한다.
먼저 다크 채널 내에서 대기 산란광 A보다 큰 영역을 찾아 관심 영역으로 설정 하여 주변 영역으로 침식연산을 취한다. 1채널 영상에 대한 침식 연산은 식 (19)(20)과 같다.
식 (19)(20)에서 b는 침식 연산을 위한 사각 커널이며, x, y는 다크 채널 영상의 인덱스, p, q는 커널의 인덱스를 의미한다. 침식 연산을 통해 높은 밝기를 갖는 픽셀이 주변의 어두운 픽셀로 대체 되면서 밝은 영역의 물체의 크기가 감소한다. 그 후 대기 산란광에 비례하게 픽셀값을 감소시킴으로써 안개 제거 가중치를 낮추도록 한다. 그림 9(b)와 같이 A보다 밝은 영역을 갖는 영역을 주변의 픽셀로 침식함으로써 안개 제거 후 색상의 과포화 현상 및 명암이 낮아지는 현상을 개선할 수 있다.
그림 7.(a) 제안하는 다크 채널 ( N = 16 ) (b) 침식 결과 Fig 7. (a) proposed dark channel ( N = 16 ) (b) Erode result
3. 영역 평균 분할을 이용한 대기산란광 A의 추정
안개 모델링 식에서 사용하는 대기 산란광 A는 안개 영상에서 안개가 가장 짙은 영역의 화소값을 의미한다. He의 연구에 서는 다크 채널의 가장 밝은 영역의 상위 0.1% 픽셀을 선택하여 적용한다. 이러한 경우 그림 8(a)(b)(c)와 같이 영상 내 높은 밝기를 갖는 물체가 있을 경우, 안개량에 상관없이 해당 영역에서 대기 산란광 A를 추정하는 문제점이 발생한다.
그림 8.개선된 Airlight 추정 결과 (a) A=221 (b) A=186 (c) A=194 (d) A=172 (e) A=175 (f) A=179 Fig 8. Improved Airlight estimation result (a) A=221 (b) A=186 (c) A=194 (d) A=172 (e) A=175 (f) A=179
대기 산란광 오추정 문제점을 보완하기 위해 본 논문에서는 다크 채널을 기반으로 한 영역 평균 분할 탐색 방법을 사용 하였다. 최소값 마스크를 적용한 다크 채널에 대해 4 개의 영역으로 분할 한 후, 각 영역의 평균 밝기가 가장 높은 영역을 선택한다. 선택된 영역의 크기가 임계치 미만의 값이 될 때 까지 반복적으로 수행하여 최종 영역 내에서 밝기가 가장 밝은 값을 대기 산란광 A로 추정한다. 그림 8는 영역 평균 분할 방법을 적용하여 안개값을 추정하는 과정을 나타내었다. 그림 3과 달리 그림 8(d)(c)(f)의 영상에서는 붉은 마커가 가리키는 영역 내에서 안개값을 추정하는 결과를 확인 할 수 있다.
3. 개선된 전달량 추정 및 정련
He는 안개 제거 결과가 발산 하는 것을 막기 위해 식 (7)과 같이 전달량 t(x)의 최소값을 t0 = 0.1로 정하였다. 이러한 경우 하늘이나 광원과 같이 높은 밝기를 갖는 영역에 대해 명암이 낮아지거나, 과도하게 낮은 전달량으로 인해 안개 제거 색상이 과포화 되어 부자연스러운 색상을 갖는다.
본 논문에서는 이를 개선하기 위해 식 (21)과 같이 전달량이 임계값 이하의 값을 가질 때 이를 보정하는 방식을 적용하였다.
식 (20)은 전달량이 임계값을 미만일 경우 피사체의 색상 정보가 부족하다고 판단하여 안개 제거율은 낮춘다. 이러한 전달량을 적용하였을 때, 하늘 영역과 같이 무한한 거리로 인해 색상 정보를 획득하기 어려운 곳에서 명암의 감소를 덜 발생시킬 수 있다. t0는 전달량 임계값으로 본 논문에서는 실험적 결과에 의해 0.12로 정하였다. 위 식을 사용하여 전달량을 계산하였을 때 안개 영상 내의 백색 영역이나 광원과 같이 픽셀의 밝기가 높은 영역에 대해서 안개 제거율이 낮아지기 때문에 부자연스러운 명암 감소 및 안개 제거 수식으로 인한 색상 과포화 현상을 개선할 수 있다.
이 전달량을 사용하여 안개를 제거할 경우 전달량에 발생하는 블록현상으로 인해 안개 제거 영상에서 경계선이 일치하지 않는 문제가 발생할 수 있다. 따라서 안개 제거영상의 경계선을 원본과 유사하게 하기 위해서 원본 영상과 전달량의 경계선이 일치하도록 정련하는 과정이 필요하다.
본 논문에서는 전달량 정련을 위해 fast guided filter(FGD)를 사용하여 전달량을 정련하였다. Guided filter는 강한 에지를 보존하며 신호를 부드럽게 만드는 비선형 필터이다. fast guided filter는 안개 영상을 guided 영상으로 설정하고 filter의 입력 영상은 전달량 t(x)로 설정한다. FGD는 guided 영상과 입력 영상에 다운 샘플링 후 연산을 적용함으로써, 샘플링 비율이 s일 때 기존 guided filter 보다 s2배 빠른 연산 속도를 나타낸다. 필터 계수로 r = 50 , ϵ = 10-3 을 적용하여 그림 11에 나타내었다. 그림 9(c)의 He의 전달량 계산 방식과 비교하여 그림 9(d)의 광원 영역에 대해 전달량이 높게 개산되어지는 것을 확인할 수 있다. 이 전달량을 통해 안개를 제거 할 경우, 해당 영역은 안개제거 가중치가 감소되어 있기 때문에 안개 제거 후 발생하는 색상 포화 현상의 개선이 가능하다.
그림 9.기존 알고리즘과 제안하는 알고리즘의 전달량 비교 (a) 안개 영상 (b) 모폴로지 적용 전달량 (c) He의 전달량 결과 (d) 모폴로지 침식 전달량 정련 결과 Fig 9. Transmission comparison with original method and proposed method (a) Haze image (b) transmission applying erode operation (c) He’s transmission (d) transmission refining result
Ⅳ. 실험 결과
본 논문에서는 제안하는 알고리즘의 성능을 평가하기 위해 He[4], Fattal[8], Tan[9]의 안개 제거 결과를 Taral[10]의 성능 지표 결과 비교를 통해 나타내었으며, 영상의 크기에 별로 He의 안개 제거 결과와 제안하는 알고리즘의 수행 시간을 비교하였다[11].
기존에 제안된 안개 제거 알고리즘의 실행 결과를 그림 10과 표 1을 통해 나타내었다. 제안하는 알고리즘을 적용하였을 때, 기존 안개 제거 알고리즘 보다 수행시간이 더 빠르면서 이미지의 색상이 뚜렷해지고 안개 제거 후 사물의 대비가 뚜렷해진 것을 확인할 수 있다. 특히 안개 제거 후 Fattal의 안개 제거 영상에서 나타나는 halo effect와 He의 안개 제거 영상의 명암이 낮아지는 문제점이 개선된 것을 확인할 수 있다.
그림 10.기존 알고리즘과 제안하는 알고리즘의 실험 결과 비교 (a) 원본 영상 (b) Fattal의 결과 (c) Tan의 결과 (d) He의 결과 (e) 제안하는 방법 Fig 10. Experiment result comparison with original methods and proposed method (a) Original image (b) Fattal’s result (c) Tan’s result (d) He’s result (e) Proposed method
표 1.Table 1. The result of objective evaluation comparison about Fig. 10
표 1에서 e는 복원 후 새로 나타나는 에지의 비율을 나타내고, 은 복원 전후의 평균 그레디언트 비율을 나타낸다. σ는 복원 후 포화되는 화소의 비율을 백분율로 나타낸 것이다. e , 은 수치가 높을수록, σ는 낮을수록 좋은 결과를 나타낸다.
He의 영상의 경우 다른 저자에 비해 안개 제거율도 높고 선명 하지만, 영상 전반의 명암이 낮고, 암석의 경계선 부분에 대한 전달량이 낮게 추정되어 안개 제거 후 암석 부분의 경계가 모호하다. 그러나 표 1과 그림 10을 바탕으로 제안하는 알고리즘이 기존 안개 제거 영상보다 자연스럽고 선명함을 확인할 수 있다.
표 2는 C로 구현한 He의 안개 제거 알고리즘과 제안하는 알고리즘을 그림 10의 이미지 크기별로 수행 속도를 비교한 것이다. 제안하는 알고리즘을 통해 안개 제거율은 높이면서 안개량 오추정 문제를 개선하면서 실행 시간이 매우 빠르게 나타나는 것을 확인 할 수 있다. 이는 전달량 정련과정에서 FGD를 사용함으로써 많은 계산 과정을 단축함으로써 알고리즘 수행 속도가 개선 될 수 있다.
표 2.Table 2. Comparison of running time(sec)
그림 11와 표 3은 안개 제거 후 발생하는 명암이 낮아지는 문제점과 색상 포화 현상의 개선을 확인하기 위해 He의 안개 제거 결과와 비교하여 나타내었다.
그림 11.기존 알고리즘과 제안하는 알고리즘의 실험 결과 비교 (a)(d) 안개 영상 (b)(e) He의 안개 제거 영상 (c)(f) 제안하는 알고리즘 Fig 11. Experiment result comparison with original methods and proposed method (a)(d) Original image (b)(e) He’s result (c)(f) Proposed method
표 3.Table 3. Comparison of Fig 11 marker region’s brightness
그림 11(b)는 안개 제거 후 명암이 낮아져서 가시성이 저하된다. 반면 그림 11(c)와 같이 제안하는 알고리즘을 적용하였을 때, 붉은 마커 영역의 평균 명암이 약 42% 증가하면서 이미지의 가시성이 증가한다. 그림 11(e)에서는 전달량이 0에 수렴하면서 색상 과포화가 발생하였지만, 그림 11(f)는 제안하는 알고리즘을 통해 명암이 약 18.9% 감소하면서 색상 과포화 현상이 개선되었다. 제안하는 알고리즘을 통해 과도한 안개 제거로 인한 명암이 낮아지는 현상과 색상과포화 현상이 개선되면서 가시성이 증가되는 것을 확인할 수 있다.
그림 12는 안개 제거 후 색상 과포화로 인한 광원의 크기 변화를 비교하여 나타낸 것이다. 원본 영상의 광원의 크기를 1이라 하였을 때, 그림 12(b)는 DCP 안개 제거 후 원본 영상의 광원 크기보다 색상 과포화로 인해 광원의 크기가 원본 영상보다 약 25% 증가하여 원본 영상의 손실율이 커지는 문제점이 발생한다. 반면 제안 하는 알고리즘을 적용 하였을 때 색상 과포화 현상이 개선되면서 광원의 크기가 원본 영상 보다 약 7.8% 증가한다. 이를 통해 기존 안개제거 알고리즘 보다 제안하는 알고리즘을 통해 원본 이미지를 손실을 최소화하며 안개 제거가 가능하다.
그림 12.안개 제거 결과의 광원 비교 (a) 원본영상 (b) He의 안개 제거 영상 (1.26) (c) 제안하는 알고리즘 (1.07) Fig 12. Comparison the light source of dehazing result (a) Original image (0.64) (b) He’s result (0.81) (c) Proposed method (0.69)
그림 13는 안개량과 전달량이 오추정 되는 영상에 대해 최근 안개 제거 결과와 제안하는 알고리즘[5]을 비교하여 나타내었다. He의 안개 제거 결과 에서는 하늘 영역과 백색차선, 차량과 같은 영역과 같이 안개량 오추정 되는 영역에 대해 명암이 낮아지는 결과를 보인다. Kim의 안개 제거 결과에서는 차량과 백색 차선에 대한 명암 문제는 개선되었지만 하늘 영역에 대해 노이즈 현상이 발생한다. 제안하는 알고리즘을 적용함으로써 원본 영상과 비교하여 전달량을 정련함으로써 노이즈 현상 개선을 비롯하여 명암 문제가 개선되는 것을 확인할 수 있다.
그림 13.안개 제거 결과 비교 (a) 원본영상 (b) He의 안개 제거 영상 (c) Kim의 안개 제거 영상 (c) 제안하는 알고리즘 Fig 13. Comparison of dehazing result (a) Original image (b) He’s result (c) Kim’s result (c) Proposed method
Ⅴ. 결 론
본 논문에서는 안개로 인하여 색상 정보가 감소한 영상에서 백색 검출 영역을 기반으로 한 색 정규화 방식을 적용한 후, 오추정된 안개 영역을 보정하여 기존 DCP 안개제거 알고리즘보다 개선된 방법을 제안하였다.
제안하는 알고리즘을 통해 DCP 안개 제거 알고리즘의 문제점인 석양, 황사 등이 대기 환경에 영향을 주었을 경우와 흰색이나 광원 영역과 같이 RGB 전 채널이 높은 값을 가지고 있는 영역이 존재하는 영상에 대해, 안개 제거 후 색상이 왜곡 되는 현상을 감소시켰으며 안개 제거 후 영상 전반의 명암이 낮아지는 문제를 개선하였다. 또한 전달량 오추정으로 인한 색상 과포화 문제가 개선됨으로써 안개제거 후 원본 영상의 손실이 적고 안개 제거율도 높은 안개제거 결과를 얻을 수 있었다. 이 결과를 통해 안개 영상의 가시성 향상과 색을 기본으로 하는 영상처리 적용에 도움을 줄 수 있을 것이다.
향후 DCP 안개 제거 알고리즘의 연산량 개선을 위해 알고리즘을 발전시킴으로써, 실시간 안개 제거에 적용이 가능할 것이다. 또한 안개 상황 뿐만 아니라 비 야간, 눈, 비등 다양한 날씨 환경에서 가시성 확보 분야에 연구가 발전될 수 있을 것으로 기대 된다.
참고문헌
- Shwartz, Sarit, Einav Namer, and Yoav Y. Schechner. "Blind haze separation." Computer Vision and Pattern Recognition, Computer Society, IEEE Conference on. Vol. 2. pp 1984-1991, 2006.
- Narasimhan, Srinivasa G., and Shree K. Nayar. "Chromatic framework for vision in bad weather." Computer Vision and Pattern Recognition, Proceedings, IEEE Conference on. Vol. 1. pp 598-605, June, 2000.
- Narasimhan, Srinivasa G., and Shree K. Nayar. "Contrast restoration of weather degraded images." Pattern Analysis and Machine Intelligence, IEEE Transactions on. Vol. 25, pp 713-724. June, 2003. https://doi.org/10.1109/TPAMI.2003.1201821
- He, Kaiming, Jian Sun, and Xiaoou Tang. "Single image haze removal using dark channel prior." Pattern Analysis and Machine Intelligence, IEEE Transactions on. Vol, 33 pp 2341-2353. Dec, 2011 https://doi.org/10.1109/TPAMI.2010.168
- Jong-Hyun Kim, HyungTai Cha, “Improved Haze Removal Algorithm by using Color Normalization and Haze Rate Compensation”, JBE Vol. 20, No. 5, pp 738-747, September 2015.
- Kim, Jin-Hwan, Jae-Young Sim, and Chang-Su Kim. "Single image dehazing based on contrast enhancement." Acoustics, Speech and Signal Processing (ICASSP), IEEE International Conference on. IEEE, pp 1273-1276, May, 2011.
- He Kaiming, and Jian Sun. "Fast guided filter." arXiv preprint arXiv:1505.00996, 2015.
- R. Fattal, "Single image dehazing." ACM Transactions on Graphics, vol. 27, no. 3, pp. 1-9, August 2008. https://doi.org/10.1145/1360612.1360671
- R. Tan, "Visibility in bad weather from a single image" IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, June 2008.
- Tarel, Jean-Philippe, and Nicolas Hautiere. "Fast visibility restoration from a single color or gray level image." Computer Vision, 12th International Conference on. IEEE, 2009.
- Park, Hyungjo, Dubok Park, and Hanseok Ko. "Novel Defog Algorithm via Evaluation of Local Color Saturation." Journal of the Institute of Electronics and Information Engineers, pp 119-128, on. Vol. 51, 2014. https://doi.org/10.5573/ieie.2014.51.3.119
- Jung HaHyoung, Kim HanBoRam, Kim HoBum, Lyou Joon, "Perfomance Assessment of Auto White Balance Methods.", The 8th Conference on National Defense Tech. pp. 1052-1059, July 2012.
- Hyunwoo Bae, Taehwan Kim, "High-Quality Haze Removal Based on Transmission Correction." IEIE Summer Conference pp. 713-716, June 2015.