Ⅰ. 서 론
영상을 일정한 날씨 조건으로 얻을 수 있는 실내 영상과 달리 실외는 외부 환경의 변화에 따라 카메라로부터 얻는 영상이 다를 수 있다. 특히 안개가 있는 영상에서는 영상이흐려지고, 색의 대비가 낮아지기 때문에 영상으로부터 다 양한 정보를 추출하기 어렵다. 따라서 안개가 있는 영상에서 물체 인식률을 높이기 위해 안개를 제거하는 연구가 많이 진행되고 있다.
안개제거 알고리즘은 안개의 짙은 정도를 파악하기 위해 두 개의 서로 다른 각도의 편광렌즈를 사용하거나[1], 두 대 이상의 카메라를 이용하여 영상의 거리정보를 파악한 후 거리에 따라 안개를 제거하는 방법 등이 있다[2]. 그리고 고정된 CCTV를 이용할 경우 같은 지점에서 맑은 날씨의 영상과 안개가 있는 영상을 이용하여 두 영상의 차이를 바탕으로 안개를 제거하는 방법이 있다[3]. 하지만 이러한 알고리즘들은 두 대 이상의 카메라로부터 동일 위치, 다른 시간에 촬영된 2장 이상의 영상이 필요하다. 따라서 다양한 위치와 환경에서 안개를 제거하기 위해 최근에는 단일 영상만으로 안개를 제거하는 연구가 진행되고 있다.
단일 영상을 이용하여 안개를 제거하는 대표적인 알고리즘으로 Dark Channel Prior(DCP)를 이용한 안개 제거 알고리즘이 있다[6][7]. 단일 영상의 경우 피사체와 카메라간의 거리 정보를 얻기 힘들기 때문에 영상의 색상 정보를 이용하여 안개의 깊이 정보를 파악한 후 안개를 제거하게 된다. DCP를 이용한 안개제거는 영상 내에 일정 영역의 RGB 채널 값이 ‘0’에 수렴하는 특성을 이용하여 안개의 짙은 정도를 예상하여 안개 제거를 한다.
그러나 석양, 황사 등과 같은 영상의 경우, RGB 채널 중 특정 채널 값이 다른 채널 값에 비해 상대적으로 높아 안개 제거 후 특정 채널의 색상이 두드러지게 나타나는 현상이 발생한다[8]. 또한 특정 영역에 백색 피사체와 같이 높은 명암을 갖는 사물이 있는 경우 해당 영역을 안개가 짙은 영역으로 오추정하게 된다. 이러한 경우 전달량이 잘못 추정되어 안개 제거 후 영상의 명암이 낮아질 수 있다.
따라서 본 논문에서는 입력 영상에서 백색 기준 영역을 검출한 후, 해당 영역이 백색 스케일 영역에 위치하도록 하는 개선된 색 정규화를 방식을 적용하여 안개 제거 후에 발생하는 색상 왜곡 현상을 보완하였다. 또한, 안개량이 오추정된 영역을 주변 영역으로 보간함으로써 안개 제거 후 해당 영역의 색이 왜곡되지 않도록 하였다.
Ⅱ. 기존 알고리즘
1. 안개 영상에 대한 물리적 모델
안개가 있는 영상의 경우 피사체의 색상과 경계선(edge) 정보가 사라지기 때문에 영상 인식이 어렵다. 또한 안개가 짙을 경우 사람의 시각으로도 물체의 색상과 형태를 분간하기 어렵다. 따라서 안개 영상에서 가시성을 향상과 인식 알고리즘의 적용을 위해서 영상 내의 안개를 제거하는 과정이 필요하다.
식 (1)은 안개 제거 알고리즘에 쓰이고 있는 안개가 있는 날씨에서 얻은 영상에 대한 안개 물리식이다[2].
위 식에서 I(x)는 안개가 포함된 영상 즉, 카메라로부터 획득된 영상이고, J(x)는 안개가 없는 깨끗한 영상으로서 최종적으로 얻어야 하는 영상이다. A는 대기의 밝기 정도 즉, 안개가 가장 짙은 영역의 밝기값이다. 본 논문에서는 를 안개의 밝기를 나타내는 안개값이라고 표현한다. d는 카메라와 피사체간의 거리, 그리고 β는 대기의 감광 계수로서 대기 중의 안개량을 뜻한다. 그리고 e-βd는 각각의 위치에서 안개가 짙은 정도를 나타내는 전달량으로, d와 β가 클수록 즉, 거리가 멀고 안개량이 많아질수록 전달량이 작아지게 되므로 깨끗한 영상인 J(x) 정보에 대한 비율은 작아지기 때문에 본래의 색 정보가 사라지게 된다. 따라서 안개를 제거하기 위해서는 안개 영상인 I(x)에서 영상의 각 지점의 안개 전달량을 찾은 후 J(x)에 관한 식으로 변환 후 최종적으로 안개를 제거해야 한다. 안개의 전달량을 계산하기 위해서는 안개량과 거리정보가 있어야 한다. 하지만 일반적인 단일 영상에서 거리 정보를 찾기는 어렵고 안개가 얼마나 형성되어 있는지 또한 알 수 없다. 이 경우 안개를 제거하기 위해 영상의 색상정보를 통해 대략적인 거리를 추정하여 안개의 짙은 정도를 계산한다.
2. Dark Channel Prior(DCP)를 이용한 안개제거 알고리즘
DCP 안개 제거 알고리즘은 식 (2)와 같이 안개가 없는 깨끗한 영상에서 일정 구간의 RGB채널은 ‘0’에 수렴하는 즉, 어두운 값을 갖는 픽셀이 존재하는 특성을 이용한다. 이를 이용하면 거리를 측정하기 어려운 한 장의 이미지에서 각각의 피사체에 대해 안개의 짙은 정도를 예상할 수 있다.
식 (2)에서 J는 각 채널의 픽셀 값, Ω는 일정 구간을 나타낸다.
단일 영상에서는 영상에서 거리정보를 얻기 어렵기 때문에 색상 정보를 바탕으로 안개의 전달량을 찾는다. 따라서 식 (3)과 같이 식 (1)의 안개의 짙은 정도를 나타내는 e-βd를 전달량 t(x)로 바꿀 수 있다. 그 후 식 (3)의 양변에 일정 구간에 대해 각각의 RGB채널에 최소값을 계산한 후 안개값 A로 나누어 주면 식 (4)를 얻을 수 있다.
식 (2)에 의해 안개가 없는 영상의 경우 J(x)를 0으로 가정할 수 있다. 식 (4)를 정리하면 전달량을 구하는 식 (5)를 얻을 수 있다.
전달량 t(x)는 안개가 있을 때 빛이 투과되는 정도를 나타낸다. He의 논문에 따르면 맑은 날의 영상에서도 미세한 안개가 포함되어 있다[6]. 따라서 이를 가중치 안개 가중치를 이용하여 식 (6)과 같이 전달량을 표현 할 수 있다.
w(0＜w≤1)는 안개 가중치로 He의 실험적 결과에 의해 0.95로 정하였다. He의 연구에 따르면 안개값 A는 He가 실험적으로 연구한 결과를 바탕으로 Dark channel 중에서 가장 밝은 곳으로 부터 90% 밝기를 가지는 영역의 픽셀 중 가장 높은 밝기를 가지는 값을 선택한다. 하지만 이러한 경우 영상 내에 백색 사물과 같이 밝은 색상의 사물이 포함 된 경우 정확한 안개값을 추정할 수 없다. 따라서 본 논문에서는 영상의 안개가 가장 짙은 영역을 바탕으로 A를 선택하였다.
식 (3)으로부터 J(x)에 관한 식으로 정리하면 안개가 있는 영상을 안개가 없는 깨끗한 영상으로 복원하는 식을 계산할 수 있다. 식 (3)을 정리하면 다음과 같다.
3. 기존 알고리즘의 문제점
DCP 알고리즘을 이용하여 안개를 제거하는 경우 다음과 같은 문제점이 발생한다. 첫 번째 문제는 DCP 안개 제거 알고리즘이 각 RGB 채널을 전달량 t(x)에 비례하게 채도 성분을 조절하기 때문에 특정 채널의 색상이 높은 경우 안개 제거 후의 특정 채널의 색상이 다른 채널에 비해 높게 나타난다. 예를 들어 노을과 같이 외부 광원의 영향이 있는 영상의 경우, 안개 제거 영상에서 외부 광원의 색상이 두드러지게 나타난다. 그림 1과 같이 실제 피사체가 가지고 있는 색상과 다른 색으로 영상을 획득하기 때문에 영상에 이질감이 생기고, 색을 기반으로 하는 영상처리에 어려움이 생기게 된다.
두 번째 문제는 안개 영상에 백색 사물이 있는 경우 식 (6)에 의해 안개량에 상관없이 전달량이 낮게 추정되는 문제점이 발생한다. 그림 2의 붉은 영역의 경우 안개의 양과 관계없이 안개가 짙은 영역으로 오추정되어 전달량이 낮게 계산된다. 안개가 옅은 영역을 짙은 영역으로 오추정하여 전달량을 예상할 경우, 식 (7)을 바탕으로 안개가 적은 곳의 색의 대비를 필요 이상으로 크게 늘리는 결과가 나오기 때문에 안개 제거 후 원본과 다른 색으로 왜곡이 된다.
그림 1.안개 제거 영상의 색 왜곡 현상 (a) 안개 영상 (b) 안개 제거 영상 Fig 1. Color distortion of dehazed image (a) Haze image (b) Haze removal image
그림 2.밝은 영역의 전달량 (a) 안개 영상 (b) 전달량 Fig 2. Transmission of high intensity area (a) Haze image (b) Transmission
Ⅳ. 제안하는 알고리즘
본 논문에서는 기존 DCP 안개 제거 알고리즘에서 발생 할 수 있는 색상 왜곡 문제와 안개량 오추정에 따른 안개 제거 결과를 개선하기 위한 알고리즘을 제안한다. 기존 DCP 알고리즘에서 발생하는 색상 왜곡 문제를 해결하기 위해 안개 영상에서 백색 영역을 검출한 후, 백색 검출 영역이 표준 백색 영역으로 수렴하게 하는 색 정규화 방식을 적용하여 안개 제거 후 특정 채널의 색상이 두드러지게 나타나는 현상을 줄인다. 그 후 안개가 옅은 영역을 짙은 영역으로 오추정된 영역을 보간함으로써 오추정된 영역의 안개 제거 시 높은 안개 가중치로 인해 명암이 어두워지는 현상을 줄인다. 전체적인 흐름도는 그림 3과 같다.
그림 3.제안하는 알고리즘 순서도 Fig 3. Suggest algorithm flow
1. 제안하는 색 정규화
본 논문에서는 YCbCr 색상 모델을 이용한 색 정규화 방식을 제안한다. 색 정규화를 위해 입력 영상의 백색 기준 영역을 검출한 후, 해당 영역이 표준 백색 영역에 위치하도록 입력 영상의 RGB 값을 채널 이득을 적용하여 조정한다.
백색 영역 검출을 위해 입력 영상에 히스토그램 평활화를 적용한다. 히스토그램 평활화를 적용하면 명암 대비가 높아져 백색의 검출이 용이하다. 그 후 표준 백색의 YCbCr값이 Y=255, Cb=Cr=128을 갖기 때문에, 식 (8)과 같이 검출 범위를 정하여 입력 영상의 백색 영역을 검출한다.
그림 5는 식 (8)을 통해 검출한 안개 영상의 백색 영역이다. 안개 제거를 위한 안개값 A는 이 영역 내에서 추정되어진다. 그러나 상위 10%에 해당하는 안개값을 선택하였을 경우 안개 영역이 아닌 곳에서 추정이 이루어질 수 있다. 따라서 제안하는 알고리즘에서 안개값 A에 대한 추정은 식 (9)와 같이 이루어진다.
식 (9)는 백색 검출 영역의 평균값과 안개 가중치를 통해 DCP 알고리즘에 사용되는 안개값 A를 계산한다. 백색 검출 영역의 평균값과 안개 가중치를 적용함으로써 과도하게 밝은 영역은 안개값 후보에서 제외된다.
안개 영상에서 검출한 백색 영역의 YCbCr이 그림 4와 같이 표준 백색 영역과 오차가 있을 경우, 안개 제거 전에 색 정규화 과정이 필요하다. 색 정규화는 백색 검출 영역이 백색 영역으로 수렴할 수 있도록 채널 이득을 계산하여 영상 전체에 적용한다.
그림 4.색 정규화를 위한 영역 추출 (a) 안개 영상 (b) 백색 검출 영역 Fig 4. Haze area extraction for color normalization (a) Haze image (b) White detection area
그림 5.표준 백색 영역 및 백색 검출 영역의 색상 왜곡 Fig 5. Standard white region and white detection region’s color distortion
백색 검출 영역을 토대로 식 (10)과 (11)을 이용하여 각 채널 화소에 대한 채널 이득을 계산한다.
avg는 안개 영상의 각 RGB채널에서 가장 밝은 영역의 평균값을 의미하며 avg(RYmax), avg(GYmax), avg(BYmax)는 백색 검출 영역의 평균 RGB 이다. 각 채널 이득을 식 (12)와 같이 scaling을 하여 최종 gain을 구한다.
최종 gain을 입력 영상의 각 RGB 채널에 반복적으로 적용하여 검출 영역이 백색 스케일 내에 수렴하도록 한다. step size α는 scaling 상수로서 3개 채널 중 한 채널의 가중치를 나타낸다. 본 논문에서는 색 정규화 진행 시 색상의 과포화를 방지하고 효율적인 연산 속도를 위해 실험적으로 3.1을 사용한다. 식 (12)에서 계산한 gain을 이용하여 영상 전체에 색 정규화를 진행 한다. 그림 6의 (a)는 원본 영상이고, (b)는 제안하는 알고리즘을 이용하여 안개 영상을 정규화 한 영상이다.
그림 6.색 정규화 (a) 안개 영상 (b) 색 정규화 영상 (α=3.1) (c) 색 정규화 영상 (α=3.5) Fig 6. Color normalization (a) Haze image (b) Color normalized image (α=3.1) (c) Color normalized image (α=3.5)
그림 7.안개의 짙은 정도에 따른 edge 영상 (a) 안개 영상 (b) Sobel edge 영상 (c) Canny edge 영상 Fig 7. Edge image according to the degree of haze (a) Haze image (b) Sobel edge image (c) Canny edge image
2. 보간을 이용한 안개량 보정
식 (1)에 따르면, 영상에서의 안개량은 카메라와 피사체의 거리에 비례한다. 반면 전달량은 빛이 투과하는 정도를 나타내기 때문에 안개량에 반비례하게 나타난다. 따라서 안개량에 따라 전달량 계산하기 위해 카메라와 피사체 간의 거리를 예측한 후 오추정된 안개량을 찾아 보정해야 한다.
단일 영상에서 카메라와 피사체 간의 거리는 정확하게 추정은 어렵다. 하지만 안개량에 따라 경계선 검출을 통해 대략적인 거리의 파악은 가능하다. dark channel에서 경계선 검출을 하였을 때, 안개가 짙은 영역은 색의 대비가 낮아 경계선 검출이 제대로 이루어지지 않는다. 그러나 영상에 백색 피사체가 있는 경우에는 주변 안개량과 상관없이 높은 대비로 인해 경계선이 크게 나타난다. 이러한 경우 안개량은 적지만 흰색 피사체로 인해 해당 영역이 안개가 짙은 영역으로 오추정 된다. 따라서 오추정된 안개 영역이 주변 안개량과 비슷한 값을 가진 상태가 되도록 보정이 이루어져야 한다.
먼저 색 정규화된 영상에서 dark channel을 계산한 후, dark channel의 경계선을 검출한다. 그 후 그림 8과 같이 양선형 보간을 위한 mask를 적용한 후, 경계선이 검출된 위치부터 식 안개값 A보다 큰 경우 식 (13)을 사용하여 보간을 한다. 이는 안개가 옅은 영역의 안개가 짙은 영역에서 계산된 A보다 큰 경우, 해당 영역의 안개가 짙은 곳으로 오추정 된 것임으로 이를 주변의 안개 값으로 보간 하는 것이다.
그림 8.영상 보간 Fig 8. Image interpolation
식 (13)에서 I()는 dark channel의 픽셀이고 d(a)는 각 주변 값의 픽셀과 보간하는 픽셀의 거리이다. miny∈Ω(x)(minc∈r,g,bIc(y)는 DCP를 적용한 dark channel의 픽셀이다. 식 (13)을 통해 dark channel의 픽셀이 백색 검출 영역의 평균값보다 큰 영역은 주변의 안개 영역으로 보간이 된다. 보간 후 모폴로지의 팽창 연산을 통해 보간의 정확성을 높인다. 이를 통해 거리는 가깝지만 안개량이 높게 추정되어진 영역이 주변 안개량으로 보정됨으로써 이전 알고리즘 보다 정확한 안개량 추정이 가능하다.
Ⅳ. 실험 결과
그림 10의 왼쪽은 안개가 있는 날의 입력 영상, 중앙은 기존 알고리즘[6]으로 안개를 제거한 영상이고, 오른쪽은 제안하는 알고리즘으로 안개를 제거한 영상이다. 알고리즘 적용 전 안개 제거 영상에서는 영상에 따라 영상 전반의 색상이 푸른색 계열 또는 붉은 색 계열이 두드러지게 남아 있는 것을 확인 할 수 있다. 그러나 제안하는 알고리즘을 적용하였을 때 그림 10의 오른쪽 영상과 같이 안개 영상의 색상을 본래의 색을 유지하면서 안개가 제거된 결과를 확인 할 수 있다.
그림 10.기존 알고리즘과 제안하는 알고리즘 실험 결과 비교 (a) 안개 영상 (b) He의 안개 제거 결과 (c) 제안하는 알고리즘 적용 결과 Fig 10. Comparison of haze removal algorithm (a) Haze image (b) He’s result (c) Proposed algorithm result
그림 11은 안개량 보정 전후에 따른 전달량 계산 결과를 나타냈다. 그림 11의 (a)는 안개 영상이고 (b)는 기존 알고리즘으로 계산된 전달량 영상이다. 그림 11의 안개 영상 내에는 건물과 길, 차량 등이 밝은 명암을 갖는다. 해당 영역은 백색 사물에 의해 안개량이 오추정되어 정확한 전달량이 계산되지 않는다. 영상의 붉은 부분을 보면 백색 피사체로 인해 안개량에 상관없이 낮은 전달량을 갖는다. 그림 (c)와 같이 제안하는 알고리즘을 통해 안개량을 주변 안개량으로 보정 후 전달량을 계산하면 주변 전달량과 유사한 전달량의 계산이 가능하다. 영상의 가까운 거리에 위치한 영역의 안개값이 보정을 통해 보다 정확한 전달량 계산이 가능하다.
그림 11.전달량 비교 (a) 안개 영상 (b) 알고리즘 적용 전 전달량 (c) 알고리즘 적용 후 전달량 Fig 11. Transmission Comparison (a) Haze image (b) Before transmission apply algorithm (c) After transmission apply algorithm
그림 12는 안개값이 오추정 되는 영상에 대해 제안하는 알고리즘을 적용한 안개 제거 결과를 기존 알고리즘과 비교하여 나타내었다. 제안하는 알고리즘을 이용하여 안개를 제거 하게 되면 색 정규화를 통해 안개 영역을 포함한 백색 영역이 표준 백색으로 수렴하게 되고, 오추정된 안개 영역에 대해 과도한 안개 제거 연산을 피할 수 있게 된다. 따라서 해당 영역이 안개 제거 전후의 사물 색상의 변화가 크게 달라지지 않게 되어 가시성이 향상됨을 확인 할 수 있다.
그림 12.영상에 밝은 영역이 있을 경우 실험 결과 비교 (a) 안개 영상 (b) He의 안개 제거 결과 (c) 제안하는 알고리즘 적용 결과 Fig 12. Experiment result comparison when image has bright area (a) Haze image (b) He’s result (c) Proposed algorithm result
본 논문에서 안개 제거의 효율성을 확인하기 위하여 256×256크기의 영상을 사용하여, 색 정규화 알고리즘과 안개 오추정 영역 보간을 추가하여 우수한 안개 제거 결과를 도출하였다. 이 때 알고리즘의 복잡도는 평균적으로 기존 알고리즘 대비 연산량이 약 10% 정도 증가 하였다.
Ⅴ. 결 론
본 논문에서는 안개로 인하여 색 정보가 옅어진 영상에서 백색 검출 영역을 기반으로 한 색 정규화 방식을 적용 한 후, 오추정된 안개 영역을 보정하여 기존 알고리즘보다 개선된 방법을 제안하였다.
먼저 안개 영상에서 백색 영역을 검출 한 후, 이 영역을 통해 영상의 RGB 가중치를 계산하여 영상 전체에 색 정규화를 진행하였다. 그 후 DCP를 이용하여 안개량을 추정 하고, 영상의 edge 정보를 바탕으로 오추정된 안개 영역을 검출 한 후, 보간을 통한 영역 보정을 하였다. 보정된 안개 영상을 기반으로 전달량을 계산하여 색 왜곡 현상을 줄일 수 있는 개선된 안개 영상을 얻을 수 있다.
기존 알고리즘의 문제점인 석양, 황사 등으로 인해 처음 얻은 영상의 색상이 한쪽으로 치우칠 경우, 안개 영상에 흰색과 같이 RGB 전 채널이 높은 값을 가지고 있는 영역이 존재하는 경우, 안개 제거 후 색상이 왜곡 되는 현상을 감소시켜 향상된 결과를 얻었다. 이 결과를 통해 안개 제거 후 가시성 향상과 색을 기본으로 하는 영상처리 향상에 도움을 줄 수 있을 것이다.
향후 DCP알고리즘의 연산량 개선을 위해 알고리즘을 발전시킴으로써, 안개 영상뿐만 아니라 수중영상, 야간영상 등 가시성 향상을 기반으로 하는 다양한 분야에 적용시킬 수 있도록 연구를 진행 할 예정이다.
References
- S.Shwartz, E.Namer, and Y.Y. Schechner, "Blind haze separation," CVP, USA, Oct. 2006.
- S.G. Narasimhan and S. K. Nayar, "Chromatic framework for vision in bad weather," in Proc. CVPR,, SC, USA, June 2000.
- S. Narasimhan and S. Nayar, “Contrast restoration of weather degraded images,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol.25, no.6, June 2003. https://doi.org/10.1109/TPAMI.2003.1201821
- R. Fattal, “Single image dehazing,” ACM Transactions on Graphics, vol. 27, no. 3, pp. 1-9, August 2008. https://doi.org/10.1145/1360612.1360671
- R. Tan, “Visibility in bad weather from a single image,” IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, June 2008.
- Kaiming He, Jian Sun, and Xiaoou Tang "Single Image Haze Removal Using Dark Channel Prior ", Pattern Analysis and Machine Intelligence, IEEE Transactions on. vol 33 no.3, Dec 2011 IEEE
- JinHwan Kim, ChangSu Kim, “Hierarchical Haze Removal Using Dark Channel Prior”, vol 59, no 3, KIEE 2010
- Jinu Ahn, HyungTai Cha, “ Enhancement of Haze Removal using Transmission Rate Compensation”, JBE Vol. 18, No. 2, pp. 159-166, March 2013.