Hazy Particle Map-based Automated Fog Removal Method with Haziness Degree Evaluator Applied

Haziness Degree Evaluator를 적용한 Hazy Particle Map 기반 자동화 안개 제거 방법

Abstract

With the recent development of computer vision technology, image processing-based mechanical devices are being developed to realize autonomous driving. The camera-taken images of image processing-based machines are invisible due to scattering and absorption of light in foggy conditions. This lowers the object recognition rate and causes malfunction. The safety of the technology is very important because the malfunction of autonomous driving leads to human casualties. In order to increase the stability of the technology, it is necessary to apply an efficient haze removal algorithm to the camera. In the conventional haze removal method, since the haze removal operation is performed regardless of the haze concentration of the input image, excessive haze is removed and the quality of the resulting image is deteriorated. In this paper, we propose an automatic haze removal method that removes haze according to the haze density of the input image by applying Ngo's Haziness Degree Evaluator (HDE) to Kim's haze removal algorithm using Hazy Particle Map. The proposed haze removal method removes the haze according to the haze concentration of the input image, thereby preventing the quality degradation of the input image that does not require haze removal and solving the problem of excessive haze removal. The superiority of the proposed haze removal method is verified through qualitative and quantitative evaluation.

1. 서론

컴퓨터 비전 기술이 발전함에 따라 자율주행 구현을 위해 영상처리 기반 기계장치들이 개발되고 있다. 영상처리 기반 기계장치들의 카메라 촬영 영상은 안개가 낀 상황에서 빛의 산란과 흡수로 인해 가시성이 떨어진다. 이는 객체 인식률을 떨어뜨리고 오작동의 원인이 된다. 자율주행의 오작동은 인명 피해로 이어지므로 기술의 안정성이 매우 중요하다. 기술의 안정성을 높이기 위해 효율적인 안개 제거 알고리즘을 카메라에 적용하는 것이 필요하다. 따라서 안개 제거알고리즘 연구가 활발히 진행되고 있다[1-8]. 안개제거 알고리즘의 범주는 크게 다중 영상처리[1-2]와 단일 영상처리[3-8]로 나눌 수 있다. 다중 영상처리는 여러 각도의 입력 영상으로부터 안개 정보를 추출하여 안개 제거 성능이 우수하지만, 연산량이 많고 제한적인 환경에서 다중 영상을 얻기가 어렵다는 단점이 있다. 따라서 최근에는 단일 영상을 이용한 안개 제거 연구가 활발히 진행되고 있다.

He가 제안한 DCP(Dark Channel Prior)[3]는 안개가 없는 영역의 픽셀값들은 RGB 채널 중에서 적어도 한 채널은 명도가 낮다는 가정을 기반으로 대기광 및 빛의 전달 맵(Transmission map)을 추정하여 안개를 제거한다. 하지만 하늘 영역과 같이 모든 RGB 채널에 고휘도 밝은 픽셀이 있는 경우 위의 가정이 성립하지 않아 대기광 및 투과 맵 추정이 어려우므로 후광 아티팩트(Halo artifact)가 발생하는 문제가 있다. He는 이를 해결하기 위해 DCP에 소프트 매팅 (Soft matting)[9] 알고리즘을 도입하여 후광 아티팩트 발생을 줄였지만, DCP의 안개 제거 처리시간이 매우 증가하였다. Tarel은 시간이 많이 소요되는 소프트 매팅 방식 대신 표준 중앙값 필터를 사용하여 더 빠른 안개 제거 방법을 제안하였다[4]. 하지만 영상의 백색도 추정을 위한 중앙값 필터로 인해 불연속이 있는 모서리 또는 선 영역에 후광 아티팩트가 발생하였다. Nishino는 단일 안개 영상에서 장면 알베도와 깊이 사이의 종속성을 모델링하기 위해 팩토리얼 마르코프 랜덤 필드(Factorial markov random field)를 사용하는 베이지안 확률 기반 안개 제거 방법을 제안하였다[5]. 그러나 이는 사전에 깊이별로 수동 매개 변수화를 요구하는 시간이 많이 소요되는 방법이다. Zhu는 안개 영상에서 밝기와 채도 사이의 차이는 안개 농도와 상관관계가 있음을 발견하여 Color Attenuation Prior라는 선형 모델을 사용해 장면 깊이를 추정하였다[6]. 이는 선형 모델과 가이드 이미지 필터[10]를 사용하여 처리시간을 줄인 안개 제거 방법이다. 하지만 Zhu의 안개 제거 방법은 회색조 영상과 영상의 어두운 영역을 적절하게 처리하는데 실패했다. Kim은 mHMF(modified Hybrid Median Filter)를 통해 추정된 안개 입자 맵(hazy particle map, HPM)을 사용하여 안개를 제거하는 방법이다[7]. 알고리즘 복잡성이 위에서 설명한 방법들보다 간단하고 처리시간이 제일 빠른 알고리즘이다. 하지만 Kim의 안개 제거 방법은 입력 영상의 안개가 짙거나 얕은 부분을 고려하지 않고 일괄적으로 입력영상에서 HPM을 빼주어 안개를 제거하므로 과도하게 안개가 제거되는 경향이 있다.

이러한 기존의 안개 제거 알고리즘들은 안개가 없는 입력 영상에 대해서도 불필요한 안개 제거 연산을 거쳐 영상의 품질을 떨어뜨린다. 이러한 문제를 해결하기 위해서는 입력의 안개 밀도에 따라 안개를 제거하는 자동화 안개 제거 기술이 필요하다. 따라서, 본 논문에서는 효율적인 안개 제거를 위해 안개 밀도 추정 알고리즘인 Ngo의 HDE(Haziness Degree Evaluator)[11]를 안개 제거 처리 속도가 가장 빠른 Kim의 안개 제거 방법에 적용하여 입력 영상의 안개밀도에 따라서 안개를 제거하는 자동화 안개 제거 방법을 제안한다. 입력 영상의 안개 밀도 정도에 따라서 안개 제거량을 조절하므로 안개 제거가 불필요한 입력 영상의 품질 저하를 막고, 입력 영상의 안개밀도와 상관없이 과도하게 안개가 제거되는 문제를 해결한다.

본 논문의 구성은 2장에서는 관련 연구, 제안하는 안개 제거 방법 소개 및 정성적, 정량적 비교 평가하 고, 마지막으로 3장에서 결론을 서술한다.

2. 관련 연구 및 제안하는 안개 제거 시스템

본 논문에서는 HDE를 적용한 HPM 기반 단일 영상 자동화 안개 제거 방법을 제안하였다. 2장에서는제안하는 안개 제거 방법 소개 이전에 필요한 기초 이론들인 Atmospheric Scattering Model, HDE, HPM 등 관련 연구들을 먼저 소개한다. 이후 기존 알고리즘의 문제점을 소개하고, 이를 해결하기 위해 제안하는 안개 제거 방법을 서술한다.

2.1 Atmospheric Scattering Model

Atmospheric Scattering Model[12]은 안개 이미지의 형성을 설명하는데 사용되고 있고, 수식(1), (2) 로 표현한다. 수식(1), (2)에서 (x,y)는 영상의 픽셀위치를 의미한다. 수식(1)에서 I는 안개 있는 영상, J는 안개 제거된 영상, A는 대기강도, t는 안개 전달량을 의미한다. 수식(2)를 통해 안개 전달량을 구할 수 있으며 β는 산란 계수, d는 영상의 깊이를 의미한다. 입력 안개 영상으로부터 안개 제거된 영상 J을 얻기 위해서 안개 전달량인 t와 대기강도 A를 추정하여 안개를 제거한다.

\(I ( x , y ) = J ( x , y ) t ( x , y ) + A ( 1 - t ( x , y ) )\)       (1)

\(t ( x , y ) = e ^ { - \beta d ( x , y ) }\)        (2)

2.2 HDE

Ngo가 제안한 HDE는 단일 영상의 안개 밀도를 추정하는 알고리즘이다. Ngo는 9가지의 안개 관련 특징들을 조사하고 상관관계 및 계산 분석을 통해 효율적인 3가지 안개 특징인 dark channel(J^dark), saturation×value(SV), sharpness(σ_J²)을 선택하였다. 안개와 3가지 안개 특징 간의 비례 관계에 따라 단일 이미지에서 헤이즈 밀도를 예측하기 위해 최적화된 목적함수를 공식화하였다. 수식(3)은 3가지 안개 특징 식을 이용하여 도출한 목적함수 수식이다.

\(O ( t ) = \frac { S V ( t ) \sigma _ { J } ( t ) } { J ^ { \text { dark } } ( t ) } + k R ( t ) = \frac { I _ { m c } \sigma _ { I } } { t ( A t - A + I _ { m \Omega } ) } + \frac { k } { t }\)       (3)

여기서 \(I_{m c}=\max _{c \in R, G, B} I^c-\min _{c \in R, G, B} I^c\), \(I_{m \Omega}=\min _{y \in \Omega}\left(\min _{c \in R, G, B} I^c\right)\)이며, Ω은 로컬 패치를 의미한다. SV(J), σ_J는 안개 밀도에 반비례하고, J^dark는 비례 관계이다. 따라서 목적함수는 수식(3)과 같이 도출된다. R(t)=1/t과 k는 각각 정규화 항과 정규화 계수이다. 수식(3)에서 1차 도함수를 0으로 설정하고, 2차 도함수가 음수임을 가정하면 최적의 안개 전달량이 생성되며 이를 \(\hat t\)로 나타낸다. 이를 이용하여 안개 밀도를 의미하는 HDE 값을 수식(4)을 통해 계산한다.

\(H D E = \frac { 1 } { | \Psi | } \sum _ { \forall x \in \Psi } [ 1 - \hat { t } ( x ) ]\)       (4)

여기서 ψ는 전체 영상 도메인을 나타내고 ∣ψ∣는 영상의 총 픽셀 수를 의미한다. HDE 값은 0～1의범위를 가지고, 값이 클수록 안개 밀도가 높음을 나타낸다. Ngo의 HDE는 안개 유무에 따른 이미지 분류 실험에서 96%의 정확도의 우수성을 가지고 있다. HDE는 제안하는 자동화 안개 제거 방법의 안개 밀도 가중치(Haze Density Weight)를 구하기 위해 사용한다.

2.3 HPM

Kim이 제안한 안개 제거 방법은 mHMF를 사용하여 영상의 안개 분포를 나타내는 HPM을 추정하고, 이를 이용하여 안개를 제거한다. Fig. 1은 Kim이 제안한 안개 제거 방법의 블록다이어그램이다. 이는 화이트 밸런스, HPM 추정, 장면 광도 복구 3가지 단계로 구성된다. 이상적인 환경에서 화이트 밸런스가 올바르게 수행되면 안개는 완전히 흰색으로 보인다[4]. 이는 지구 대기광 A를 1로 설정할 수 있음을 의미한다. 따라서, 수식(1)을 수식(5)과 같이 표현한다.

Fig. 1. Block diagram of the haze removal using Hazy Particle Maps.

\(\hat { I } ( x , y ) = w b ( I ( x , y ) ) = J ( x , y ) t ( x , y ) + 1 - t ( x , y )\)       (5)

\(H ( x , y ) = 1 - t ( x , y )\)       (6)

\(\hat { H } ( x , y ) = k _ { h } \operatorname { mhmf } ( \operatorname { min } _ { B G B } ( \hat { I } ( x , y ) )\)       (7)

\(J ( x , y ) = \frac { I ( x , y ) - \hat { H } ( x , y ) } { 1 - \hat { H } ( x , y ) }\)      (8)

여기서 \(\hat I\)는 화이트 밸런스 이미지이며, wb(∙)는화이트 밸런스 처리를 나타내는 연산자이다. 이는 참고문헌[4]에 설명되어 있다. Kim은 수식(7)과 같이 안개 영상의 안개 분포를 나타내는 HPM을 의미하는 새로운 변수 \(\hat H\)를 정의했다. \(\hat H\)는 H의 추정값으로 사용되며, k_h는 0≤k_h≤1범위를 가지는 HPM의 사용자 정의 가중치, mhmf(∙)는 mHMF의 연산자, min_RGB(∙)는 각 픽셀의 최소값을 선택하는 연산자를 의미한다. Kim의 경우 k_h=0.9로 사용하였다. 수식 (8)과 같이 입력된 안개 영상에서 안개 분포를 나타내는 HPM을 빼줌으로써 안개 제거된 영상을 구한다.

2.3 제안하는 안개 제거 시스템

Fig. 2는 제안하는 안개 제거 방법의 블록다이어 그램이다. 제안하는 안개 제거 방법은 Hazy Density Estimation 단계에서 안개 밀도 추정 알고리즘인 HDE를 사용하여 입력 영상의 안개 밀도 값을 구하고, Piece-wise linear weight 단계에서 안개 밀도에 따른 Hazy density weight를 구하게 된다. 이를 HPM에 적용하여 입력 영상의 안개 밀도에 따라서 안개 제거량을 조절하는 자동 안개 제거 시스템을 구축한다. 안개 제거 알고리즘은 Kim의 안개 제거방법을 사용한다.

\(Haze \ Density \ Weight= \left\{ \begin{array} { c c } { 0 , } & { H D E \leq 0.8811 } \\ { \frac { 1 } { \Gamma _ { 2 } - \Gamma _ { 1 } } ( H D E - \Gamma _ { 1 } ) , } & { 0.8811 \leq H D E \leq 0.9344 } \\ { 1 , } & { H D E \geq 0.9344 } \end{array} \right.\)       (9)

Fig. 2. Block diagram of the proposed fog removal method.

Fig. 3과 수식(9)은 Piece-wise linear weight 단계에서 HDE 값에 따른 3가지 구간에서의 Haze Density Weight 값을 의미한다. 수식(9)에서 Γ₁, Γ₂는 사용자 정의 임계값이며, 제안된 방법에서는 Ngo et al.에 의해 결정된 임계값을 사용하였다.구간 ①은 HDE≤0.8811 인 경우로 안개가 없는 영상으로 간주하여 입력 영상이 불필요한 안개 제거 연산을 거치지 않고 그대로 출력될 수 있도록 Haze Density Weight 값을 0으로 설정한다. 구간 ②는 0.8811≤HDE≤0.9344인 경우로 얕은 안개가 있는 것으로 간주하여 Haze Density Weight 값을 수식(9)과 같이 안개 밀도에 선형적으로 비례하도록 설정하여 적절하게 안개를 제거하도록 한다. 구간 ③은 HDE≥0.9344인 경우로 안개 밀도가 높아 안개 제거를 최대한 해야 하는 경우로 Haze Density Weight 값을 1로 한다.

Fig. 3. Piece-wise linear weight for HDE.

\(\hat { H } ( x , y ) = \text { Haze Density Weight } \times k _ { h } m h m f ( \operatorname { min } _ { R G B } ( \hat { I } ( x , y ) )\)       (10)

수식(10)은 기존의 HPM에 Haze Density Weight 를 적용한 수식이다. 여기서 k_h는 HPM의 사용자 정의 가중치이며 Kim이 결정한 k_h=0.9를 사용한다. 이를 수식(8)에 적용함으로써 입력 영상의 안개 밀도에 따라서 안개 제거된 결과 영상을 얻는다.

안개 제거된 영상은 일반적으로 복원 과정의 산술연산을 거치면서 오버플로 및 언더플로 발생으로 인해 동적 범위가 감소하는 경향이 있다. 따라서, 마지막 후처리 단계는 Cho가 제안한 Adaptive Tone Remapping[13]을 활용하여 복원된 장면 광도 J의 좁아진 동적 범위를 개선한다. 이 과정에서 휘도 향상과 색상 강조를 수행하며, 이는 수식(11), (12)로 정의되어 있다.

\(E L ( x , y ) = L ( x , y ) + G _ { L } ( x , y ) W _ { L } ( x , y )\)       (11)

\(E C ( x , y ) = C ( x , y ) + G _ { C } ( x , y ) W _ { C } ( x , y ) + 0.5\)       (12)

EL은 확장된 휘도, L은 입력 휘도, G_L은 휘도 이득, W_L은 적응 휘도 가중치, EC는 향상된 색상, C는 입력색상, G_C는 색상 이득, W_C는 적응 색상 가중치이다. 상수 0.5는 정규화된 범위로 변환하기 위한 오프셋을 나타낸다. 안개 제거를 하지 않은 영상의 경우 후처리 단계를 통과할 필요가 없으므로 후처리 단계에서도 Haze Density Weight를 적용하여 효과적으로 수행한다. W_L 대신 W_L × Haze Density Weight, W_C 대신 W_C × Haze Density Weight로 대체하여 구현한다.

2.4 평가

모든 실험은 Core i5-7500 CPU(3.4GHz), 32GB RAM의 환경에서 MATLAB R2019a로 구현하였다. 제안한 안개 제거 방법과 기존의 Kim의 안개 제거방법의 정성적, 정량적 수치를 비교하여 평가한다. 정성적 평가를 위한 Fig. 4는 왼쪽부터 입력 영상, 제안한 안개 제거 방법, Kim이 제안한 안개 제거 방법의 결과 영상이고, 평가 영상은 첫 번째 행부터 아래쪽으로 500IMG[14], O-HAZE[15], IVC[16] 실제데이터 집합으로 구성하였다. 또한, 평가 영상은 Hazy Density Weight 3가지 구간별로 구성하였다. 첫 번째 행 영상은 안개 제거가 불필요한 경우

Fig. 4. Result image for qualitative evaluation. (a) Input image, (b) proposed method, and (c) Kim et al. [8].

(Haze Density Weight = 0)의 영상이다. Kim이 제안한 안개 제거 방법의 경우 불필요한 안개 제거 연산을 거치게 되므로 결과 영상에 색상 변형 및 품질 저하가 발생한다. 제안된 안개 제거 방법은 입력 영상이 품질 저하 없이 그대로 출력이 나온 것을 확인할 수 있다. 두 번째 행 영상은 (Haze Density Weight = 0.49)의 값을 가지는 영상이다. Kim et al.의 방법은 안개를 잘 제거하지만, 안개 제거를 과도하게 하므로 색상 변형이 많이 발생한다. 반면, 제안된 안개 제거방법의 경우 입력 영상의 안개 밀도에 따라서 안개를 제거하기 때문에, 색상 변형이 적은 것을 확인할 수 있다. 세 번째 행 영상의 경우 안개가 짙어 안개 제거를 최대한 해야 하는 경우 (Haze Density Weight =1)로, Kim et al.의 방법과 동일하게 안개를 제거한다.

정량적 수치평가 기준은 안개 제거 영상 품질평가에 쓰이는 MSE(Mean Square Error), SSIM(Struc- tural SIMilarity Index)[17], FSIMc(Feature SIMilarity Index extended to color image)[18], TMQI(Tone Mapped Image Quality Index)[19]를 사용하였다. MSE는 원본 및 결과 영상 사이의 픽셀값의 차이를 측정하는 것으로 수치가 낮을수록 좋다. SSIM, TMQI, FSIMc는 각각 구조적 유사성, 영상품질 척도 및 색도에 대한 영상 평가 수치이며 높을수록 좋다. 또한, 수치평가 항목 모두 0～1 사이의 값을 가진다. Table 1은 Kim et al.의 안개 제거 방법과 제안한 안개 제거 방법의 dataset 별 수치평가 비교표이다. dataset은 O-HAZY 90장, I-HAZY[20] 60장, D-HAZY [21] 46 장을 사용하였다. 굵은 숫자는 각 수치평가 항목에서 최고의 수치를 의미한다.

Table 1. Quantitative Numerical Evaluation Comparison.

본 논문에서 제안한 방법은 안개 밀도에 따라 적절하게 안개를 제거하므로 기존의 Kim et al.의 안개제거 방법보다 대부분의 수치평가 항목에서 우수한 수치를 보인다. 그리고 Hazefree 영상이 불필요한 안개 제거 연산을 거치지 않고 통과되므로 Hazefree 영상에 대한 수치평가 수치가 상대적으로 우수한 것을 확인할 수 있다. 또한, 안개 밀도에 따라서 안개를 제거하기 때문에, 과도하게 안개가 제거되어 색상 변형이 발생하는 것을 줄임으로써, Hazy 영상에 대한 수치평가 항목도 기존 kim et al.의 안개 제거 방법과 비교하여 수치가 대부분 우수한 것을 확인할 수 있다.

3. 결론

본 논문에서 제안한 자동 안개 제거 방법은 안개 밀도 추정 알고리즘인 HDE를 Kim et al. 안개 제거 알고리즘의 HPM에 적용하여 입력 영상의 안개 밀도에 따라 안개를 제거하는 방법이다. 입력 영상의 안개 밀도에 따라서 안개를 제거하므로 과도하게 안개를 제거하여 색상 변형이 발생하는 것을 줄이며, Hazefree 영상에 대해서는 불필요한 연산을 거치지 않고 그대로 통과되도록 하여 품질 저하를 최소화한다. 이는 정성적 평가에서 확인할 수 있다. 또한, 정량적 평가에서도 위와 같은 이유로 제안한 방법은 기존의 Kim et al.의 안개 제거 방법보다 I-HAZE, O- HAZE, D-HAZE dataset에 대한 대부분의 수치평가 항목에서 우수한 수치를 보인다.