Robust Real-time Night Visibility Enhancement for Environmental Change using Haze Removal Method

안개제거 방법을 이용한 환경변화에 강인한 실시간 야간 가시성 향상

Abstract

In this paper, we propose improved night visibility enhancement algorithm based on haze removal method. The proposed method uses new haze removal method in place of the conventional methods. Our night visibility enhancement method is very good and faster than traditional methods. This method also uses additionally local histogram equalization for sharpening the enhanced image. Our method can be applied to any application that uses a visible light camera, and it is appropriate to apply a black box, vehicle camera, and cell phone camera, since it is possible that real-time processing.

1. 서 론

블랙박스, 차량용 카메라, 감시 카메라 등의 카메라 응용 시스템들은 일반적인 환경부터 야간 환경 등 다양한 환경에서 사용자에게 좋은 화질을 보장할 수 있어야 한다. 하지만 일반적으로 가시광 카메라는 야간 환경에서 좋은 화질의 영상을 보장하지 못한다. 그렇기 때문에 이러한 문제를 해결하기 위하여 현재까지 여러 가지 많은 방식의 야간 영상 개선 방법이 제안되었다. 카메라의 입력 야간영상에 대해 가시성 향상을 위한 화질개선에 대한 연구는 밝기 변환곡선을 사용하는 방식, 필터처리에 의한 반사성분을 강조하는 방식, 반전영상에 대해 안개제거 처리를 하는 방식 등 여러 가지 방식이 제안되어왔다. Drago 등 [1]은 감마변환과 같이 로그 변환곡선을 사용하여 어두운 영역의 밝기를 확장하는 방법을 제안하였다. 이 방법은 어두운 영역에 대한 밝기값의 다이나믹 레인지를 밝은 영역의 구조를 보존 하면서 확장시키는 방법으로 감마 변환과 유사하나 어두운 영역에 대해서 확장성이 매우 좋다. 하지만 과도한 밝기 변화가 나타나고, 사용되는 파라미터에 따라 개선효과가 매우 차이가 나기도 하며, 어둡지 않은 영상의 경우는 출력영상의 명암대비가 낮아지는 화질열화가 나타난다. 또한 과도한 밝기 변화로 인한 컬러 노이즈가 나타나 화질이 저하된 영상을 출력하기도 한다. Cai 등 [2]은 퍼지 기법을 이용하여 밝기변환 곡선을 구하여 HSI 색좌표계에서 I 성분에 대해 밝기변환을 수행한 후 색 채도를 높이는 방법을 제시하였는데, 어두운 영상에 대한 개선효과가 크지 않다. Cheng 등 [3]은 사람의 시각특성을 고려한 평균밝기에 적응적인 밝기변환 곡선을 구하고 휘도 신호에 밝기변환 곡선을 적용하여 어두운 영상영역의 명암대비를 확장하는 방법을 제시하였는데, 밝기 변환된 영상에 심한 왜곡이 발생하고, 매우 어둡지 않은 영상 영역의 경우는 출력영상의 명암대비가 매우 낮아지는 화질 열화가 나타난다. Dong 등의 방법[4]는 야간 영상을 반전시킨 영상이 안개영상과 유사한 밝기분포를 갖는다는 점을 기반으로 개발된 방법이다. 이 방법은 카메라로부터 입력된 RGB 영상을 각각 반전시킨 후, 각 채널별로 dark channel prior 방법[5] 기반의 de-hazing 알고리즘에 적용하고 다시 반전시켜서 개선된 영상을 얻는다. 이 방법은 우수한 가시성 향상 성능을 보이지만 기존의 안개제거 방법에 대한 분석관련 논문 [6] 등에서 언급한바와 같이 매팅에 대한 연산량이 매우 많아 실시간 처리가 어려운 문제가 있다. Dong 등은 이러한 연산 속도 문제를 해결하기 위하여 동영상 처리에 대해서 동영상 프레임간의 시간상 상관관계를 이용하여 주요 파라미터 계산에 대해서 연산을 줄여 연산의 가속화를 시도하였고, 이를 통해 기본 처리보다 4배 정도 빠른 연산 결과를 얻었다. 하지만 이는 정지 영상에는 적용이 불가하고, 동영상에 대한 처리속도도 실시간에 충분한 결과를 보이지 못한다. Dong 등이 제안한 반전된 영상에 안개 제거 방법을 적용한 야간 영상 개선 방법은 연산속도는 느리지만 매우 안정적이고 효과적인 개선효과를 보인다. 이러한 문제점을 해결하기 위하여 본 논문에서는 Dong의 방법보다 개선된 안개제거 기반의 야간 영상 개선 방법을 제안한다. 제안하는 방법은 Dong이 사용한 He 등이 제안한 dark channel prior 방법[5] 대신 연산속도가 빠른 개선된 안개제거 방법을 기반으로 야간영상을 개선한다. 또한 개선된 영상의 선명도 향상을 위하여 지역적 히스토그램 평활화 방법을 사용한다. 제안하는 방법은 기존의 방법들에 비해서 안정적이고 효과적으로 영상을 개선하고 연산속도도 빨라 영상 개선이 필요한 실시간 어플리케이션에 적용가능하다.

 

2. 제안하는 야간영상 개선 알고리즘

제안하는 야간영상 개선 방법은 Dong이 제안한 방법에서 보여 진 반전된 휘도신호가 안개 낀 영상과 유사한 밝기 분포를 갖는다는 특징을 이용하여 야간 영상을 개선한다. Dong은 야간영상을 개선하기 위하여 안개영상과 유사한 반전된 야간영상에 대해서 He가 제안한 Dark Channel Prior 기반의 안개제거 방법을 이용한다. 하지만 He의 안개제거 방법은 안개제거 효과가 뛰어난 대신 매팅 연산으로 인해 매우 느린 단점이 있다. Dong은 이러한 문제점을 해결하기 위하여 동영상의 프레임간의 관계성을 이용하여 중요 파라미터를 구하는 시간을 줄였고, 이를 통해서 전체 처리시간을 4배정도 향상 시켰다. 그럼에도 불구하고 완전한 실시간 연산에 어려움이 있고, 정지영상에는 적용할 수 없다는 단점이 존재한다. 본 논문에서는 이와 같은 문제점을 해결하기 위하여 개선된 안개제거 방법 기반의 야간영상 개선 방법을 제안한다. 제안하는 야간영상 개선 방법은 실시간 연산이 가능한 안개제거 방법을 기반으로 하여 실시간으로 야간영상을 개선이 가능하고, 개선효과가 뛰어나며 지역적 히스토그램 평활화 방법을 통해서 영상의 선명도를 향상시킨다.

Fig. 1은 반전된 야간영상과 안개영상의 유사성을 보인다. Fig. 1의 (a)와 (b)는 입력된 야간영상의 휘도 영상, (c)와 (d)는 (a)와 (b)의 반전된 영상, (e)와 (f)는 안개 영상의 휘도영상이다. 반전된 야간영상과 안개영상의 각 휘도영상을 비교해보면 서로 유사한 것을 확인할 수 있다. 이러한 두 영상의 유사성을 이용하면 안개제거 방법을 기반으로 야간영상 개선이 가능하다.

Fig. 1.Comparison similarity between inverted night image and haze image. (a) night image 1, (b) night image 2, (c) inverted image of (a), (d) inverted image of (b), (e) haze image 1, (f) haze image 2.

Dong은 야간영상을 개선하기 위하여 RGB 색좌표계를 사용하였지만, 제안하는 방법은 YCbCr 색좌표계를 사용한다. YCbCr 색좌표계에서 휘도신호인 Y신호에 대해서 안개제거 기반의 야간영상 개선 방법을 적용하고, 개선된 비율을 이용하여 Cb, Cr 색차신호를 개선하며 지역적 히스토그램 평활화를 적용하여 개선된 영상을 얻는다. 반전된 휘도신호는 식 (1)과 같이 최대 밝기 값인 255에서 입력 휘도 신호를 뺀 값으로 구할 수 있다.

기존의 안개모델을 이용하면 안개영상과 유사한 반전된 야간영상은 식(2)과 같이 표현할 수 있다.

여기서 는 카메라를 통해 획득된 야간 영상의 x번째 화소의 휘도성분을 반전시킨 밝기값이고, 는 밝기가 개선된 깨끗한 영상의 x번째 화소값을 반전시킨 밝기값이며, I∞ 는 반전 휘도신호에서 가장 밝은 화소값이며, t(x)는 전달률으로써 영상의 가시성 정도를 나타낸다. 따라서 야간영상의 가시성 향상은 카메라로부터 얻은 입력 휘도신호 Idark(x)로부터 I∞와 t(x)을 구하고 이를 이용하여 최종적으로 가시성이 향상된 Iorg(x)을 복원하는 것이다. 식 (1)로 부터 전달률 t(x)와 복원 화소의 휘도신호의 밝기값 Iorg(x)은 각각 식 (3)과 식 (4)로 구할 수 있다.

일반적으로 전달률 t(x)는 거리에 따라 지수함수 적으로 감소한다. 따라서 안개가 일정하게 낀 경우 하늘과 같이 거리가 먼 곳은 전달률이 0에 가깜게 되어 입력영상 Ih(x)≅ I∞가 되고, 매우 가까운 곳의 화소는 전달률이 1에 근접하므로 입력영상 Ih(x)≅I(x)이 된다. 따라서 영상에서 밝은 화소는 거리가 멀어 안개가 많이 낀 경우로 가정할 수 있고 전달률이 작다고 가정할 수 있다.

본 논문에서는 I∞ 를 입력 휘도신호에서 표현 가능한 최대 밝기값으로 설정하고, 전달률은 식 (5)로 가정한다.

식 (5)의 전달률의 추정치 를 식 (4)에 대입하면 식 (6)와 같은 가시성이 향상된 휘도신호의 추정치 을 입력 야간영상의 반전된 휘도신호의 화소값 에 대한 2차방정식의 해를 계산하여 구할 수 있다.

여기서 파라미터 α는 1에 가까울수록 어두운 영상의 밝기개선 효과를 높여준다. 제안하는 방법은 Dong의 방법과 접근방법은 유사하지만 매팅 연산이 없어 처리에 부담이 없고 실시간 수행이 가능하다.

Fig. 2는 제안하는 안개제거 기반의 야간영상 개선 방법의 처리 과정을 보인다. Fig. 2의 (a)는 입력영상의 휘도 신호이고, (b)는 휘도신호를 반전시킨 영상으로 안개영상과 유사함을 확인할 수 있다. (c)는 제안하는 새로운 안개제거 알고리즘을 이용하여 반전된 휘도신호를 개선시킨 영상이다. 안개제거 방법을 통해 개선된 영상을 다시 반전 시키면 입력 영상에 비해 가시성이 매우 개선된 것을 확인 할 수 있다. 또한 본 논문에서 제안하는 방법은 영상의 선명도를 향상시키기 위하여 지역적 히스토그램 평활화 방법을 추가적으로 수행한다.

Fig. 2.The procedure of proposed night visibility enhancement method. (a) input Y image, (b) inverted Y image, (c) enhanced inverted Y image, (d) enhanced Y image.

Fig. 3은 지역적 히스토그램 평활화를 사용하는 선명도 향상 결과를 보인다. 본 논문에서는 지역적 히스토그램 평활화 방법으로 CLAHE(Contrast Limit Adatpative Histogram Equalization)을 사용하였다 [6]. Fig. 3의 (a)는 입력 컬러 영상이고, (b)는 입력 영상에 대해서 CLAHE만 적용시킨 결과를 보여준다. 야간영상에 대해서 CLAHE만 적용할 경우에는 효과적인 개선 효과를 얻을 수 없는 것을 볼 수 있다. (c)는 제안하는 안개제거 방법 기반의 야간 영상 개선 방법을 통해 개선된 야간 영상이다. 어두운 영상에 대한 가시성 효과가 매우 효과적임을 확인할 수 있다. 본 논문에서는 CLAHE를 추가적으로 적용하여 (d)와 같이 더욱 선명한 개선된 영상을 얻는다.

Fig. 3.Comparison result of between CLAHE using or not. (a) input Y image, (b) CLAHE-ed image, (c) Brightness enhancement Y image, (d) Brightness and sharpness enhancement Y image with CLAHE method.

제안하는 야간영상 개선방법은 YCbCr 색좌표계를 사용하기 때문에 휘도 영상의 개선 시에 기존의 색차신호를 그대로 사용할 경우 색정보가 부족해지는 현상이 발생한다. 밝기값이 증가함에 따른 색차신호의 증폭을 수행하지 않을 경우 색차성분의 값이 맞지 않아 Fig. 4의 (b)와 같이 제대로 된 색차정보를 보장 할 수 없다. 이를 해결하기 위한 휘도 영상 개선에 따른 색차신호의 채도 향상을 시켜줘야 한다. 본 논문에서는 채도를 향상시키기 위하여 식 (7)과 같이 야간영상의 입력 휘도신호와 밝기개선이 된 휘도신호, 입력 색차신호를 이용하여 채도가 향상된 색차신호를 출력한다. 향상된 색차신호를 얻는 방법으로 입력된 야간 영상과 개선된 야간영상을 이용하여 휘도 신호의 변화율을 구하고, 구해진 변화율을 이용하여 색차신호를 밝기값 증가에 맞게 증폭시킨다.

Fig. 4.The example of color component enhancement. (a) Input color image, (b) Enhanced image using original color component, (c) Enhanced image using enhanced color component.

이때 k는 1보다 큰 사용자 입력 신호로써 1일 경우 입력과 동일한 채도를 유지하는 것이고, 1보다 클 경우 출력영상의 채도가 입력영상의 채도보다 더 높게 된다. 사용자의 k 파라미터 조절을 통해서 좀 더 향상된 색차 신호를 필요에 의해 얻을 수 있다.

제안하는 방법은 개선 정도 파라미터 α 값에 따라 영상 개선 정도가 달라진다. α 값의 조절을 통해 사용자가 영상 개선 정도를 조절할 수 있다. Fig. 5는 α 값에 따른 영상 개선 정도를 보인다. α 값이 1에 가까울수록 개선정도가 커짐을 볼 수 있다.

Fig. 5.Night visibility enhancement curve due to parameter α.

본 논문에서는 평균 밝기 값에 따른 α 값을 적응적으로 조절함으로써 다양한 환경에 강인한 야간영상 방법을 제안한다. 평균 밝기값이 전체적으로 밝은영상은 전체적인 영상개선정도가 크지 않아야 원래의 영상형태를 유지할 수 있고, 평균밝기가 어두운 영상은 개선정도가 커야 영상의 가시성을 향상시킬 수 있다. 이를 위하여 평균 밝기 값에 따른 α 값의 선택방법은 식 (8)과 같다.

입력영상의 평균 밝기값에 따라서 평균 밝기값이 밝을수록 α 값이 0에 가까워지고 영상 개선정도가 적어져 밝기가 밝아 개선 필요가 적은 영상은 원본 형태를 유지할 수 있다. 반대로 평균 밝기가 낮은 어두운 영상에 대해서는 α 값이 1에 가까워져 강한 개선 효과를 얻을 수 있다. Fig. 6은 동일한 영상에 다른 α 값을 적용한 결과들을 보인다. 제안하는 방법은 밝기변환 곡선을 적용하는 과정에 대해서 룩업테이블로 작성하여 빠르게 연산할 수 있다.

Fig. 6.The result of night visibility enhancement due to parameter α. (a) α= 0.2, (b) α= 0.4, (c) α= 0.6, (d) α= 0.8

 

3. 실험 결과 및 고찰

제안하는 방법의 성능평가를 위하여 기존 방법 4가지와 제안하는 방법에 대해서 객관적 평가에 대해서 비교 분석한다. 객관적 평가를 위하여 연산의 수행속도와 야간영상의 개선정도를 파악하는 Cheng 의 논문에서 사용된 CAF(Comprehensive optimal quality Assessment Function)지수에 대해서 실험결과를 분석한다[3]. CAF는 영상정보 엔트로피(Information Entropy : IE), 평균 밝기값(Average Gray : AG), 평균 명암대비(Average Contrast : AC), 정규화 밝기 거리(Normalized Gray Distance : NGD)를 이용한 정량적평가로 식(9)와 같다. 영상정보 엔트로피는 영상의 세부 정보를 얼마나 잘 유지하였는지, 평균 명암대비는 명암대비 향상이 얼마나 잘 되었는지, 정규화 밝기 거리는 개선된 평균 밝기값이 영상의 중간 밝기값을 유지하는지를 나타낸다. CAF가 높은 값일수록 영상이 많이 개선되었음을 나타낸다. 수행속도는 각 방법들에 대하여 Matlab으로 알고리즘을 구현하여 측정하였다. Table 1은 수행속도와 CAF 값을 Fig. 7-10에 대해서 각각 구한 값과 평균 값을 보인다. 수행속도 측면에서는 Cheng의 JND 기반 방법이 가장 빠른 것으로 나타났다. 제안하는 방법은 CLAHE와 Drago의 방법에 이어 4번째로 측정되었고 이는 CLAHE를 함께 사용하는 연산이 많은 연산을 차지함을 알 수 있다. CLAHE 방법을 제외한 연산 시간을 제외하면 제안하는 방법은 가장 빠름을 알 수 있다. 반면에 Dong의 방법은 기존 및 제안 방법들보다 10배 이상의 느린 연산속도를 보였다. CAF 측면에서는 제안하는 방법은 기존의 방법들에 비해 가장 높은 값을 보였다. 제안하는 방법은 야간, 역광 및 주간 영상 전체에서 CAF 값이 가장 높거나 상위값으로 측정되었다.

Table 1.Quantitative measurement

Fig. 7.The result of night visibility enhancement of various method for nighttime image 1. (a) Original image, (b) CLAHE method, (c) Cheng's method, (d) Drago's method, (e) Dong's method, (f) Proposed method.

Fig. 8.The result of night visibility enhancement of various method for nighttime image 2. (a) Original image, (b) CLAHE method, (c) Cheng's method, (d) Drago's method, (e) Dong's method, (f) Proposed method.

Fig. 9.The result of night visibility enhancement of various method for backlight image. (a) Original image, (b) CLAHE method, (c) Cheng's method, (d) Drago's method, (e) Dong's method, (f) Proposed method.

Fig. 10.The result of night visibility enhancement of various method for daytime image. (a) Original image, (b) CLAHE method, (c) Cheng's method, (d) Drago's method, (e) Dong's method, (f) Proposed method.

추가적으로 결과영상의 비교 분석을 통하여 객관적 평가에 대해 보충 설명한다. Fig. 7과 8은 야간 영상에 대해서 가시성을 개선시킨 결과 영상들을 보인다. CLAHE와 Cheng의 방법은 여전히 영상이 어두워 가시성 개선 결과가 크지 않은 결과를 보인다. Drago의 방법은 가시성이 상당히 개선된 결과를 보이지만 과도한 개선으로 인하여 심각한 컬러 노이즈가 나타나고 영상의 명암대비가 떨어져 영상이 선명하지 않은 단점이 나타났다. 이러한 단점으로 인하여 안정성을 요구하는 응용분야에 쉽게 적용하기는 힘들 것으로 보인다. Dong의 방법은 다른 영상에 비해서 안정적으로 영상을 개선하는 결과를 보인다. 제안하는 방법은 Dong의 방법에 비해 보다 밝고 선명한 결과를 보였다. Fig. 9는 역광영상에 대한 가시성 개선 결과를 보인다. 야간영상에서의 결과에 비해서 CLAHE와 Cheng의 방법의 개선 결과는 좀 더 밝아진 모습을 보였지만 여전히 충분하지 못한 개선정도를 보였다. Drago와 Dong의 방법은 충분한 영상 개선 효과를 보였지만 영상의 명암대비의 과도한 효과가 나타나 영상이 너무 밝아지고 뿌옇게 보이는 단점이 나타났다. 반면 제안하는 방법은 야간과 마찬가지로 적당한 개선 효과 및 영상의 선명도 또한 다른 방법에 비해 좋은 결과를 보였다. Fig. 10의 주간 영상에 대한 개선 결과에서도 제안하는 방법이 다른 방법들에 비해서 가장 원본 영상의 형태를 유지하면서 안정적인 개선 효과 결과를 보였다. 가장 높은 CAF결과를 보인 제안방법의 결과 영상이 밝기 개선 정도나 선명도 유지 측면에서 다른 방법에 비해 더욱 잘 개선되었음을 확인 할 수 있다.

 

4. 결 론

본 논문에서 제안하는 방법은 반전된 휘도 영상에 대해서 새로운 안개제거 방법을 적용하는 개선된 야간 영상 개선 방법을 제안한다. 제안 방법은 Dong의 야간 영상의 반전된 영상은 안개 영상과 유사하다는 이론을 기반으로 한다. Dong은 야간 영상을 개선하기 위하여 반전된 야간영상에 He의 Dark channel prior 기반의 안개제거 방법을 이용하였다. 하지만이 방법은 매팅 연산으로 인하여 매우 느리다. 그렇기 때문에 본 논문에서는 이를 개선하기 위하여 새로운 안개제거 방법을 제안하고 이를 기반으로 하는 개선된 야간영상 개선 방법을 제안한다. 또한 영상의 선명도를 향상시키기 위하여 지역적 히스토그램 평활화 방법을 함께 사용하는 방법에 대해서 제안한다. 제안하는 방법은 영상 개선 측면 및 수행속도 측면에서 기존에 제안된 방법들과 비교하였을 때 매우 좋은 성능을 보였다. 주관적인 측면에서 매우 좋은 결과를 보였으며, 수행속도 측면에서 매우 저연산으로 가시광 카메라 응용분야에서 임베디드 시스템에 적용되어 매우 효과적으로 사용될 수 있을 것으로 판단된다.