컬러 영상과 근적외선 영상을 이용한 영상 융합

Image Fusion using RGB and Near Infrared Image

Abstract

근적외선은 눈에 보이는 가시광선 파장 대역을 벗어난 빛으로 일반적인 디지털 카메라에서는 핫미러 필터에 의하여 차단된다. 하지만 근적외선으로부터 얻어지는 정보들은 영상의 전체적인 가시성을 향상시킬 수 있다고 알려져 있기 때문에 영상의 질 개선에 유용한 정보가 될 수 있다. 예를 들어 영상에 안개가 낀 경우, 근적외선은 가시광선보다 안개 입자에 대한 침투성이 더 강하다는 성질을 가지고 있기 때문에 근적외선 카메라로 영상을 촬영하면 일반적인 카메라 영상보다 더 선명한 영상을 얻을 수 있다. 본 논문은 실외 영상의 질을 높이기 위해 컬러 영상과 근적외선 영상을 융합하는 알고리즘을 제안한다. 첫 번째로, 본 논문은 컬러 영상과 근적외선 영상의 대비를 비교하여 가중치 맵을 구한다. 그 후, 이 가중치 맵을 이용하여 두 영상을 융합하는 과정을 거치게 된다. 본 논문은 실험 결과들을 통해서 제안하는 알고리즘이 효과적으로 영상의 질을 높이고, 또한 안개를 제거하는 것을 보여준다.

Infrared (IR) wavelength is out of visible range and thus usually cut by hot filters in general commercial cameras. However, some information from the near-IR (NIR) range is known to improve the overall visibility of scene in many cases. For example when there is fog or haze in the scene, NIR image has clearer visibility than visible image because of its stronger penetration property. In this paper, we propose an algorithm for fusing the RGB and NIR images to obtain the enhanced images of the outdoor scenes. First, we construct a weight map by comparing the contrast of the RGB and NIR images, and then fuse the two images based on the weight map. Experimental results show that the proposed method is effective in enhancing visible image and removing the haze.

Ⅰ. 서 론

근적외선은 가시광선과 적외선 파장대역의 사이에 있는 전자기파로 750 ~ 1400 nm에 해당하는 파장 대역을 가지고 있고, 이는 인간이 볼 수 있는 가시광선보다 더 높은 파장 대역에 해당한다. 따라서 인간은 눈으로 근적외선을 탐지할 수 없고, 널리 사용되는 실리콘 칩 기반의 디지털 카메라를 이용하여 근적외선을 포착할 수 있다. 하지만 일반적인 디지털 카메라들은 이미지 센서 앞에 근적외선을 차단하여 가시광선만 통과하도록 하는 필터인 핫 미러 필터(Hot Mirror Filter)를 통해서 근적외선을 차단하기 때문에 근적외선 영상을 얻을 수 없다. 이를 다시 말하면 근적외선을 차단하는 렌즈 앞 핫 미러 필터를 제거하면 근적외선 영상을 얻을 수 있다는 것이다. 따라서 근적외선 영상과 컬러 영상을 동시에 얻는 카메라나 혹은 두 영상을 따로 취득한 후 정합하는 등의 연구 역시 활발히 연구되어 지고 있다 [1-3]. 초기에는 디지털 카메라의 핫 미러 필터를 제거하고, CFA(Color Filter Array) 패턴을 설계하여 가공 데이터 영상으로부터 컬러와 근적외선 영상을 모두 얻어내는 연구들이 제안되었다[1-2]. 최근에는 하나의 카메라에 근적외선과 컬러 영상을 취득할 수 있는 영상 센서를 모두 부착하여 동시에 컬러 영상과 근적외선 영상을 취득할 수 있는 카메라 또한 개발되었다[3].

근적외선 영상으로부터 얻을 수 있는 이러한 추가적인 정보는 컬러 영상의 질을 상당히 높일 수 있다. 예를 들면 영상에 안개가 낀 경우, 근적외선은 가시광선보다 안개 입자에 대한 침투성이 더 강하다는 성질을 가지고 있기 때문에 근적외선 카메라로 영상을 촬영하면 컬러 영상보다 더 선명하고 윤곽이 뚜렷한 마치 안개가 없는 것처럼 보이는 영상을 얻을 수 있다. 그림 1을 통해 근적외선 영상은 안개에 의해 물체가 가려지는 현상이 존재하지 않는 것을 확인할 수 있다. 또한 안개가 낀 상황뿐만 아니라 일반적인 실외 영상에 대해서도 컬러 영상보다 근적외선 영상에서 물체의 텍스쳐나 대비가 더 높은 픽셀들이 존재하게 되고 이러한 경우에 근적외선 영상은 컬러 영상의 대비나 선명도와 같은 영상의 질을 향상시킬 수 있는 좋은 추가적인 정보가 될 수 있다. 그림 2를 통해 컬러 영상에서는 조도가 매우 낮아 물체의 윤곽이 보이지 않는 영역에 대해서, 근적외선 영상은 물체의 텍스쳐가 잘 보임을 확인할 수 있다.

그림. 1.안개 배경에 대한 컬러 영상과 근적외선 영상 Fig. 1. Visible and NIR image of the hazy scene

그림. 2.실외 배경에 대한 컬러 영상과 근적외선 영상 Fig. 2. Visible and NIR image of the outdoor scene

위에서 언급한 근적외선 영상의 장점들을 이용하기 위해서, 컬러 영상과 근적외선 영상을 모두 이용하여 영상의 질을 높이는 연구가 많이 진행되어 왔다. 논문 [3]에서 Zhang은 컬러 영상과 근적외선 영상을 결합하여 컬러 영상을 강화하는 알고리즘을 제안하였다. 그들은 첫 번째로 근적외선/컬러 영상 쌍을 웨이블릿 변환을 통해서 저주파와 고주파 영상으로 분리하였다. 그 후 물체의 전반적인 색상에 해당하는 저주파 대역 영상에서는 물체의 색상 및 대비 값을, 영상의 세부적인 에지 및 윤곽에 해당하는 고주파 대역 영상에서는 물체의 텍스쳐 값을 변환하여 두 영상을 결합하였다. 논문 [4]에서 Schaul은 가중치 최소 자승법(Weighted Least Squares)을 이용하여 근적외선 영상의 세부적인 에지 및 텍스쳐 성분을 컬러 영상과 융합하는 알고리즘을 제안하였다. 또한 논문 [5]에서 Feng은 안개가 없는 것처럼 보이는 근적외선 영상의 세부적인 에지 및 윤곽 정보를 이용한 함수 값을 최적화하는 방법을 통해 안개를 제거하고 근적외선 영상의 에지 정보를 컬러 영상으로 변환하는 알고리즘을 제안하였다. 논문 [6]의 경우 컬러 영상의 가공 데이터 영상과 근적외선 영상을 동시에 얻은 후, AP(Alternating Projections) 알고리즘을 통해 가공 데이터 영상을 Demo- saic하여 기존의 Demosaic 결과보다 더 선명한 컬러 영상을 얻을 수 있는 알고리즘을 제안하였다. 또한 논문 [7]의 경우 그림자 제거 알고리즘에 있어서 오 검출의 원인이 되는 어두운 물체는 근적외선 반사율이 높다는 성질을 이용하여, 기존보다 오 검출이 적은 그림자 제거 알고리즘을 제안하였다.

본 논문은 컬러 영상과 근적외선 영상을 융합하여 컬러 영상의 질을 강화하는 알고리즘을 제안한다. 첫 번째로, 본 논문은 가중치 맵을 제안한다. 가중치 맵은 컬러/근적외선 두 영상 중에서 어떤 영상이 더 세부적인 텍스쳐 정보가 풍부한지를 나타내는 맵을 뜻한다. 그 후, 두 영상을 웨이블릿 변환을 통해서 저주파와 고주파 대역의 영상으로 분리한다. 저주파 대역에서는 가중치 맵을 이용한 가중 합을 통해 두 영상의 색상 정보를 융합하고, 고주파 대역에서는 두 영상 중 더 큰 성분을 골라내는 방법을 통해 두 영상의 텍스쳐 정보를 융합하여 새로운 컬러 영상을 만든다. 본 논문은 근적외선 영상의 세부 정보를 변환하는 것뿐만 아니라 가중치 맵을 이용하여 컬러 영상 정보도 이용하였기 때문에, 두 영상을 효율적으로 융합한다는 점에서 의미가 있다. 또한 하나의 framework을 통해 두 가지의 영상 강화 문제를 모두 해결한다는 점에서도 의미가 있다. 실험 결과들을 통해 제안하는 알고리즘이 효과적으로 안개를 제거하고, 또한 HDR(High Dynamic Range)과 같이 저조도의 컬러 영상을 근적외선 영상을 통해 영상의 윤곽을 뚜렷하게 하는 것과 같이 서로 다른 두 영상 강화 분야에 대해서 모두 영상의 질을 높임을 확인할 수 있었다.

 

Ⅱ. 제안하는 방법

서론에서 언급한 것과 같이, 근적외선 영상은 몇몇 픽셀에 대해서 컬러 영상보다 더 풍부한 에지 및 텍스쳐 정보를 가지고 있어서 매우 유용하다. 그러므로 두 영상 사이에서 더 풍부한 정보를 고른 후 두 영상을 융합한다. 첫 번째로 컬러 영상을 RGB 공간에서 HSV 공간으로 변환한다. 근적외선 영상은 근적외선 파장 대역에 해당하는 빛을 물체가 반사한 후, 카메라에 들어온 밝기 값을 영상으로 표현한 것을 뜻한다. 따라서 컬러 영상의 HSV 값 중 밝기(Value)를 근적외선 영상과 융합하고, 그 외의 성분인 색상(Hue), 채도(Saturation) 값은 컬러 영상에서 추출한 값을 그대로 사용한다. 그 후, 본 논문에서 제안한 가중치 맵을 구한다. 가중치 맵은 두 밝기 영상의 텍스쳐 성분을 비교한 것이다. 융합된 결과 영상은 가중치 맵을 통해 두 밝기 영상 중 더욱 더 텍스쳐가 풍부한 영상을 선택하기 때문에, 결과 영상의 경우 원래 컬러/근적외선 두 영상보다 더욱 더 텍스쳐가 풍부한 영상이 된다. 마지막으로 융합된 밝기 영상을 원래 컬러 영상의 색상, 채도 성분과 합친 후 다시 RGB 공간으로 변환한다. 제안하는 알고리즘의 흐름도는 그림 3과 같다. 본 논문의 응용 분야인 안개 제거와 HDR 모두 같은 framework로 이루어져 있기 때문에 동일한 흐름도를 가지며 가중치 맵을 구하는 방법에서만 차이가 있다.

그림. 3.제안하는 방법의 흐름도 Fig. 3. The framework of proposed method

1. 가중치 맵

본 논문의 첫 번째 응용인 HDR의 경우, 가중치 맵은 다음 식을 통해 구할 수 있다.

여기서 IVIS(x)의 경우 픽셀 x에서의 컬러 밝기 영상의 밝기 값을 의미하고, I∋R(x) 은 근적외선 영상의 밝기 값을 의미한다. 또한 fcont( • )의 경우 영상의 대비 값을 측정한 것으로, 본 논문은 영상 패치의 밝기 표준 편차 값을 대비 값으로 사용하였다. 또한 영상의 가중치 맵을 구하는 과정이 패치 단위의 연산이기 때문에 블록 현상 발생한다. 따라서 이를 없애기 위해 컬러 영상의 에지를 고려한 에지 보존 필터링(Edge-Preserving Filtering)을 이용하여 가중치 맵의 블록 현상을 제거한다. 본 논문에서는 컬러 영상의 밝기 영상을 Guided Image로 한 Guided Filtering [9] 방법을 이용하였다. 또한 두 영상 간의 대비 값에 차이가 크지 않다면 근적외선 영상의 윤곽 정보가 큰 의미가 없기 때문에, 근적외선 영상은 이용하지 않고 컬러 영상만을 영상 강화에 이용하기 위하여 가중치 맵은 1로 설정하였다. 그림 4의 (a)~(c)는 HDR 응용에서 가중치 맵을 보여준다. 컬러 영상 (a)와 근적외선 영상 (b)에 대한 가중치 맵은 (c)와 같다. 그림과 같이 컬러 영상의 텍스쳐가 더 풍부한 경우 가중치 맵은 1에 가까운 큰 값(흰색)을 보이고 있고, 창분 밖 풍경과 같이 근적외선 영상의 텍스쳐가 더 풍부한 픽셀의 경우 0에 가까운 작은 값(검은색)을 보이고 있음을 확인할 수 있다.

그림. 4.실외 배경에 대한 컬러 영상, 근적외선 영상 그리고 가중치 맵 Fig. 4. Visible, NIR image and weights map in the outdoor scene

두 번째 응용인 안개 제거의 경우, 전달량 맵을 가중치 맵으로 설정한다. 전달량 맵이란 안개 입자의 농축 정도를 의미하는 맵으로 각 픽셀에 대해서 안개가 얼마나 존재하는지를 나타낸다. 예를 들어, 전달량 값이 매우 작은 픽셀의 경우 안개가 거의 없는 지역이다. 안개가 많이 낀 지역의 경우 근적외선 영상은 안개가 없는 것처럼 보이기 때문에 안개가 자욱한 컬러 영상보다 더 높은 텍스쳐 정보를 가진다. 또한 안개가 거의 없는 픽셀의 경우 컬러 영상은 선명하게 보이기 때문에 근적외선 영상의 정보를 이용할 필요가 없다. 따라서 안개의 농도를 나타내는 전달량 맵을 가중치 맵으로 설정하면 효과적으로 두 영상을 융합할 수 있다. 본 논문에서는 가중치 맵을 전달량 맵으로 설정하였고, 이는 Dark Channel Prior [8] 방법을 통해 구할 수 있다. 이러한 결과는 그림 5와 같다. 안개가 낀 배경에 대한 컬러 영상인 (a)와 근적외선 영상은 (b)와 같다. 안개가 매우 짙은 하늘 지역의 경우 근적외선 영상의 텍스쳐 정보와 선명도가 더 높기 때문에 가중치 맵인 (c)는 0에 가까운 작은 값(검은색)을 띄게 된다. 또한 안개가 거의 존재하지 않은 가까운 지역의 경우는 가중치 맵이 1에 가까운 큰 값(흰색)을 띄게 되면서 가중치 맵이 의도한 바와 같이 계산됨을 확인할 수 있다.

그림. 5.안개 배경에 대한 컬러 영상, 근적외선 영상 그리고 가중치 맵 Fig. 5. Visible, NIR image and weights map in the hazy scene

2. 영상 융합

본 논문은 두 밝기 영상을 융합하기 위해서, 우선 Harr 웨이블릿 변환을 통해 두 영상을 저주역대와 고주역대 영상으로 분리하고 각 대역 대 별로 그에 맞는 융합 알고리즘을 수행한다. 웨이블릿 공간상에서 LL 대역에 해당하는 영상은 영상의 전반적인 밝기를, 나머지 고주파 대역은 영상의 자세한 에지 및 윤곽 정보를 의미한다.

우선 LL 대역은 영상의 전반적인 밝기를 뜻한다. 따라서 LL 대역에서는 앞에서 구한 가중치 맵을 이용한 가중 합을 통해 두 영상의 색상 정보를 융합한다. 이 과정은 아래 식 (2)와 같다.

여기서 ILL(x)은 픽셀 x에서의 결과 영상 밝기를 뜻하고, IVIS-LL(x)과 INIR-LL(x)은 각각 LL 대역의 컬러 밝기 영상과 근적외선 영상의 밝기를 의미한다. 또한 W(x)는 가중치 맵 값을 의미한다. 위 식과 같이 가중치 맵을 통해 더욱 더 선명하고 텍스쳐가 풍부한 영상의 색상 값을 결과 영상의 색상 값으로 선택한다.

또한 나머지 고주파 대역에서는 두 영상 중 더욱 더 큰 값을 선택하는 과정을 통해 영상 융합과정을 수행한다. 고주파 대역은 영상의 에지 및 자세한 윤곽 정보 값을 의미하는데 더욱 더 큰 값을 선택함으로 결과 영상의 대비나 선명도가 더 뚜렷하게 된다. 이러한 최대치 통합 과정은 식 (3)과 같다.

여기서 IH(x)은 픽셀 x에 해당하는 고주파 대역(LH, HL, HH 대역)에서의 결과 영상 값을 뜻하고, IVIS-H(x)과 INIR-H(x)은 각각 컬러 영상과 근적외선 영상의 값을 뜻한다. 위 식을 통해서 고주파 대역에서는 에지나 자세한 윤곽 정보 같이 영상의 선명도가 더 높은 영상을 선택하게 된다.

 

Ⅲ. 실험 결과

본 논문에서는 두 개의 데이터 셋 [4], [10]을 통해 실험을 진행하였다. 서로 다른 카메라로 촬영되어 시점이 다른 컬러 영상과 근적외선 영상을 정합하기 위해서 전처리 과정으로는 SIFT-Flow 알고리즘 [11]을 통해 두 영상을 동일한 시점으로 정합시켰다. 또한 가중치 맵을 구할 때 패치 크기는 7 × 7로 하였고, 가중치 맵에 대한 Guided Filtering [9]의 파라미터는 각각 r = 20, α = 10-3 으로 하였다. 3.4GHz 듀얼 프로세서 PC상에서 600 × 400 픽셀 크기의 영상을 기준으로 안개 제거 과정은 대략 1초, HDR 과정의 경우 대략 5~10초의 수행시간이 측정되었다.

먼저 그림 6은 기존의 컬러 영상 강화 알고리즘을 통한 결과와 본 논문이 제안한 방법을 통한 HDR의 실험 결과를 보여준다. 단지 컬러 영상만을 이용하지 않고, 근적외선 영상도 이용함으로 저조도 혹은 고조도로 인하여 컬러 영상 (a)에서는 잘 보이지 않던 물체의 윤곽이 (c)와 같이 살아남을 확인할 수 있다. 또한 컬러 영상만을 이용한 tone-mapping [12] 실험 결과 (b) 보다 더 좋은 결과를 보여준다. 컬러 영상만을 이용한 경우, 잘 보이지 않는 지역을 강화하는데 있어서 한계점이 존재하고 또한 색상 왜곡이 발생하기도 한다. 하지만 제안한 알고리즘의 경우 이러한 단점이 존재하지 않았다.

그림. 6.컬러 영상, 기존 영상 강화 결과 [12], 제안하는 결과 영상 Fig. 6. Visible, tone-mapping result in [12] and proposed enhanced image

그림 7은 본 논문이 기존보다 효율적으로 근적외선 영상과 컬러 영상을 융합했음을 보여주기 위한 실험 결과이다. 기존의 HDR 알고리즘을 통해 컬러 영상과 근적외선 영상을 합성하면 그림 (b)와 같이 텍스쳐 성분은 향상되지만, 근적외선과 컬러 영상의 서로 다른 밝기로 인하여 결과 영상에 컬러 왜곡 현상이 발생하게 된다. 하지만 제안한 알고리즘의 경우 두 영상을 비교하여 가중치 맵을 구한 후, 이를 저 대역에서 합성했기 때문에 컬러 왜곡 현상이 거의 없음을 확인할 수 있다.

그림. 7.컬러 영상, 기존 HDR 영상 결과 [13], 제안하는 결과 영상 Fig. 7. Visible, conventional HDR result in [13] and proposed enhanced image

그림 8은 본 논문이 제안한 방법을 통한 안개 제거의 실험 결과를 보여준다. 안개 낀 영상 (a)가 있을 때 그림 (c)와 같이 안개를 효과적으로 제거하였다. 또한 근적외선을 이용하지 않은 기존 안개 제거 알고리즘 [8] 실험 결과 (b)의 경우 많은 색상 왜곡이 발생하였는데 본 논문이 제안한 방법의 경우 이러한 색상 왜곡이 없이 선명한 안개 제거 영상을 구함을 확인할 수 있다.

그림. 8.컬러 영상, 기존 안개 제거 결과 [8], 제안하는 안개 제거 결과 Fig. 8. Visible, dehazed image in [8] and proposed dehazed image

 

Ⅳ. 결 론

본 논문은 컬러 영상의 질을 강화하기 위해 컬러 영상과 근적외선 영상을 융합하는 알고리즘을 제안하였다. 우선 컬러 영상과 근적외선 영상 중 어느 영상이 더 텍스쳐 정보가 풍부한지를 나타내는 가중치 맵을 제안하였고, 이를 이용하여 두 영상 중 더욱 더 텍스쳐가 풍부한 영상을 이용하여 결과 영상을 융합하였다. HDR의 경우 가중치 맵은 두 영상의 대비 값을 비교하여 구하였고, 안개 제거의 경우 전달량 맵을 가중치 맵으로 설정하였다. 실험 결과를 통해 근적외선 영상을 이용한 경우, 컬러 영상만을 이용하여 영상 강화를 한 경우보다 더 효과적으로 영상의 질을 높임을 확인하였다. 또한 가중치 맵을 설정함으로 융합된 결과 영상은 근적외선 영상을 활용한 기존 알고리즘에 비해서도 색상 왜곡은 더 적고, 더 높은 가시성을 보여주었다. 또한 본 논문의 경우 영상 융합이라는 하나의 framework를 통해 HDR과 안개 제거라는 서로 다른 영상 강화 분야의 문제를 해결한다는 점에 의의가 있다.

본 논문은 근적외선 영상과 컬러 영상 둘 중 하나는 윤곽선과 같은 텍스쳐 정보가 풍부하다는 가정을 하고 있다. 따라서 근적외선 파장대역과 가시광선 파장대역 모두에서 너무 밝거나 어두워 saturation 되는 경우 본 논문의 가정이 맞지 않아 영상의 질을 높일 수 없다는 한계점이 존재한다. 따라서 컬러 영상과 근적외선 영상을 한 장씩이 아닌 조명과 함께 다양한 조도에 대하여 여러 장을 촬영함으로 기존의 한계점을 넘어 영상의 질을 강화하는 알고리즘에 대해 연구할 계획이다.