Deep Unsupervised Learning for Rain Streak Removal using Time-varying Rain Streak Scene

시간에 따라 변화하는 빗줄기 장면을 이용한 딥러닝 기반 비지도 학습 빗줄기 제거 기법

Abstract

Single image rain removal is a typical inverse problem which decomposes the image into a background scene and a rain streak. Recent works have witnessed a substantial progress on the task due to the development of convolutional neural network (CNN). However, existing CNN-based approaches train the network with synthetically generated training examples. These data tend to make the network bias to the synthetic scenes. In this paper, we present an unsupervised framework for removing rain streaks from real-world rainy images. We focus on the natural phenomena that static rainy scenes capture a common background but different rain streak. From this observation, we train siamese network with the real rain image pairs, which outputs identical backgrounds from the pairs. To train our network, a real rainy dataset is constructed via web-crawling. We show that our unsupervised framework outperforms the recent CNN-based approaches, which are trained by supervised manner. Experimental results demonstrate that the effectiveness of our framework on both synthetic and real-world datasets, showing improved performance over previous approaches.

1. 서 론

최근 컴퓨터 비전 분야의 영상 인식 시스템은 비디오 감시와 자율주행 자동차와 같은 다양한 응용분야에서 핵심적인 역할을 수행 한다 [1,2]. 컴퓨터 비전 알고리즘 성능은 입력 영상의 품질에 영향을 받는다. 외부 환경에서 촬영된 영상들은 예측 불가능한 자연 현상으로 인해 입력 영상이 손상된다. 특히 비가 오는 환경에서 영상에서 관측되는 빗줄기(Rain Streaks)는 굴절, 산란, blurring 효과로 영상을 손상시킨다. 따라서 빗줄기로 인한 왜곡된 영상을 복원하는 것은 현재 컴퓨터 비전 알고리즘들의 성능에 매우 중요한 역할을 수행 할 수 있으며, 이러한 문제들을 해결하기 위해 다양한 연구들이 활발히 진행되고 있다.

수년간 많은 연구들은 빗줄기 제거를 위해 단일 이미지 분리 (Image Separation) 방법을 이용 하거나 Non-local mean smoothing 방식으로 문제를 접근하였다. 하지만 빗줄기와 배경 패턴 사이의 중첩이 있는 경우 Texture 정보까지 제거하는 문제점이 있었으며 이로 인해 빗줄기가 없는 영역에서도 과도하게 Smoothing되는 현상이 발생하였다. 또한 많은 알고리즘들이 빗줄기가 관찰되는 Local 부분의 패치를 이용하여 Local 부분의 빗줄기만 제거하기 때문에Global 영역에서 빗줄기는 제거는 고려되지 않는다.

최근 심층 컨볼루셔널 신경망의(Deep ConvolutionalNeural Networks) 발전과 함께 빗줄기 제거 알고리즘들이 제안 되었다[3,4,5]. 최신 방법들은 대부분 Photoshop[6]을 이용하여 합성(Synthetic) Ground Truth를 생성하고, 합성 빗줄기 이미지와 빗줄기가 없는 깨끗한 이미지 쌍을 이용하여 신경망을 직접 학습한다. 기존의 단일 이미지 기반의 빗줄기 제거 방법의 한계점 중 하나는 제안하는 알고리즘이 학습한 특정 유형의 데이터 영상에만 강인하다는 점이다. 학습 데이터와 다른 빗줄기 형태는 고려하지 않았으며, 실제 비가 온 이미지에는 효과적으로 적용이 되지 않는다. 그러나 실제 지상 이미지(Ground Truth)를 얻는 것은 불가능하며, 합성데이터를 이용한 학습은 빗줄기 제거 알고리즘에 있어서 근원적인 문제를갖는다.

본 논문에서는 실제 비가 오는 자연현상을 관찰하여 이를 기반으로 학습 데이터를 생성하여 비지도 학습(Unsupervised Learning) 빗줄기 제거 알고리즘을 제안한다. Fig. 1로 부터 고정된 카메라를 이용하여 비가 오는 장면을 촬영했을 때, 배경은 일정하게고정되어 있지만 시간에 따라 빗줄기는 다르게 촬영되는 현상을 확인할 수 있다. 이러한 자연현상을 이용하여 획득한 영상을 학습 데이터로 이용한다. 비 오는 날의 영상 데이터는 합성 Ground Truth data를생성하는 과정보다 획득하기 용이하다는 이점이 있다. CNN은 많은 양의 데이터를 필요로 하기 때문에 Web-crawling을 통해 다양한 강우 조건에서 데이터 셋을 확보하여 학습 데이터를 구축하였다. 입력영상으로 배경은 같지만 다른 빗줄기 정보를 갖는 두 이미지를 인코더-디코더 기반의 파라미터를 공유하는 Siamese 구조를 활용하여 학습한다. 기존의 빗줄기 모델을 기반으로 빗줄기 제거 학습에 용이한 목적함수(Objective Function)를 정의 하였으며 제안하는 각각의 목적 함수는 빗줄기와 배경 이미지를 효과적으로 분리한다. 학습 과정에 있어서 제안하는 방법은 어떠한 Ground Truth도 필요로 하지 않는다. 추론 과정에서는 단일 이미지를 입력영상으로 이용하여 빗줄기가 제거된 배경 이미지와 빗줄기 이미지를획득한다. 지상 이미지 없이 학습을 진행하지만 기존의 지도 학습과 비교하였을 때 경쟁력 있는 결과를 얻을 수 있다.

 

Fig. 1. Image pairs of a time-varying rainy scene have same background but different rain streak.

 

본 논문의 순서는 다음과 같다. 2장에서는 본 논문과 관련되는 단일 영상 기반의 비 제거 연구를 설명하고, 3장에서는 본 논문에서 제안하는 비지도 학습기반 비 제거 알고리즘의 전체적인 개요와 목적 함수에 대한 설명을 서술한다. 4장에서는 실험을 통해서 기존의 신경망 기반의 알고리즘들과의 비교를 하여 성능 평가를 수행하고 마지막으로 5장에서는 본 논문에서 제안한 알고리즘의 결론을 맺는다.

 

2. 관련 연구

단일영상 기반 빗줄기 제거 알고리즘은 다양한 방법으로 연구되어 왔다. Chen 등은 예측하기 힘든 빗줄기 패턴을 모델링하기 전에 Low-rank 기반의 방법을 제안하였다[7]. 그들은 상호 연관성이 있는 빗줄기를 잡기 위해 Low-rank 모델을 사용한다. Dictionary Learning 및 Low-rank 기반 방법은 출력 이미지에 너무 많은 빗물 픽셀을 남기는 경향이 있다. Li 등은 배경 이미지와 빗줄기가 있는 영상을 단순한 patch 단위 기반의 방식을 제안하였다[8]. Gaussian Mixture Model(GMM)을 활용하여 빗줄기의 방향과 크기를 분류하는데 배경 이미지가 여전히 smooth 하다는 한계를 갖는다. 적용한 수작업 기반의 피처 설계 또한 빗줄기 패턴 모델링에 취약하다. Chen 과 Li 등은 빗줄기가 유사한 패턴과 방향을 가지고 있다는 가정에 기초한다. 이러한 가정은 두 알고리즘이 입력 영상으로 벽돌이나 Texture가 많은 반복적인 패턴을 포착하였을 때 배경 이미지로부터 빗줄기가 아닌 영역들까지 모두 제거하는 경향이 있다.

Fu 등은 처음으로 신경망 구조를 빗줄기 제거 알고리즘에 적용한 논문으로, 빗줄기 입력 영상을 Base layer와 Detail layer로 나누어 Detail layer를 학습하는 방식을 제안하였다[10]. 네트워크를 깊게 설정하지 않고 입력 빗줄기 성분에서 고주파(High- frequency)성분을 분리하여 빗줄기의 차(Residual)영상을 학습한다. 네트워크의 결과 영상을 처음에 추출하였던 저주파(Low-frequency) 성분과 다시 더하여빗줄기가 제거된 영상을 복원한다. 고주파 성분만을 학습 영상으로 사용하기 때문에 Over De-rain 되는한계점을 갖는다. Zhang 등은 Generative Adversarial Network(GAN)를 빗줄기 제거 알고리즘에 적용 한다[12]. 실제 비 영상에서는 안개가 끼거나 어두운 장면을 관찰 할 수 있는데, GAN 과 함께 Perceptual Loss를 활용하여 빗줄기 제거와 함께 시각적으로 영상을 복원 했다. 하지만 주관평가(Subjective Evaluation)에는 강인하지만, 정량적 평가(Quantitative Evaluation) 성능은 기존 알고리즘에 미치지 못한다. Yang 등은 단일 비 영상에서 동시에 빗줄기 위치를 나타내는 이미지(Binary Map), 빗줄기 이미지, 그리고 빗줄기가 제거된 이미지를 동시에 찾는 CNN 기반 방법을 제안한다[5]. 학습 구조로는 상황별 확장 네트워크(Contextualized Dilated Network)를 사용하여 피처를 추출한다. 하지만 위의 방식은 모두 합성 데이터 (Synthetic data)로 학습을 진행하므로 실제 비 영상에 테스트 하였을 때 성능이 저하된다는 단점이 있다. 본 논문은 기존의 논문들과 다르게 합성 데이터를 생성하지 않고 다양한 환경의 비 영상에 강인하기 위해 실제 데이터를 획득하여 네트워크 구조의 파라미터를 공유하는 신경망 기반의 다중 목적함수를 이용한 비지도 학습(Unsupervised Learning) 빗줄기 제거 기법을 제안한다.

 

3. 제안 기법

제안하는 빗줄기 제거 방식은 고정된 카메라를 이용하여 다른 시간에 촬영된 두 영상은 서로 공통된 배경정보를 포함하고 있다는 사실에 초점을 맞추었다. 두 영상 간의 차이는 서로 다른 빗줄기 정보를 포함한다는 점이다. 이러한 관측으로부터, 제안하는 방식은 비지도학습 기반의 배경 표현자 학습 알고리즘을 제안한다. 영상 쌍으로부터 siamese 구조(같은 구조와 파라미터를 공유하므로 학습이 진행될 때 두 영상에 모두 영향을 주는)를 통한 빗줄기가 제거된 영상을 추정하는 네트워크를 학습한다. 즉, 학습된 네트워크는 빗줄기의 정보를 포함하지 않는 배경 영상만을 결과로 추출하게 된다. 전체적인 알고리즘의 흐름은 Fig. 2와 같다.

 

Fig. 2. An overview of the proposed unsupervised siamese training. The image pairs of a time-varying scene are passed through a CNN that optimizes for similarity of the estimated clean background. Additional reciprocity and information losses regularize this ambiguous problem. (a) The siamese de-raining network takes as input a pair of images with varying rain streak and generate a set of rain streak image. (b) The loss functions compose the predictions into images.

 

3.1 비 모델

비 이미지는 \(I\)배경이미지 \(B\)와 빗줄기 성분 이미지 \(R\)의 선형 조합으로 모델링 할 수 있다.

\(I=B+R\)       (1)

 

이 모델에 기반 하여, 비 제거 알고리즘은 \(I\)를 입력 영상으로 관찰하여 배경 \(B\)를 빗줄기 성분 이미지 \(R\)에서 분리한다. 입력 영상 \(I\)를 분리하는 문제는 입력 영상으로부터 알지 못하는 두 성분을 찾아야 한다는 점에서 비 제거 알고리즘은 ill-posed 문제이다.

 

3.2 자연현상 관찰 기반의 Siamese 학습

본 절에서는 자연현상 기반의 비지도 학습 Siamese 학습 과정을 자세히 서술한다. 전체적인 알고리즘 개요도는 Fig. 2에 표현된다. 단일의 시간 경과 영상을 고려할 때, 제안하는 신경망의 목표는 감독되 지 않은 방법으로 깨끗한 배경 이미지를 예측하는 것이다. 배경은 같지만 시간에 따라 빗줄기가 변하는 time-varying 한 영상으로부터 \(T=\left\{I_1, \cdots , I_N\right\}\), 두 장 의 학습데이터 \((I_i, \ I_j)\)를 입력 영상으로 사용한다. 각 이미지 \(I_i\) 에 대해 정방향(forward pass)으로 이미지 를 분해하여 \((R_i, \ B_j)\)를 생성하고 공동 손실 함수를 사용하여 에러를 역 전파(Back Propagation) 한다. 다음으로 제안하는 손실함수의 구성 요소들을 설명 한다. 우리의 학습은 추론 과정에서 단일 이미지만 필요로 한다.

 

3.2.1 배경유사 손실 함수 (Background Similarity loss function)

빗줄기 제거 알고리즘의 주된 학습 목표는 입력 영상들을 배경영상과 빗줄기 영상으로 분리하는데 있다. 제안하는 목적 함수는 Siamese 네트워크를 통 과한 두 출력 영상을 \(L_2\)손실 함수를 이용하여 학습 한다.

 

\(L_{B}=\sum_\limits{i} \sum_\limits{j} || B_{i}-B_{j} \|^{2}, \text { for } i, j \in T.\)       (2)

 

본 손실 함수는 구하고자 하는 배경 이미지에 대 한 주된 최적화 함수를 의미한다. 하지만 앞서 언급 한 바와 같이 단일영상 비 제거 기법은 Highly ill-posed 문제로 여전히 무한한 최솟값이 존재하여 Under-determined 문제로 남아있다. 따라서 추가적 인 정규화(Regularization)과정이 필요하다.

 

3.2.2 교차 정보 손실 함수 (Cross-information loss function)

3.2.1절에서의 단일 손실 함수만으로는 아직 자유 도(Degree of Freedom)가 높기 때문에 이를 제한 (Constrain) 하기 위해, 대부분의 색상과 Texture 정 보가 입력 이미지와 추정된 배경이미지에 공통적으 로 있다고 가정한다. 이러한 관찰을 통해 가중 손실 을 제안한다.

 

\(L_{C}=\sum_\limits{i} \sum_\limits{j} \lambda\left\|I_{i}-B_{j}\right\|^{2}, \text { for } i\neq j, i, j \in T.\)       (3)

 

여기서 학습 시 \(\lambda\)를 처음 30% 동안 1에서 0.01로 선형적으로 감소시킨 뒤 그 후로는 값을 고정시킨다. 다른 장면에서 관측한 \(I_i\)와  \(B_j\)의 배경의 유사성을 이용하기 때문에 \(i\neq j\) 인 입력 영상을 사용하며 교차 정보라고 명명한다. 단순한 변형으로 \(i=j\)인 입력영 상을 활용하여 실험을 한 경우 추정되는 결과 배경 이미지에 빗줄기가 남아 있음을 확인할 수 있었다. \(I_i\)와 \(I_j\)사이의 빗줄기 차이는 이러한 원치 않는 효과를 방지한다.

 

3.3 제안하는 심층 컨볼루셔널 신경망 구조

본 절에서는 최신 기술(State-of-the-art)을 기반으로 한 Encoder-decoder siamese 학습 네트워크를 소개하며 구조는 Fig. 3과 같다. 제안하는 siamese구조는 파라미터를 공유하며 학습을 진행한다. 이 경우 파라미터를 공유하지 않는 두 네트워크를 사용하여 각각의 입력 영상에 대해 학습하는 경우보다 적은 파라미터 개수를 필요로 하고 학습 시간을 줄일 수 있다. 학습 과정에서 siamese 구조는 입력 영상 정보를 공유하기 때문에, 한 쌍의 입력 영상에서 동일한 빗줄기가 제거된 영상을 찾는데 적합하다.

 

Fig. 3. The architecture of our proposed deep convolutional neural networks(CNNs).

 

제안하는 컨볼루셔널 신경망 아키텍처는 컨볼루션(Convolution), 정류선형유닛(Relu), 최대 풀링(Max Pooling), 배치 정규화(Batch Normalization), 그리고 컨볼루션 전치(Convolution transpose)로 구성 되어 있다. 인코더는 VGG-16 구조를 기반으로 3×3 컨볼루션과 정류선형유닛, 배치 정규화 그리고 최대 풀링이 반복되어 구성된다. 역전파시 기울기 (Gradient)값의 안정성과 전체적인 학습 속도 향상을 위해 컨볼루션과 정류선형 유닛 사이에 배치 정규화를 사용하였다. 이는 각 레이어에 입력되는 값들을 정규화하여 학습을 안정화 한다. 인코더 부분을 지난 피처맵은 원본 이미지에 8배 줄어든다.

디코더에서는 인코더 마지막 부분의 피처맵이 컨볼루션 전치를 통과한 뒤 2배로 확대된다. 확대된 표현자는 Skip Connection을 통해 인코더 부분의 같은 크기의 표현자와 Concatenation이 된다. 인코더와 마찬가지로 3×3 컨볼루션과 정류선형유닛, 배치 정규화를 거쳐 학습이 진행 된다. 디코더는 컨볼루션 전치 과정을 통해 공간의 크기를 점차적으로 확대되고, Skip Connection을 통해 Low-level 표현자 정보를 함께 활용함으로써 원본 이미지와 같은 크기로 향상된 결과를 출력한다.

 

3.4 수행 세부사항 (Implementation Details)

본 연구에서는 학습을 위해 12GB NVIDIA Titan GPU를 이용하였고 VLFeat MatConvNet [9] 라이브러리를 사용하였다. 학습 이미지는 기존 \(1080×1920×3\) 크기의 데이터를 \(512×512×3\)으로 변환하여 학습을 진행하였다. 25,000개의 이미지를 사용하였고, 1개의 배치는(batch normalization) 4개의 영상이 들어가도록 구성하였다. Adam Optimizer를 사용하였고, 학습률(Learning Rate)은 \(10^{-6}\)으로 설정하였다. 비 오는 날의 촬영, 저조도 상황, 바람으로 인한 카메라 고정의 문제점 등 다양한 원인으로 많은 양의 데이터를 획득하기 어렵기 때문에 실험을 위해 YouTube를 함께 이용하여 Static Camera, Rain Video와 같은 키워드를 사용하여 다양한 환경에서의 데이터를 확보하였다. 모든 학습데이터는 고정된 카메라에 빗줄기 정보가 다른 영상들이며 합성 영상이 아닌 실제 영상이다.

 

4. 실험 결과

제안한 기법의 성능을 검증하기 위해 합성 영상에 대한 정량적, 정성적 결과를 제시한다. 비교 알고리즘으로는 최신의 CNN 기반 [3, 10] 지도학습 방법들과 비교를 진행하였다. 학습데이터에 대한 빗줄기 제거 성능은 공개된 Test Set으로 PSNR 및 SSIM을 이용하여 평가한다. SSIM는 값이 클수록 이미지 구조 특성에 있어 Ground Truth와 가까운 이미지임을 의미한다. 실제 데이터에 대해서는 Ground Truth가없으므로, 기존 논문들에서 사용되는 실제 데이터에 적용하여 기존 알고리즘들과의 성능을 시각적으로비교하였다.

Fig. 4는 합성 데이터에 제안된 방법으로 얻어진 개선 사항을 시각적으로 보여주기 위해 어려운 샘플영상에 대한 결과를 보여준다. 제안한 알고리즘의 결과는 하늘과 강 영역뿐만 아니라 건물에서도 빗줄기를 효과적으로 제거하는 것을 확인할 수 있다. [3]과
같은 경우 하늘 건물 과 강 영역에서는 어느 정도 빗줄기가 제거 되는 현상을 확인할 수 있다. 하지만 많은 하늘 부분에서 빗줄기를 효율적으로 제거하지 못하는 한계를 보인다. [10]의 경우 빗줄기가 여전히남아있는 것을 확인할 수 있으며 전반적으로 영상이 밝아지는 문제를 보인다. 반면 제안하고자 하는 방법은 하늘 영역에서 효과적으로 빗줄기를 제거하며 지도학습 기반의 방식 (b), (c)와 비교하여 artifact 없이 우수한 결과를 보인다.

 

 

Fig. 4. Qualitative results on a synthetic rainy image. (a) Input image, (b) results from [3], (c) results from [12], (d) ours.

 

제안한 심층 신경망 기반의 빗줄기 제거 알고리즘의 성능을 비교하기 위해 합성 데이터[3]를 이용하였다. [3]의 데이터는 UCID [11] 데이터와 Google 이미지 검색을 이용하여 350장의 깨끗한 야외 영상을 수집하여 한 이미지 당 14개의 각기 다른 빗줄기를Photoshop을 이용하여 생성하였다. 이중 1000장을 이미지를 Test Set으로 공개 하였다. Table 1은 기존 지도 학습 기반 논문들과의 정량적 평가를 나타낸 표이다. 결과는 제안하는 방법이 가장 높은 PSNR과 SSIM을 가지는 것을 보여준다. 기존의 방법들이합성 데이터를 활용하여 지도 학습으로 학습을 했음에도 불구하고, 제안하는 비지도 학습의 결과가 정량적으로 더 우수함을 확인 할 수 있었다.

 

Table 1. Quantitative comparison for proposed algorithm and conventional algorithms

 

Fig. 5는 합성 데이터가 아닌 실제 비가 오는 환경에서 비가 제거된 결과 영상을 보여준다. 성능 비교를 위해 빗줄기가 제거된 부분을 빨간색 박스와 노란색 박스로 확대 표시하였다. 첫 번째 행의 도로영상은 기존 논문들에서 이용하는 실제 영상 사진이다.[3]과 [10] 모두 알고리즘에 의해 결과 영상을 확인해 보았을 때, 여전히 도로 영역 부분에서 입력영상의 빗줄기들이 여전히 남아 있음을 확인할 수 있다. 반면 제안하는 알고리즘의 결과 영상에서는 구조적 정보와 색 정보의 변화 없이 자연스럽게 빗줄기가 제거되었다.

 

Fig. 5. Qualitative results on a synthetic rainy image. (a) Input image, (b) results from [3], (c) results from [10], (d) ours.

 

두 번째 영상은 실제로 비 오는 날 DSLR 카메라를(Sony A7M2) 이용하여 획득한 영상이다. 비가 많이 오는 날씨임에도 불구하고, 주로 Texture가 많은 나무와 잔디 영역 그리고 어두운 물체 쪽에서 시각적으로 빗줄기가 관찰되었기 때문에 해당 부분을 확대하여 비교하였다. 기존 알고리즘들과 비교하였을 때 제안하는 방법은 영상 전반에 걸쳐 배경의 디테일 정보를 보존하는 동시에 효과적으로 비가 제거됨을 보인다. 테스트한 합성데이터와 실제 데이터 모두 빗줄기를 제거하기 어려운 입력 영상이었지만, 제안하는 방법에서 정량적 정성적으로 우수한 성능을 보임을 결과를 통해 확인 할 수 있었다.

 

5. 결론 및 향후 계획

본 논문에서는 신경망과 자연현상 기반의 관찰을 통한 단일 이미지 기반 빗줄기 제거 방법을 제안하였다. 기존의 방식들은 지도학습을 위해 Photoshop을 이용하여 합성(Synthetic) Ground Truth를 생성하고, 합성 빗줄기 이미지와 빗줄기가 없는 깨끗한 이미지 쌍을 이용하여 신경망을 학습한다는 근원적인 문제점에서 시작하였다. 또한 자연 현상 관찰을 통하여,비가 오는 환경에서 고정된 카메라를 이용하여 연속적으로 이미지를 촬영하면 배경은 동일하지만 빗줄기 정보는 다르게 확인된다는 직관적인 자연 현상 관찰을 이용하여 실제 데이터를 구축하였다. 배경정보는 같지만 빗줄기 정보가 다른 두 장의 입력영상을 효과적으로 활용하기 위해 siamese 구조를 이용하였으며 빗줄기 제거 학습에 용이한 목적 함수(Objective Function)를 정의 하여 문제를 해결 하였다. 제안 기법은 지도 학습을 이용한 방법들을 포함하여 정량적, 정성적결과를 비교하였고 우수성을 확인하였다. 향후에는 주간과 야간 환경에서 모두 빗줄기 데이터를 획득하고 계절별, 시간대별, 강우량으로 분류하여 다양한 환경에도 강인한 비지도 학습 기반 빗줄기 제거 방법을 연구할 계획이다.