Noise Reduction of HDR Detail Layer Using a Kalman Filter Adapted to Local Image Activity

국부 영상 활동도에 적응적인 칼만 필터를 이용한 HDR 세부 영상 레이어의 잡음 제거

Abstract

In High Dynamic Range (HDR) image processing, tone mapping is the process to compress an input image into a Low Dynamic Range (LDR) image. In most cases, the reason that detail preservation is prior to take over tone mapping is that the dynamic range is significantly different between input and output images. In the case of iCAM06, details are separated by using a bilateral filter, however, it causes noise amplification at the dim surround region. Thus, we suggest that the detail signal, which is separated from the bilateral filter, is combined with the base signal after an adaptive Kalman filter is applied according to the local standard deviation. We confirmed that the proposed method enhances the HDR images quality by checking the noise reduction in a dim surround region.

1. 서 론

  실제 자연 환경에서의 휘도 값은 높은 동적 범위를 갖지만, 디지털 카메라 또는 디스플레이 장치의 휘도 정보는 비교적 제한된 동적 범위를 갖는다. HDRI(High Dynamic Range Image) 렌더링 방법은 영상의 휘도 범위를 톤 맵핑 (Tone mapping)으로 낮은 동적 범위 (LDR; Low Dynamic Range)를 갖는 디스플레이에서도 이미지를 표시할 수 있는 라디언스 맵(Radiance Map)을 형성한다[1-5]. 톤 맵핑은 영상 전체에 대하여 처리하거나 국부적으로 처리할 수 있다. 전체적인 톤 맵핑은 하나의 함수를 이용하여 영 상 전체에 적용하기 때문에 처리시간이 짧지만, 영상의 국부 정보를 LDR 영상에 제대로 담지 못하는 단점을 가진다. 지수 및 로그 변환, 시그모이드 함수 (sigmoid function) 변환, 영상의 주된 밝기를 나타내 는 key 값을 이용한 변환 등이 있다[5]. 국부적 톤 맵핑 방법은 영상의 국부 서라운드 값을 변환 함수의 입력으로 사용하기 때문에 복잡한 처리 과정과 긴 처리 시간을 가진다. 그러나 생성된 라디언스 맵은 전역적 톤 맵핑에 비하여 시각적으로 뛰어나다. 국부 적 톤 맵핑 방법에는 Reinex를 이용한 방법[6], 인간 시각 특성 (human vision system ; HSV)을 고려한 이미지 현색 모델의 iCAM06 등이 있다.

  기존의 iCAM06 방법은 바이래터럴 필터(Bilateral filter)를 이용하여 세부 정보를 분리시킨다[7-8]. 세 부 정보 분리는 톤 맵핑으로 입력인 HDR영상을 LDR의 디스플레이에 나타내기 위해 다이나믹 레인지를 압축하는 과정에서 필수적이다[9-12]. 하지만 iCAM06의 세부 정보 분리는 밝은 영역에서는 색상 저하를 발생시키고 어두운 영역 (dim surround region)에서는 잡음 증폭을 야기한다. 전체 장면에서의 세부 사항 (detail layer)을 보존하기 위한 이중 영상 처리가 저휘도 영역의 노이즈 시각화를 높이기 때문 이다. 어두운 영역의 휘도 레벨이 HDRI 렌더링을 통해 증가되면, 소량의 잡음이 쉽게 인지 될 수 있다. 따라서 어두운 영역에서는 톤 맵핑 시에 발생하는 잡음을 제거할 필요가 있다. 본 논문에서는 국부 표준 편차 (local variance)를 기반으로 적응적인 칼만 필터 (adaptive Kalman filter)를 사용하여 잡음을 제거한 후 두 이미지를 결합하는 방법을 제안한다. 본 논문은 2장에서 연구 배경에 대하여 소개하고, 3장에서는 제안한 적응적인 칼만 필터에 대하여 설명하며, 4장에서는 제안한 방법에 대한 검증 및 성능 평가를 위한 실험 결과를 제시한다.

 

2. 배경 이론

 2.1 iCAM06

  색 재현 모델 (Color Appearance Model ; CAM)은 다양한 시청 환경하에서 색상을 특정 지을 수 있는 색 표현 특성과 관계된 예측기를 포함하고 있다[4]. 다양한 시청 조건에서의 색은 시각적 속성에 특정된 인간 시각 시스템에 가깝도록 재현된다. CIECAM02 방법은 국제 조명위원회 (Commission internationale de l'éclairage ; CIE, 프랑스식 명칭)의 CAM 표준을 위해 개발되었으나 CIECAM02는 단순한 관찰 조건 하에서 단색 자극을 위해서만 사용될 수 있다. 실제 장면에 나타나는 해당 복잡한 자극을 재현하려면 고급 모델이 필요하고, 이를 위해서 기존의 CAM에서는 영상 현색 모델 (image appearance model)이 각 픽셀의 밝기, 채도 및 색조 등의 색 재현 특성을 예측 해야하고, 또한 대비 및 선명도와 같은 영상 재현 특성도 예측한다. iCAM은 로컬 휘도에 반응하는 HVS를 모방하도록 개발되었다. 이러한 이유로 iCAM은 HDRI 렌더링 기술에 적합하고, iCAM06은 HDRI 렌더링에 사용되는 수정된 iCAM의 하나이다. iCAM06은 보다 정확한 HDRI 렌더링을 위해 iCAM에 사용된 단일 스케일 가우시안 필터가 양측 필터라는 에지 저장 필터로 대체되었다. 양방향 필터는 이미지를 대규모 변형이 있는 기본 레이어와 세부 레이어로 나누고, 이미지의 디테일을 보존 할 때 기본 레이어 만이 색채 적응 및 톤 압축에 의해 처리된다.

 

2.2 양방향 필터

비선형 필터인 양방향 필터는 공간 도메인의 픽셀의 근접성 및 강도 도메인의 픽셀의 레벨 차이를 결정하여 계산한다. Bc는 픽셀 c에 대한 양방향 필터의 출력이고 다음과 같다[7].

 

\(\begin{aligned} &B_{c}\left(c, s, I_{c}, I_{s}\right)=\frac{1}{k(c)} \sum_{n=a l l} f(c-s) g\left(I_{c}-I_{s}\right) I_{s}\\ &k(c)=\sum_{s \in a l l} f(c-s) g\left(I_{C}-I_{S}\right) ; \text { normalization term } \end{aligned}\)       (1)

 

  여기서 s가 c의 인접 픽셀이고, \(l_c\)및 \(l_s\)는 픽셀 c 및 s에 대한 밝기 값이다. f및 g는 각각 공간 영역 및 세기 영역에서의 가우시안 함수이다. 공간 영역은 픽셀 위치를 의미하고, 세기 영역은 픽셀 값을 의미한다.

  양자 필터는 픽셀 그룹을 인식하고, 그 그룹은 강도 수준이 서로 비슷하고 기하학적 거리가 가까운 픽셀로 구성된다. 따라서 그룹 간의 경계는 가장자리로 결정된 후에 가장자리를 제외한 모든 곳이 흐려지게 된다. 이러한 특성 때문에 양측 필터는 에지 보존 필터 (edge-preserving filter)라고 불리기도 한다.

 

2.3 톤 매핑

  iCAM06은 인간 시세포의 비선형 반응 함수를 톤 맵핑을 위한 함수로 사용하고 있다[8-12]. 이때, 원추 시세포의 비선형 함수는 다음과 같다.

 

\(S^{\prime}=\frac{300\left(F_{L} S / Y_{\omega}\right)^{p}}{27.13+\left(F_{L} S / Y_{\omega}\right)^{p}}+0.1\)       (2)

\(F_{L}=0.2 k^{4}\left(5 L_{A}\right)+0.1\left(1-k^{4}\right)^{2}\left(5 L_{A}\right)^{1 / 3}\)       (3)

\(k=1 /\left(5 L_{A}+1\right)\)       (4)

                         

  여기서, S는 비선형 함수의 입력으로, 색 순응 모델이 적용된 삼자극치 RGB 중 하나의 채널을 의미 한다.  \(F_L\)은 iCAM06 내부의 휘도에 따라 변화하는 12 멀티미디어학회 논문지 제22권 제1호(2019. 1) 인간 시각 효과들을 예측하기 위한 요소로서 입력 영상을 가우시안 블러링한 white 영상의 휘도 성분인 \(Y_w \)의 0.2배인 \(L_A\)를 이용하여 정의된다. 사용자 제어 요소인 \(p\)는 비선형 반응 함수의 최대 기울기를 결정한다[13].

 

2.4 칼만 필터

  칼만 필터는 본질적으로 추정 된 오차 공분산을 최소화한다는 의미에서 최적인 예측기 교정기 유형 추정기를 구현하는 수학적 공식 세트다. 칼만 필터는 측정값에 확률적인 오차가 포함되고, 특정 시간에서의 상태가 이전 시간의 상태와 선형적인 관계를 갖는 경우에 사용이 가능하다. 칼만 필터가 도입된 이래로, 랜덤 노이즈를 제거하는 분야로 광범위한 연구와 응용의 대상이 되어왔다[14-15]. 일반적으로 선형 시스템에 대한 칼만 필터는 Fig. 1과 같이 수행된다.

  • step0 : 추정값 x 및 오차 공분산 P의 초기값을 설정한다.

  • step1 : 시스템 모델 변수 A와 Q를 이용하여 추정값과 공분산의 예측값을 계산한다. 

  • step2 : 예측된 추정값과 시스템 모델 변수 H와 R을 이용하여 칼만 이득 K을 계산한다.

  • step3 : 현재의 입력값과 예측된 추정값과 칼만 이득을 이용하여 현재의 추정값을 계산한다.

  • step4 : 오차 공분산값을 재계산한다.

  • step1∼4를 반복하여 잡음이 제거된 추정값을 얻을 수 있다.

FIg. 1. Dataflow diagram of linear system Kalman filter.

 

3. 국부 표준 편차에 의한 적응적 칼만 필터를 이용한 잡음 제거

  기존의 iCAM06 방법은 바이래터럴 필터를 이용하여 세부 정보를 분리시킨다. 하지만 iCAM06의 세부 정보 분리는 색상 저하와 잡음 증폭의 단점을 야기한다. 기본 디테일 이중 영상 처리에서 전체 장면의 보존된 세부 사항은 저휘도 영역의 노이즈 시각 화를 높입니다. 따라서 본 논문에서는 국부 표준 편차를 이용한 적응적 칼만 필터를 이용하여 저휘도 영역의 노이즈를 제거한 후에 베이스 영상과 합쳐지도록 하였다. Fig. 2에서 본 논문에서 제안한 알고리 즘의 전체 흐름도를 나타내었다.

  다음 식 (5)∼식 (9)는 2.3절과 Fig. 1에서 설명한 칼만 필터의 수식이다.

 

\(I^{\prime} \bar{D}, k=A I^{\prime}_{D, k-1}\)       (5)

\(P_{k}^{-}=A P_{k-1} A^{T}+Q \)       (6)

\(K_{k}=P_{k}^{-} H^{T}\left(H P_{k}^{-} H^{T}+R\right)^{-1}\)       (7)

\(I_{D, k}^{\prime}=I_{D, k}^{\prime-}+K_{k}\left(I_{D, k}-H I_{D, k}^{\prime}\right)\)       (8)

\(P_{k}=P_{k}^{-}-K_{k} H P_{k}^{-}\)       (9)

 

  여기서 아래첨자 k는 k번째 데이터를 나타내고, 위첨자 '는 예측값을 표현하고, 위첨자 ′(prime) 기호는 추정값을 나타낸다. \(I_{D, k}\)는 k번째 입력된 디테일 값이고, \(I'_{D, k}\) 는 추정값, \(I'^-_{D, k}\) 는 예측된 추정값, \(P_{k}^{-}\)예측된 오차공분산 K_K는 칼만 이득이다. 또한 A와 Q는 예측 과정에서 사용되는 시스템 모델 변수이고, H와 R은 추정과정에서 사용되는 시스템 모델 변수이다. 본 논문에서는 단순한 선형 데이터에 대해서 칼만 필터를 수행하여 잡음을 제거하기 때문에 A, H, 및 Q는 모두 1값을 사용하였다.

 

Fig. 2. Block diagram of the proposed method.

 

  양방향 필터에 의해서 분리된 베이스 레이어는 색 순응과 톤 압축 과정을 거친 후에 세부 레이어와 합쳐진다. 이때 보존된 디테일 성분에 의해서 어두운 배경 영역에서 잡음의 시각화가 두드러지게 된다. 어두운 배경 영역에 존재하는 잡음은 대부분 평균이 0인 랜덤 노이즈이기 때문에 일반적인 가우시안 필터나 평균 필터로 제거 가능하다. 하지만 이러한 필터들은 객체와 관심영역의 디테일 성분까지 제거하기 때문에 적절하지 못하다. 따라서, 객체의 디테일 성분은 보존하면서 발생된 잡음을 선택적으로 제거 할 필요가 있다. 다음식 10은 본 논문에서 사용한 국부 표준 편차 계산식이다.

 

\(f_{d}=\log \left[9 \frac{\operatorname{std}\left(I_{T}\right)}{\max \left(\operatorname{std}\left(I_{T}\right)\right)}+1\right]\)       (10)

 

  여기서, 함수 std(  )는 표준 편차를 나타낸다. 입력 영상 \(I_{T}\)에서 계산된 국부 표준 편차 \(f_{d}\)값을 이용하여 칼만 이득을 결정하게 된다. 일반적으로 어두운 배경 영역에서의 국부 표준 편차는 매우 낮은 값을 가지고, 객체 영역에서는 높은 값을 가진다. 따라서 국부 표준 편차 값이 낮은 경우 시스템 변수 R값을 크게 하여 칼만 이득을 낮추게 되면 추정값에 예측값의 영향이 커지므로 잡음을 쉽게 제거할 수 있다. 반대로 큰 값인 경우 추정값에 현재 입력값의 영향이 커져서 객체 영역에서의 디테일 성분이 잘 보존되게 된다. 국부 표준 편차를 이용한 R값 계산은 다음 식 11과 같다.

 

\(R=20\left(-\frac{\log \left(f_{d}\right)}{5.2}\right)^{20}\)       (11)

 

  세부 영상 레이어의 3개 채널 모두에 대해 필터링을 수행하게 되면 계산량이 너무 많아진다. 또한 채널별로 객체의 디테일 성분이 다른 경우 객체의 경계에서 색상 왜곡이 발생하기도 한다. 본 논문에서는 세부 영상 레이어를 IPT(Image processing Transform) 좌표계로 변환하여 I채널에만 칼만 필터를 하여 계산량을 1/3 으로 줄이고, 색 왜곡 문제를 제거하였다. 그러나 여전히 계산량이 많은 문제를 가지고 있다. I채널 전체에 대하여 수행하는 대신 국부 표준 편차의 임계값을 이용하여 선택적으로 수행하였다.

 

Fig. 3. Block diagram of the adaptive Kalman filter.

 

이때 계산과정에서 임계값에 의해 칼만 필터를 수행하지 않다가 다시 수행하게 되면 칼만 이득이나 오차 공분산과 같은 변수들이 현재 계산되는 화소값과 상관없는 값을 가지고 있을 수 있다. 따라서 Fig. 3과 같이 k-1의 데이터로 돌아가 다시 칼만 필터를 수행하게 되면 이를 방지할 수 있다. 모든 I채널 값에 대하여 칼만 필터를 하였을 경우와 국부 표준 편차의 임계값을 이용해 선택적으로 칼만 필터를 하였을 경우, 결과 영상을 비교하면 잡음 제거와 객체의 디테일 성분 보전의 성능이 비슷하지만 시간이 매우 단축된 것을 확인할 수 있다.

  칼만 필터에 의해 처리된 디테일 영상 \(I_p' \) ′은 양방 향 필터에 의해 베이스 영상과 합쳐지고 \(I_{sepa}\)영상으로 된다. 그림 2의 믹싱 부에서 식 12에 의해 국부 표준 편차에 가중된 값으로 최종 영상을 합성하게 된다.

 

\(I_{\text {out}}=f_{d} I_{\text {sepa}}+\left(1-f_{d}\right) I_{\text {nosepa}}\)       (12)

 

 (12) \(f_d\)가 클 경우 결과 영상에 \(I_{sepa}\)의 비중이 높게 되 고, 반대의 경우는 \(I_{nosepa}\)영상이 영향을 크게 미치게 된다.

 

4. 실험 결과

  영상 전체에 대하여 칼만 필터를 수행하게 되면 많은 계산 시간을 요구한다. Table 1에서는 본 논문 에서 실험한 알고리즘의 시간 비를 보여준다. t2값은 영상 전체에 칼만 필터를 취했을 때 계산에 걸린 시간을 나타내고, t1값은 국부 표준 편차를 이용하여 적응적 칼만 필터를 수행하였을 때 걸린 시간이다.

 

Table 1. Comparison of adaptive Kalman filter time(\(t_1\)) and normal Kalman filter time(\(t_2\))

 

Fig. 4. Experimental images (Las Vegas Store): (a)the result of iCam06.(b) the red scan line of the (a) image detail, (c) the result of Lee's (d)the red scan line of the (c) image detail, (e) the result of the proposed Kalman filter, and (f) the red scan line of the (e) image detail.

 

Fig. 5. Experimental images (Las Vegas Store): (a) the cropped detail layer of iCAM06, (b) the cropped detail layer of proposed, (c) the cropped total image of iCAM06, and (d) the cropped total image of proposed.

 

  Table 1에서 볼 수 있듯이 계산 시간이 많이 줄어듬을 확인할 수 있다.

  Fig. 4와 Fig. 5는 적응적 칼만 필터를 사용하여 어두운 영역의 노이즈를 제거한 결과를 보여준다. Fig. 4-(a)와 (c)는 각각 iCAM06과 Lee 등의 결과 영상이고,   Fig. 4-(e)는 제안한 방법의 결과이다. 그리고 Fig. 4-(b), (d) 및 (f)는 각 결과 영상에서 적색 주사선에 대한 세부 영상 레이어의 그래프이다.  (f)에서 볼 수 있듯이, 제안한 방법이 기존의 iCAM06 이나 Lee등의 방법보다 디테일 성분을 살리면서 어두운 영역의 잡음을 효과적으로 제거하는 것을 확인할 수 있다. Fig. 5-(a)와 (c)는 여전히 어두운 영역에 서 저 레벨의 노이즈를 포함하고 있다. 그러나 Fig. 5-(b)와 (d)에서 어두운 영역에 포함된 노이즈 성분이 제안된 적응형 칼만 필터를 통해 효과적으로 제거되었음을 확인할 수 있다. Fig. 6은 어두운 영역의 노이즈를 포함하는 또 다른 영상 예시를 보여준다. 빨간색으로 표시된 영역에서 제안 방법의 배경 노이즈가 상당히 감소되었음을 확인할 수 있다. 보다 더 명확한 비교를 위해 Fig. 5 및 Fig. 6 영상에 대한 세부 영상 레이어의 부분 영상을 Fig. 7에 나타내었다. 물체 영역의 디테일 묘사는 유사하게 표현된 반면 배경 영역의 노이즈는 제안 방법에 의한 영상에서 많이 개선되었음을 확인 할 수 있다.

 

Fig. 6. Experimental images (Flamingo hotel): (a) an image obtained using iCAM06 and (b) an image obtained using the proposed method.

 

Fig. 7. Experimental images (detail layers): (a) an image obtained using iCAM06 and (b) an image obtained using the proposed method.

 

5. 결 론

  HDR 영상 처리에서 톤 매핑은 입력 이미지를 LDR 이미지로 압축하는 과정이다. 입력과 출력 영상 간의 다이나믹 레인지가 크게 달라지기 때문에 대부분의 경우 디테일 보존이 톤 매핑 전에 이루어진다. 기존 방법들의 경우, 디테일 성분을 보존하는 과정에 서 결과 영상의 어두운 배경 영역에서 잡음 증폭이 발생한다. 이 잡음을 효과적으로 없앨 필요가 있다.

  본 논문에서는 기존의 iCAM06의 세부 정보 분리 에서 발생하는 문제점을 분석하고, 국부 표준 편차에 따라 분리 및 비분리 가중치를 적용하여 결과 영상을 합성한다. 세부 정보 분리와 보존에서 발생되는 어두운 영역의 잡음을 제거하기 위하여 국부 표준 편차에 따라 적응적인 칼만 필터를 적용하였다. 국부 표준 편차값을 이용하여 칼만 이득과 시스템 변수를 적절 하게 조정하여, 영상의 객체에서 나타나는 세부 정보는 보존하고, 어두운 영역에서 증폭된 잡음을 효과적으로 제거하였다. 이러한 결과로부터 경계 영역의 왜곡된 톤 맵핑 현상을 줄이고 어두운 영역의 노이즈를 감소시킬 수 있음을 확인하였다.