MRF-based Adaptive Noise Detection Algorithm for Image Restoration

영상 복원을 위한 MRF 기반 적응적 노이즈 탐지 알고리즘

Abstract

In this paper, we presents a spatially adaptive noise detection and removal algorithm. Under the assumption that an observed image and the additive noise have Gaussian distribution, the noise parameters are estimated with local statistics, and the parameters are used to define the constraints on the noise detection process, where the first order Markov Random Field (MRF) is used. In addition, an adaptive low-pass filter having a variable window sizes defined by the constraints on noise detection is used to control the degree of smoothness of the reconstructed image. Experimental results demonstrate the capability of the proposed algorithm.

본 논문에서는 공간 적응적인 노이즈 검출 및 제거 방식에 대해 제안한다. 관측 영상 및 첨가 노이즈가 가우시안 분포 특성을 갖고 있다는 가정 하에 국부 통계 특성을 이용하여 노이즈 매개 변수들을 예측하며, 예측된 매개변수들은 1차 마르코프 랜덤 장과 연동하여 노이즈 검출 과정의 제약 조건을 설정하기 위해 사용된다. 더불어, 노이즈 검출 과정에서 설정된 제약 조건에 따라 제안된 가변 크기의 적응 저주파 통과 필터를 사용하여 적응적으로 복원 영상의 완화 정도를 제어하였다. 실험 결과를 통해 제안 방식의 효율성을 입증할 수 있었다.

1. 서 론

일반적으로 디지털 영상은 통신 오류, 저장 시스템 오류, 영상 획득 시스템 특성 등에 의해 원 영상에 노이즈가 첨가된 왜곡 형태로 표현 된다[1]. 첨가 노이즈는 비디오 압축, 객체 인식 시스템 등의 다양한 응용 시스템의 주요 성능 저하 원인이 된다. 그러므로 다양한 영상 및 비전 시스템 성능의 극대화를 위해서는 원 영상에 존재하는 윤곽선 등의 미세 정보를 보존하면서 노이즈 성분만을 효과적으로 제거할 수 있는 기법이 필요하다.

지난 30 여년간 노이즈 제거 기법과 관련된 많은 연구가 진행되어 왔으며, 특히 적응 미디언 필터(median filter) 기법은 연산량의 효율성으로 인해 많은 응용 분야에서 사용되어 왔다[1-6]. 그러나 미디어 필터 기법은 윤곽선 영역에서 심각한 열화 현상을 발생하여 윤곽선 보존을 개선하기 위한 적응적인 쌍방향 필터 (bilateral filter) 기법이 연구되었다[7]. 위의 기법들은 노이즈 검출 과정을 수행하지 않은 관계로 노이즈에 의한 왜곡 정도가 작은 경우 복원 영상에서 열화 현상에 의한 왜곡 정도가 많아지게 되는 문제점을 갖고 있다. 이와 같은 문제점을 해결하기 위해 노이즈 검출 과정과 연동된 노이즈 제거 기법이 최근 10여년간 활발히 연구되어 왔다. 특히, 통계 가설 테스트 (statistical hypotheses tests) 기반 노이즈 검출 및 제거 기법은 방향성에 따른 화소 사이의 연관성을 노이즈 유무 및 왜곡 정도를 예측하기 위해 사용하였다[8]. 그러나 상기 기법은 국부 통계 특성으로부터 효과적인 완화 제약 조건에 대한 설정이 미흡한 이유로 노이즈 정도에 따른 효과적인 영상을 복원하는데 한계가 있다. 더불어, 노이즈 매개 변수예측을 기반으로 하는 노이즈 제거 기법은 윤곽선 등의 중요 정보 영역에 대한 처리에 한계성으로 성능 향상의 한계성을 나타내고 있다[9].

본 논문에서는 왜곡 영상의 국부 통계 특성을 사용하여 노이즈 매개 변수를 예측하고, 이에 따라 적응적으로 노이즈 제거하는 기법에 대해 제안한다. 예측된 매개 변수들은 윤곽선 정보 등의 중요 특성을 보존하기 위해 1차 마르코프 랜덤 장 (Markov Random Field)과 연동하여 노이즈 검출 과정을 정의한다. 더불어 노이즈 검출기에서 정의된 각 화소의 노이즈 정도에 따라 복원 영상의 완화도를 제어하기 위해 가변 윈도우 크기 (variable window size)의 보정된 가우시안 필터 (modified Gaussian filter)가 적용된다.

본 논문은 다음과 같이 구성되었다. 2장에서는 제안된 노이즈 검출 및 제거 기법에 대해 기술한다. 특히, 국부 통계 특성 및 1차 마르코프 랜덤 장 기반의 노이즈 검출 기법에 대해 정의하고, 이에 따른 노이즈 제거를 위한 완화 제약 조건 및 필터 기법에 대해 기술한다. 3장에서는 실험 결과 및 분석에 대해 설명하고, 마지막으로 4장에서는 결론을 내린다.

 

2. 제안된 노이즈 검출기 및 제거 기법

임의의 원 영상이 신호 독립적인 첨가 노이즈에 의해 왜곡된 경우 2차원 좌표계에서 (i,j)번째 화소의 왜곡 모델은 다음과 같이 기술될 수 있다[1].

위 식에서 x,y, 및 n은 원 영상, 관측 영상 및 첨가 노이즈를 의미 한다. 효과적으로 노이즈를 제거하기 위해서는 노이즈 위치 및 노이즈 정도를 검출하고, 이와 같은 정보를 노이즈 제거 과정에 활용하는 바람직스러우나 이와 관련된 정보는 활용하기에 매우 제한적이다. 일반적으로 국부 활동성 (local activity) 및 밝기 정보 (brightness)는 국부 분산 및 국부 평균에 의해 표현되며, 영상 f의 (i,j)번째 화소에 대한 가중 국부 평균 및 표준편차는 (i,j)번째 화소를 기준으로 (2K+1) × (2K+1) 크기의 정사각형 창 (square window) 내의 화소들을 이용하여 다음과 같이 정의된다.

및

위 식에서 ω(m,n)은 (m,n)번째 가중치 계수 값을 의미하고 |.| 는 절대값 연산자 (absolute operator)를 의미한다. 본 연구에서는 연산량 절감을 위해 K=1 및 균일 가중치 계수 (uniform coefficients)를 사용하였다.

첨가 노이즈에 대한 정보는 매우 제한적이므로 노이즈를 효과적으로 제거하기 위해서는 적합한 예측을 필요로 하며 다양한 형태로 정의될 수 있다[9-12]. 기존 방식들은 관측 영상에 단순 저주파 통과 필터 (low-pass filter)를 적용하여 원 영상과의 오차 정보를 노이즈 예측 정보로 활용하였다. 상기 방식들은 단순 저주파 통과 필터를 사용한 관계로 원 영상과의 오차 정보에 윤곽선 정보가 존재하게 되며, 이로 인해 윤곽선 정보를 노이즈 정보 판별하게 되는 문제점을 갖게 된다. 이와 같은 문제점을 해결하기 위해 본 연구에서는 식 (2) 및 (3)에 정의된 매개 변수들을 기반으로 보정된 가우시안 필터를 관측 영상에 적용하였으며, 필터링된 영상과 관측 영상과의 오차 정보를 노이즈 검출 과정에 사용하였다. (i,j)번째 화소를 기준으로 3×3 필터 창 내의 필터 계수들은 다음과 같이 결정된다.

위 식에서 -1≤m,n≤1으로 설정하였으며, Z1및 L1은 정규화 상수 및 보정 매개 변수를 나타낸다. 식 (4)의 필터 계수들은 국부 활동성 및 국부 평균값이 커질수록 작은 값을 갖도록 설정하도록 되어 있는 관계로 원 영상과 필터링된 영상의 오차 신호에 윤곽선 정보를 줄일 수 있는 장점이 있다. 이와 같은 결과는 인간 시각 시스템과 부합한 특성을 갖고 있다[13]. 식 (4)를 이용한 예측 노이즈는 다음과 같이 기술된다.

위 식에서 ∗는 콘볼루션 (convolution) 연산자를 의미한다. 관측 영상 및 노이즈 특성이 평균값 ‘0’을 갖는 가우시안 분포 특성을 갖고 있다는 가정 하에 원 영상에 대한 예측 정보는 다음과 같이 결정된다.

및

화소 간에 급격한 값의 변화가 없다면 y(i,j)와 의 차이 값이 커질수록 y(i,j)는 노이즈에 의한 왜곡 정도는 심한 것으로 간주할 수 있다. 위의 특성을 기반으로 노이즈 검출 함수를 다음과 같이 정의한다.

식 (8)에서 T1 및 T2는 임계치를 의미하며 (T2>T1), 는 y(i,j)가 노이즈에 의해 왜곡 정도가 큰 경우 ‘2’로 정의하였으며, 왜곡 정도가 작은 경우 ‘1’로 표현하였다. 일반적으로 노이즈 검출기에서 사전에 정의된 임계치를 사용하는 경우 노이즈 검출기의 성능은 노이즈 양 및 원 영상의 국부 활동성에 매우 민감한 특성을 갖게 된다. 이미 언급한 바와 같이 왜곡되지 않은 (i,j)번째 화소 y(i,j)는 를 기준으로 일정 범위 내에 존재하여야 한다. 더불어, 식 (8)의 임계치들은 가 클수록 작은 값으로 설정되어야 한다. 상기와 같은 특성을 반영하여 가우시안 확률 분포를 갖는 에 대해 일차 미분한 값을 기준으로 임계치를 다음과 같이 설정하였다.

식 (9)에서 T1은 실험에 근거하여 결정하였으며, 노이즈 검출 과정에 대한 예를 그림 1에 나타내었다.

그림 1.노이즈 검출 과정 예

위의 노이즈 검출 과정은 화소간의 급격한 변화에 없는 영역에서 매우 효과적이지만 윤곽선 등의 중요 영역이 노이즈로 판별되어 노이즈 제거 과정에서 열화 현상을 초래할 수 있는 문제점이 있다. 이와 같은 문제점을 해결하기 위해 윤곽선 영역이 연속성을 지니고 있다는 특성을 이용하여 1차 마르코프 랜덤 장기반의 노이즈 검출 과정을 다음과 같이 보정하게 된다.

그림 2와 같이 식 (8)에서 결정한 노이즈 검출 값 의 1차 마르코프 랜덤 장 내의 인접 값들이 노이즈 성분으로 판정된 경우 연속성을 지닌 윤곽선 정보로 분류하여 해당 화소를 비 왜곡 화소로 보정한다. 1차 마르코프 랜덤 장을 이용한 보정된 노이즈 검출기는 다음과 같이 기술될 수 있다.

그림 2.1차 마르코프 랜덤 장의 예

식 (10)의 노이즈 검출기 특성은 다음과 같다. 가 ‘2’로 결정된 화소 y(i,j)는 고립된 (isolated) 노이즈에 의해 왜곡 정도가 심한 경우를 의미하며, ‘1’로 정의된 화소는 왜곡 정도가 약한 경우를 나타내며, ‘0’으로 판별된 경우는 노이즈 성분이 존재하지 않거나 연속성을 지닌 윤곽선 영역의 화소를 의미한다.

식 (10)의 노이즈 판별 결과를 기반으로 첨가 노이즈 정도에 따라 노이즈 제거 과정을 수행하게 된다. 복원 영상의 과잉 열화 현상 문제점을 해결하기 위해서는 노이즈 정도에 따라 저주파 통과 필터 정도를 효과적으로 설정하여 복원 영상의 완화도를 제어할 필요가 있다. 더불어 동일한 노이즈 양이 밝은 영역에 존재하는 경우가 어두운 영역보다 시각적으로 불편한 현상이 있는 특성을 반영하여 다음과 같은 가변필터 크기의 보정된 가우시안 필터를 사용하였다.

위 식에서 U는 필터 창 크기를 의미하여, Z2 및 L2는 필터 상수들을 나타낸다. 더불어, 식 (11)의 노이즈 양에 따른 필터 창 크기는 다음과 같이 설정하였다.

식 (11) 및 (12)의 필터를 이용한 복원 영상은 다음과 같다.

제안된 노이즈 검출 및 제거 방식은 원 영상 및 노이즈에 대한 사전 정보 없이 노이즈 성분을 효과적으로 제거할 수 있는 방식으로서 제안 방식의 전체 흐름도 (flow chart)는 그림 3과 같다.

그림 3.제안 방식의 흐름도

 

3. 실험 결과 및 분석

제안된 방식을 다양한 영상에 적용하였으며, 다양한 signal to noise ratio (SNR)의 가우시안 노이즈를 원 영상에 첨가하여 실험하였다. 노이즈 검출 방식의 성능을 평가하기 위해 노이즈 검출 신뢰도 (DF)를 이용하였으며 다음과 같이 정의된다.

위 식에서 FP, MP 및 TP는 노이즈 검출 오류 화소 수, 노이즈 검출 분실 화소 수 및 총 화소 수를 의미한다. 노이즈 검출 오류는 비 왜곡 화소를 왜곡된 화소로 판별한 경우를 의미하며, 노이즈 검출 분실은 왜곡 화소를 비 왜곡 화소로 판별한 경우를 의미한다. 또한, 복원 영상의 성능 비교를 위해 peak signal to noise ratio (PSNR) 및 structural similarity index (SSIM)을 사용하였다[14].

실험을 통해 노이즈 검출 과정에서 사용된 식 (4)의 상수 범위는 0.01 ≤ L1 ≤ 0.1에서 검출 오류를 최소화하기에 적합함을 확인할 수 있었다. 더불어, 식 (12)의 필터 상수 L2값이 작을수록 관측 영상에 강한 저주파 통과 필터 (strong low-pass filter)가 적용되어 복원 영상에 열화 현상을 초래하고, L2값이 커질수록 관측 영상에 약한 저주파 통과 필터 (weak low-pass filter)가 적용되어 노이즈 제거에 비효율적임을 알 수 있었다. 본 논문에서는 L1 = L2 = 0.05을 사용하였으며, 256 × 256 크기의 “Lena”, “Cameraman” 및 “Goldhill” 영상에 대한 실험 결과 및 분석 내용에 대해 기술한다.

표 1-표 3에 제안 방식과 쌍방향 필터 (ABF) 기법 [7], 통계 가설 및 테스트 (SHTF) 기법 [8] 및 노이즈 예측 기반 (FAEF) 기법 [9]의 성능 비교를 DF, PSNR, 및 SSIM 측면에서 기술하였다. 실험 결과를 통해 제안된 노이즈 검출 방식의 정확성이 비교 방식들보다 높음을 확인할 수 있었으며, 복원 영상의 PSNR 및 SSIM 결과도 일관적으로 우수함을 알 수 있었다. 특히, 노이즈 양이 작을수록 비교 방식과의 성능 차이가 커지는 결과를 통해 노이즈에 의한 왜곡정도가 심할수록 노이즈 제거 필터의 역할이 중요하며, 왜곡 정도가 약할수록 노이즈 검출기의 역할이 상대적으로 중요함을 확인할 있었다. 그러나 원 영상 및 노이즈에 대한 사전 정보는 매우 제한적인 관계로 국부 통계 특성 등을 효과적으로 활용하여 노이즈 정보를 예측할 필요가 있음을 제안 방식을 통해 확인할 수 있었다. 더불어, 10 dB 노이즈에 의해 왜곡된“Lena” 영상 결과에서 FAEF 기법의 노이즈 검출 성능이 SHTF 기법의 성능보다 우수함에도 불구하고 노이즈 제거 결과는 SHTF 기법이 우수함을 확인할 수 있다. 상기 결과는 노이즈 검출기 성능이 노이즈 제거의 성능을 일관적으로 보장하지 않음을 나타내고 있다.

표 1.“Lena” 영상에 대한 성능 비교

표 2.“Cameraman” 영상에 대한 성능 비교

표 3.“Goldhill” 영상에 대한 성능 비교

제안 방식과 비교 방식들과의 시각적 성능 비교를 위해 그림 3-그림 5에 부분 확대 영상, 10 (dB) 노이즈에 의한 왜곡 영상, ABF 적용 복원 영상, SHTF 적용 복원 영상, FAEF 적용 복원 영상 및 제안 방식 적용 복원 영상을 도시하였다. 비교 방식들을 적용한 결과는 국부 활동성이 많은 윤곽선 등의 중요 영역에서 열화 현상이 존재하며, 부분적으로 노이즈 성분이 잔재하고 있음을 확인할 수 있다. 반면에 제안 방식은 기타 방식들과 비교하여 상대적으로 윤곽선 영역의 열화 현상이 작으며 효과적으로 노이즈 성분을 제거했음을 알 수 있다.

그림 4.“Lena” 영상에 대한 실험 결과 (a) 원 영상, (b) 10dB 노이즈가 첨가된 왜곡 영상, (c) SHTF 적용 결과 영상, (d) ABF 적용 결과 영상, (e) FAEF 적용 결과 영상, (f) 제안 방식 적용 결과 영상

그림 5.“Cameraman” 영상에 대한 실험 결과 (a) 원 영상, (b) 10dB 노이즈가 첨가된 왜곡 영상, (c) SHTF 적용 결과 영상, (d) ABF 적용 결과 영상, (e) FAEF 적용 결과 영상, (f) 제안 방식 적용 결과 영상

그림 6.“Goldhill” 영상에 대한 실험 결과 (a) 원 영상, (b) 10dB 노이즈가 첨가된 왜곡 영상, (c) SHTF 적용 결과 영상, (d) ABF 적용 결과 영상, (e) FAEF 적용 결과 영상, (f) 제안 방식 적용 결과 영상

위와 결과로부터 제안 방식은 관측 영상의 국부 통계 특성을 활용하여 원 영상 및 노이즈 정보에 대한 사전 정보 없이 효과적으로 노이즈 제거할 수 있음을 확인할 수 있었다.

 

4. 결 론

본 논문에서는 공간 적응적인 노이즈 검출 및 제거 방식을 제안하였다. 영상 및 노이즈 특성이 가우시안 분포 특성을 갖고 있다는 가정 하에 관측 영상으로부터 통계 특성 및 매개 변수를 예측하였으며, 예측된 매개 변수 및 1차 마르코프 랜덤 장을 노이즈 검출 과정에 적용하여 화소별 노이즈 정도를 판별하였다. 상기 판별 결과를 기반으로 가변 크기의 보정된 가우시안 필터를 적용하여 복원 영상의 완화도를 효과적으로 제어하도록 하였다. 실험 결과를 통해 제안 방식의 객관적, 주관적 성능의 우수성을 입증할 수 있었다.