Adaptive Switching Filtering Algorithm for SAP noise

SAP 잡음 제거를 위한 적응적 스위칭 필터링 알고리즘

Abstract

The SAP(salt-and-pepper) noise changes the pixel value to the maximum and minimum values of the dynamic region of the pixel. For this reason, unlike white Gaussian noise, SAP noise can predict the ratio of noise relatively easily. Because the condition of the neighboring pixels that can be referenced changes according to the noise ratio, it is necessary to apply different noise reduction methods according to the noise ratio. This paper proposes an adaptive switching filtering algorithm which can eliminates the SAP noise. It consists of two phases. It first detects the location of the SAP noise and calculates the noise ratio. After that, the image is reconstructed using different methods depending on which of the three sections the calculated noise ratio belongs to. As a result of the experiment, the proposed method showed superior objective and subjective image quality compared to the previous methods such as MF, AFSWMF, NAMF and RWMF.

Ⅰ. 서론

영상 이미지는 취득, 저장 및 전송 또는 변환과정에서 다양한 잡음이 포함될 수 있다. 대표적인 잡음으로는 백색가우시안 잡음(white gaussian noise)과 SAP 잡음(salt and pepper noise)을 들 수 있다[1]. 이 중 SAP 잡음은 이미지 데이터의 전송오류 등에서 나타나며, 화소값을 0(undershoot) 또는 255(overshoot)로 변환하는 특징을 가지고 있는 잡음이다. SAP 잡음 자체가 화소값이 가질 수 있는 동적 범위(dynamic range)의 최대 또는 최소값으로 변화하기 때문에 적은 비율의 SAP 잡음도 이미지 품질을 크게 떨어뜨리게 된다.

잡음을 제거하기 위한 방법들은 꽤나 오래전부터 다양한 방식으로 연구되어 왔다. 대표적인 방법으로 다양한 형태의 저역통과필터(low-pass filter)를 통해 잡음을 제거하는 방법들이 제안되었다[2, 3]. 이러한 방법은 백색가우시안 잡음에는 매우 좋은 효과를 보이지만 임펄스 잡음에 해당하는 SAP 잡음에는 잡음 위치 근처에서 잡음이 퍼지는 역효과가 발생할 수 있다. 이러한 SAP 잡음 제거를 위해 가장 전통적으로 사용하던 방법은 미디언 필터링 기법이다. 이는 이미지 전체에 대해서 화소값의 중간값으로 복원위치의 화소값을 대체한다. 하지만 SAP 잡음 비율이 높은 경우 성능이 크게 떨어지는 단점이 있다. 이를 해결하기 위한 방법으로 가변블록 크기를 사용하는 AMF(adaptive median filter) 방법[4)과 이에 기반한 DBMF(decision-based median filter) 방법[5], IMF(iterative median filter) 방법[6], 그리고 MMF(min-max filter) 방법[7] 등이 소개되었다.

최근에는 퍼지 스위칭 가중 필터를 이용하여 SAP 잡음을 제거하는 AFSWMF(adpative fuzzy switching mean filter)방법[8]이 Yang 등에 의해서 제안되었다. 이는 이전의 여러 SAP 잡음제거 방법과 유사하게 SAP 잡음 검출 단계와 SAP 잡음 복원 단계로 구성되어 있다. 첫 번째 단계에서는 잡음의 크기에 따라 각 화소의 위치를 세 가지(잡음이 큰 경우, 잡음이 작은 경우, 잡음이 없는 경우)로 구분한다. 이후 각 구분된 잡음의 양에 따라 서로 다른 방법의 가중 평균을 이용하여 화소값을 복원한다. Zhang 등이 제안한 NAMF(non-local adaptive mean filter) 방법[9]은 일반적으로 백색가우시안 잡음을 제거하는데 사용되는 non-local mean 필터를 SAP 잡음 제거에 맞도록 수정한 방법으로 높은 SAP 잡음 비율에서 상대적으로 좋은 성능을 보인다. 마지막으로 SAP 잡음 제거 알고리즘의 적용과정에서 사용된 주변 잡음이 없는 화소의 수에 따라 복원 화소값의 신뢰도를 산정하고 이러한 신뢰도를 이용하여 복원 이미지에 대한 후처리를 수행하는 RWMF(reliability-based weighted mean filter) 방법[10]이 제안되었다. 이는 서로 다른 주변화소의 값을 사용하여 이미지를 복원하는 다양한 SAP 잡음 제거 알고리즘의 후처리 과정으로 적용될 수 있다는 장점을 가진다.

백색가우시안잡음과는 다르게 SAP 잡음은 잡음의 위치 및 이미지 전체에서 잡음 비율을 예측하기가 수월하다. 제안하는 알고리즘은 이렇게 예측된 SAP 잡음비율을 이용한다. 먼저 SAP 잡음비율을 세 개의 구간을 나누고 각 구간별로 서로 다른 잡음 제거 기법을 적용하는 적응적 스위칭 필터링(AFS, adaptive switching filtering) 방법을 제안한다. 각 구간에서 적용되는 방법의 타당성은 46개의 이미지에 대해서 객관적 화질 측면에서 평가하였으며 약 90%정도 내외의 정확도로 해당 구간에서 가장 좋은 성능을 발휘하였다.

논문의 구성은 먼저 2장에서 제안하는 알고리즘과 연관된 기반 기술인 non-local 필터, bilateral 필터 그리고 reliability-based weighted 필터에 대해서 간략히 소개한다. 3장에서는 제안하는 알고리즘에서의 SAP 잡음 위치 검출 및 잡음 비율 산출방식과 각 잡음 비율별 적용하는 각각의 요소 잡음제거 기법에 대해서 기술한다. 4장에서는 제안하는 알고리즘의 성능 평가를 위해 46개의 실험 이미지에 적용한 결과와 이전의 대표적인 방법을 이용한 결과와의 차이점을 객관적 화질 및 주관적 화질 측면에서 비교하였으며, 마지막 절에서 결론을 맺는다.

Ⅱ. 관련 이론

이번 절에서는 제안하는 알고리즘과 연관된 대표적인 필터링 기법으로서 non-local mean 필터링, bilateral 필터링, 그리고 reliability-based weighted 필터링에 대해서 기술한다.

2.1 non-local mean 필터링

non-local mean 필터링은 이미지에서 백색가우시안잡음(white-gaussian noise)을 제거하는데 효과적으로 사용되는 방법으로 많은 잡음제거 알고리즘의 기본 이론으로 활용되고 있다.

먼저 잡음이 포함된 이미지 Y = (y_i,j) ∈ R^M×N가 있을 때 non-local mean 필터링을 통해 잡음이 제거된 이미지 Z = (z_i,j) ∈ R^M×N는 다음 식과 같이 표현될 수 있다.

\(\begin{aligned}z_{i, j}=\frac{1}{W_{n}} \sum_{m, n \in \Omega_{i, j}} y_{i, j} \exp \left(-\frac{\left\|y_{i, j}-y_{m, n}\right\|^{2}}{2 h^{2}}\right)\end{aligned}\)       (1)

여기서, Ω_i,j는 (i,j) 위치의 잡음 화소값을 복원하는데 사용하는 주변 화소 영역을 의미하고, ||y_i,j - y_m,n||는 위치 (i,j) 위치와 (m,n) 위치 데이터 값들 간의 유클리드 거리를 나타내며 식 (2)와 같다.

\(\begin{aligned} \| y(i) & -y(j) \|^{2} =\sqrt{(y(i)-y(j))^{T} \times(y(i)-y(j))}\end{aligned}\)       (2)

h는 화소값의 변화에 따른 가중함수에 대한 사용자 파라미터이며, W_n은 필터의 계수 값을 정규화하기 위해 사용된 값으로 다음과 같이 표현될 수 있다.

\(\begin{aligned}W_{n}=\sum_{m, n \in \Omega_{i, j}} \exp \left(-\frac{\left\|y_{i, j}-y_{m, n}\right\|^{2}}{2 h^{2}}\right)\end{aligned}\)       (3)

다시 말해 non-local mean 필터링 방법은 복원하고자 하는 위치의 화소값과 유사한 주변화소 값에 높은 가중치를 두어 화소값을 복원하는 기법이다.

2.2 bilateral 필터링

bilateral 필터링 기법은 백색가우시안 잡음을 제거하기 위해 사용되는 필터링 기법 중 하나이다. 일반적인 가우시안 필터링이 이미지 전체적으로 적용되어 평탄영역 뿐만 아니라 에지영역까지도 블러링(blurring) 현상이 발생하는 반면 bilateral 필터링은 이미지의 에지는 보존하면서 잡음을 제거하는 필터링 기법이다.

앞에서와 동일하게 먼저 잡음이 포함된 이미지 Y = (y_i,j) ∈ R^M×N가 있을 때 bilateral 필터링을 통해 잡음이 제거된 이미지 Z = (z_i,j) ∈ R^M×N는 다음 식과 같이 표현될 수 있다.

\(\begin{aligned}z_{i, j}=\frac{1}{W_{p}} \sum_{m, n \in \Omega_{i, j}} y_{i, j} F G\end{aligned}\)       (4)

 where, 

F=f_r(||y_i,j-y_m,n||) 

G=g_s((i-m)²+(j-n)²) 

여기서, f_r(.)는 복원하고자 하는 화소값과 주변 화소값과의 차이값에 반비례하도록 필터 계수를 결정한 필터(이를 range filter라 함)이고, g_s(.)는 복원 화소값 위치와 주변화소의 위치 사이의 유클리디언 거리(Euclidean distance)에 반비례하도록 계수가 결정된 필터이다. 마지막으로 W_p는 bilateral 필터의 정규화를 위해 사용된 값으로 다음 식과 같이 표현될 수 있다.

\(\begin{aligned}W_{p}=\sum_{m, n \in \Omega_{i, j}} F G\end{aligned}\)       (5)

일반적으로 f_r(.) 및 g_s(.) 필터로 가우시안 커널이 사용되며 이때 (i,j)위치의 화소값을 복원하기 위해 주변화소 (m,n)위치 화소의 가중치 값을 나타내는 필터의 계수 w_i,j,m,n은 식(6)과 같이 표현될 수 있다.

\(\begin{aligned}\begin{array}{l}w_{i, j, m, n}= \exp \left(-\frac{(i-m)^{2}+(j-n)^{2}}{2 \sigma_{d}^{2}}-\frac{\left\|y_{i, j}-y_{m, n}\right\|^{2}}{2 \sigma_{r}^{2}}\right)\end{array}\end{aligned}\)       (6)

개념적으로 말하면 bilateral 필터링 기법은 기존의 가우시안 필터링 계수와 복원위치의 화소값과 유사한 화소 값을 가지는 주변 화소에 큰 가중치를 두는 필터계수의 곱으로 이루어진 필터를 이용하여 잡음을 제거하는 것이다. 이를 통해 에지는 보존하면서 평탄영역의 잡음 효과적으로 제거할 수 있게 되는 것이다.

2.3 reliability-based weighted 필터링

신뢰도 기반의 가중 필터링 기법은 기존의 여러 SAP 잡음 제거 방법을 사용하여 일차로 복원된 이미지의 추가 보정을 위한 필터링 방법이다[10]. 여러 잡음 제거 알고리즘들의 공통적인 특징은 일정 영역 내에 포함되는 잡음이 없는 화소값을 사용하여 이미지를 복원한다는 것이다. 이 과정에서 사용되는 주변화소의 개수는 위치마다 다를 수 있다. 즉, 주변에 잡음이 없는 화소가 많은 경우는 잡음이 없는 화소가 적은 경우와 비교하여 보다 높은 신뢰도를 가지고 복원할 수 있을 것이다.

임의의 잡음제거 방법을 적용하여 일차로 복원한 이미지를 Z = (z_i,j) ∈R^M×N라 할 때 reliability-based weighted 필터링을 통해 추가 보정된 최종적인 복원 이미지 \(\begin{aligned}\hat{Z}=\left(\hat{z}_{i, j}\right) \in R^{M \times N}\end{aligned}\)는 다음과 같이 표현될 수 있다.

\(\begin{aligned}z_{i, j}=\frac{1}{W_{r}} \sum_{m, n \in \Omega_{i, j}} y_{m, n} M_{m, n}\end{aligned}\)       (7)

여기서 M_m,n은 (m,n)위치에서의 복원과정에 사용된 주변화소의 개수에 비례하는 신뢰도 가중치를 의미한다. 마지막으로 W_r는 reliability-based weighted 필터의 정규화를 위한 것으로 다음 식과 같이 표현될 수 있다.

\(\begin{aligned}W_{r}=\frac{1}{W_{r}} \sum_{m, n \in \Omega_{i, j}} M_{m, n}\end{aligned}\)       (8)

Ⅲ. 제안하는 알고리즘

제안하는 SAP 잡음 제거 알고리즘은 잡음의 비율에 따라 세 가지 중 하나의 방법을 적응적으로 선택하며 알고리즘의 전체 블록 다이어그램은 그림 1과 같다.

<그림 1> 제안하는 알고리즘의 블록다이어그램

제안하는 SAP 잡음제거 방법은 크게 두 단계로 구성되어 있다. 먼저 첫 번째 단계에서는 SAP 잡음의 위치를 검출하고, 이를 바탕으로 0 ≤ P_SAP ≤ 100의 값을 가지는 SAP 잡음 비율(%)을 산정한다. 이후 두번째 단계에서는 P_SAP 값에 따라 세 가지의 서로 다른 적응적 스위칭 필터(AFS, adaptive switching filter) 즉, ASF1, ASF2, 그리고 ASF3를 이용하여 SAP 잡음 이미지를 복원한다.

3.1 SAP 잡음 위치 검출 및 잡음비율 산정

SAP 잡음 검출 단계는 [9]에서 사용한 잡음 검출 방법과 동일한 방법을 적용하였다. 간략히 설명하면 먼저 X = (x_i,j) ∈ R^M×N를 잡음이 포함되지 않은 원이미지라 하고, Y = (y_i,j) ∈ R^M×N를 SAP 잡음이 포함된 이미지라 할 때 두 이미지 화소값 사이의 관계는 식 (9)와 같다.

\(\begin{aligned}y_{i, j}=\left\{\begin{array}{ll}x_{i, j}, & \text { for } 100-P_{S A P} \\ 0,255, & \text { for } P_{S A P}\end{array}\right.\end{aligned}\)       (9)

따라서 SAP 잡음의 위치 \(\begin{aligned}\bar{P}=\left(\bar{p}_{i, j}\right) \in\{0,1\}\end{aligned}\)는 식(10)와 같이 직관적으로 화소값이 0 또는 255인 위치를 선택함으로써 검출 할 수 있다.

\(\begin{aligned}\tilde{p}_{i, j}=\left\{\begin{array}{ll}1 & , y_{i, j}=0 \text { or } 255 \\ 0 & , \text { otherwise }\end{array}\right.\end{aligned}\)       (10)

여기서 \(\begin{aligned}\bar{p}_{i, j}=1\end{aligned}\)인 위치가 SAP 잡음의 위치가 되는 것이다. 하지만 실제 화소값이 0 또는 255를 가지는 경우가 있기 때문에 화소값 위치에 대한 추가적인 보정이 필요하다. 먼저 \(\begin{aligned}\bar{p}_{i, j}=1\end{aligned}\)인 화소 위치에 대해서, 중심이 (i,j)이고, (2w + 1) × (2w + 1)의 크기를 가지는 영역 Ω^(2w+1)(2w+1)_i,j영역 내에 포함된 \(\begin{aligned}\bar{p}_{m,n}=0\end{aligned}\)의 개수를 다음 식과 같이 산출한다.

\(\begin{aligned}c_{i, j}(w)=\operatorname{count}\left(\bar{p}_{m, n}=0\right), \\\operatorname{for} \; m, n \in \Omega_{i, j}^{(2 w+1) \times(2 w+1)}\end{aligned}\)       (11)

여기서, count(.)은 (.)의 조건을 만족하는 개수를 의미한다. 윈도우의 크기를 지정하는 w는 1부터 시작하며, c_i,j(w) > 0이 될 때 까지 1씩 증가시키며, 최대 w = w_max까지 증가시킨다. w = w_max까지 윈도우의 크기가 증가되어도 여전히 c_i,j(w) = 0인 경우, Ω^(2w+1)(2w+1)_i,j 영역 내에서 현재 복원위치의 값인 y_i,j와 동일한 값의 개수 비율을 다음과 같이 산정한다.

\(\begin{aligned}\begin{array}{c}r_{i, j}(w)=\frac{\operatorname{count}\left(y_{m, n}=y_{i, j}\right)}{(2 w+1) \times(2 w+1)} \\ \quad \text { for } m, n \in \Omega_{i, j}^{(2 w+1) \times(2 w+1)}\end{array}\end{aligned}\)       (12)

이후 r_i,j(w) 값이 임계값(threshold)보다 큰 경우 해당 위치의 화소값은 원이미지의 실제값으로 판단한다. 따라서 최종적으로 검출된 SAP 잡음의 위치 P = (p_i,j) ∈ {0, 1}는 다음과 같다.

\(\begin{aligned}p_{i, j}=\left\{\begin{array}{ll}0 & , r_{i, j}(w)>T \\ \bar{p}_{i, j} & , \text { otherwise }\end{array}\right.\end{aligned}\)       (13)

이상의 과정을 통한 잡음 검출 위치를 통해 전체 잡음 비율을 다음과 같이 구할 수 있다.

\(\begin{aligned}P_{S A P}=\frac{1}{M \times N} \sum p_{i, j} \times 100\end{aligned}\)       (14)

3.2 SAP 잡음 화소 복원

제안하는 SAP 잡음 제거 알고리즘은 앞서 산출된 P_SAP에 따라 ASF1, ASF2, 그리고 ASF3 방법을 적용한다.

3.2.1 Adaptive Switching Filter 1 (ASF1)

먼저 ASF1은 식 (14)에서 산출된 잡음비율이 P_SAP ≤ 50인 경우 적용하는 방법으로 다음과 같이 크게 두 단계로 구성되어 있다.

<그림 2> ASF1 방법의 2 단계 구성

첫 번째 단계인 WAGD(weighted average using geometric distance) 단계는 SAP 잡음의 검출위치 주변에 위치한 잡음이 없는 화소값들의 가중평균을 이용하여 복원한다. (i,j) 위치의 값을 복원하기 위해 사용되는 주변 화소값 (m,n) 위치 화소값에 대한 가중치를 나타내는 g^i,j_m,n는 다음 식과 같이 표현될 수 있다.

\(\begin{aligned}g_{m, n}^{i, j}=\frac{1}{W_{g}}\left(1-p_{i, j}\right)\left(\frac{1}{2 \pi \sigma^{2}} e^{-\left(\frac{(i-m)^{2}+(j-n)^{2}}{2 \sigma^{2}}\right)}\right)\end{aligned}\)       (15)

여기서 W_g는 가중치의 정규화를 위해 사용되는 값으로 식(16)과 같다.

\(\begin{aligned}W_{g}=\sum_{m, n \in \Omega_{i, j}}\left(1-p_{i, j}\right)\left(\frac{1}{2 \pi \sigma^{2}} e^{-\left(\frac{(i-m)^{2}+(j-n)^{2}}{2 \sigma^{2}}\right)}\right)\end{aligned}\)       (16)

이 과정에서 주변 영역의 크기는 w = 1부터 시작하여 식 (11)의 c_i,j(w) > 0이 될 때까지 최대 w = w_max까지 증가시키는 가변 블록 크기를 적용한 다. 만일 w = w_max인 경우에도 여전히 c_i,j(w) = 0인 경우에는 좌측, 좌상측, 상측의 미리 복원된 화소값들의 평균을 사용하여 대상 화소 값을 복원한다. 이상의 WAGD 과정을 통해 복원된 이미지 Z = (z_i,j) ∈ R^M×N는 식 (17)과 같다. WAGD 과정은 이후 ASF2와 ASF3에 공통적으로 적용된다. ASF1의 두 번째 단계는 이전 단계에서 산출된 WAGD의 결과 이미지에 2.2절에서 기술한 bilateral 필터링을 수행하는 단계로 이는 SAP로 복원된 위치에 남아 있는 임펄스 성분을 잡음인 것으로 간주하여 추가적인 잡음 제거를 수행하는 것이다.

\(\begin{aligned}z_{i, j}=\left\{\begin{array}{ll}\frac{\sum_{m, n} g^{i, j}_{m, n} \times\left(1-p_{m, n}\right) \times y_{m, n}, \quad m, n \in \Omega_{i, j}^{(2 w+1) \times(2 w+1)}}{\sum_{m, n}\left(1-p_{m, n}\right), \quad m, n \in \Omega_{i, j}^{(2 w+1) \times(2 w+1)}} & \text { for } c_{i, j}(w)>0 \\ \frac{z_{i-1, j-1}+z_{i-1, j}+z_{i, j-1}}{3} & \text { for } c_{i, j}(w)=0\end{array}\right.\end{aligned}\)       (17) 

3.2.2 Adaptive Switching Filter 2 (ASF2)

제안하는 방법 내의 ASF2 기법은 잡음 비율이 50 < P_SAP ≤ 85인 경우에 적용되며, 이 역시 다음과 같이 2 단계로 구성되어 있다.

<그림 3> ASF2 방법의 2 단계 구성

즉, ASF1의 bilateral 필터링 대신에 2.3절에서 소개한 reliability-based weighted 필터링을 적용한 것으로 주변화소에 대한 반복적인 보정을 수행하기 때문에 잡음비율이 비교적 높을 때 효과적이다. 이러한 ASF2 방법은 [10]의 방법과 동일한 구조를 가진다.

3.2.3 Adaptive Switching Filter 3 (ASF3)

마지막으로 ASF3 방법은 잡음 비율이 가장 큰 경우 인 P_SAP > 85인 경우 적용되는 방법으로 다음과 같은 세 단계 구조를 가진다.

첫 번째 단계인 WAGD는 앞의 방법들과 동일하고 두 번째 단계에서는 2.1절에서 기술한 non-local mean 필터링을 적용한다. 이 두 단계는 [9]의 NAMF 방법과 유사하다. 이후 세 번째 단계에서 bilateral 필터링을 한 번 더 수행한다. 개념적으로 잡음 제거 필터링이 연속적으로 2번 적용된 셈이라 가장 높은 잡음 비율에 효과적이다. 

<그림 4> ASF3 방법의 3 단계 구성

Ⅳ. 실험 및 분석 결과

제안하는 알고리즘의 성능검증을 위해 총 46개의 이미지(176×14 크기의 17개 이미지, 352×28 크기의 15개 이미지, 그리고 512×512 크기의 14개 이미지)를 대상으로 실험을 수행하였다. P_SAP 잡음 비율은 10% ~ 90%까지 10%의 간격으로 모두 9개의 경우를 고려하였으며, 기존의 전통적인 SAP 잡음 제거 기법인 MF, AFSWMF[8], NAMF[9], RWMF[10], 그리고 제안하는 방법을 적용하여 잡음 영상을 복원하였다. 제안하는 방법은 앞서 기술한 바와 같이 P_SAP 값에 따라 ASF1, ASF2, 그리고 ASF3 방법을 선택적으로 적용한다.

먼저 잡음 비율에 따른 적응적 SAP 잡음 제거 기법 선택의 타당성을 확인하기 위해 실험에 사용된 전체 46개의 영상에 대해서 MF, AFSWMF, NAMF, ASF1, ASF2, ASF3를 나누어 복원된 이미지의 객관적 화질을 다음의 식을 이용하여 산출하였다.

\(\begin{aligned} & P S N R=20 \log _{10}\left(\frac{255}{\sqrt {M S E}}\right)\\ & where,\\ & M S E=\frac{1}{m n} \sum_{i=0}^{n-1} \sum_{j=0}^{m-1}\left(x(i, j)-\hat{x}_{m}(i, j)\right) \\ & m= methods \end{aligned}\)       (18)

표 1 ~ 표 3은 각각의 잡음 비율에 대해서 MF, AFSWMF, NAMF, ASF1, ASF2 및 ASF3의 방법을 각각 사용한 경우, 가장 높은 객관적 화질을 가지는 이미지의 수를 나타내고 있다. 예를 들어 표 1의 P_SAP=10인 경우를 살펴보면, 전체 46개의 잡음 이미지 중 93.48%에 해당하는 43개의 이미지에서 ASF1 방법이 가장 높은 객관적 화질을 가짐을 의미한다. 이 결과에서 볼 수 있듯이 잡음 비율에 따른 ASF1, ASF2, AFS3의 객관적 화질 측면에서의 평균 정확도는 각각 86.96%, 94.93%, 그리고 91.30%로 각각의 잡음 비율에 따라 제안하는 알고리즘의 적응적 SAP 잡음 제거 선택 방법이 매우 적절하다는 것을 확인할 수 있다.

<표 1> 전체 46개 이미지의 잡음 비율이 0≤P_SAP≤50인 경우에 대해서 각각의 방법으로 복원했을 때 최대의 객관적 화질을 가지는 이미지의 수와 차지하는 비율

<표 2> 전체 46개 이미지의 잡음 비율이 50<P_SAP≤80인 경우에 대해서 각각의 방법으로 복원했을 때 최대의 객관적 화질을 가지는 이미지의 수와 차지하는 비율

<표 3> 전체 46개 이미지의 잡음 비율이 P_SAP>80인 경우에 대해서 각각의 방법으로 복원했을 때 최대의 객관적 화질을 가지는 이미지의 수와 차지하는 비율

이제 잡음 비율에 따라 AFS1, AFS2, AFS3를 적응적으로 적용한 최종적으로 제안하는 방법과 이전의 MF, AFSWMF, NAMF, RWMF 방법의 객관적 화질은 표 4와 같다. 결과에서 확인할 수 있듯이 제안하는 방법은 P_SAP에 관계없이 모든 잡음 비율에 대해서 같거나 높은 객관적 화질을 가짐을 알 수 있다.

<표 4> 잡음 비율이 서로 다른 전체 46개 잡음 이미지에 대해서 MF, AFSWMF, NAMF, RWMF 그리고 제안하는 방법을 적용했을 때 복원 이미지의 평균 객관적 화질(PSNR) 비교

그림 5는 P_SAP = 10, 30, 50, 70, 90인 경우에 대해서 각 이미지 크기별로 AFSWMF, NAMF, RWMF, 그리고 제안하는 방법의 평균 PSNR을 나타낸다. 다양한 이미지의 크기 및 잡음 비율에 관계없이 제안하는 방법의 객관적 화질이 우수함을 알 수 있다.

<그림 5> 잡음비율이 각각 10%, 30%, 50%, 70%, 90%일 때 각 이미지 크기별로 AFSWMF, NAMF, RWMF, 그리고 제안하는 방법의 평균 PSNR 비교

마지막으로 그림 6은 P_SAP = 40인 경우 dollar.bmp 영상에 대해서 MF, AFSWMF, NAMF, RWMF, 그리고 제안한 방법을 통한 복원영상의 주관적 화질을 비교하고 있다. 확대한 텍스트 부분에서도 확인 할 수 있는 것처럼 제안하는 방법은 주관적 화질측면에서 우수한 성능을 보임을 알 수 있다.

<그림 6> dollar.bmp 이미지의 잡음 비율이 P_SAP=40%인 (a) 잡음 이미지에 대해서 (b) MF (c) AFSWMF (d) NAMF (e) RWMF, 그리고 (f)제안하는 방법을 사용하여 복원 이미지의 주관적 화질 비교

Ⅳ. 결론 및 향후연구

일반적인 백색가우시안 잡음과는 다르게 SAP 잡음은 잡음비율을 추정하기가 용이하다. 잡음 비율에 따라 참조할 수 있는 주변 화소에 대한 조건은 변화하기 때문에 잡음 비율에 따라 항상 서로 다른 잡음 제거 방법을 적용할 필요가 있다. 제안하는 방법은 SAP 잡음 비율을 세 개의 구간으로 나누고 각 구간별 서로 다른 SAP 잡음 제거 방법을 적용하는 적응적 스위칭 필터링 방법을 제안하였다. 객관적 화질 측면에서 고려한 방법이 가장 높은 성능을 보이는 확률은 세 개의 구간에서 각각 86.96%, 94.93%, 그리고 91.30%에 달하는 것으로 확인되었다. 이러한 적응적 필터 적용방법을 잡음 비율에 관계없이 제안하는 방법은 모든 이미지에 대해서 높은 객관적 및 주관적 화질을 보이는 것으로 나타났다. 따라서 야간 CCTV를 비롯한 SAP 잡음 환경의 영상화질 개선에 효과적으로 적용될 수 있을 것이다.

향후 백색 가우시안 잡음에 대한 잡음 비율 추정방법의 고안함과 동시에 적응적 잡음 제거 방법의 적용 확대를 연구하고자 한다.