Ⅰ. 서 론
일반적으로 salt & pepper 잡음은 임펄스 잡음의 특별한 경우이며, 개별 화소의 일정 비율에 무작위로 두개의 극단적인 강도로 디지털화되는 것이다. 이 강도는 최소치 및 최대치를 가지며, 디지털 영상의 획득 및 처리, 전송, 기록하는 과정에서 발생한다. 따라서 원 화상에 salt & pepper 잡음이 집중된 경우, 정보 또는 데이터가 손상될 수 있기 때문에 에지 검출이나 분할 등의 화상 처리 작업이 수행되기 전에 salt & pepper 잡음의 제거는 필수적이다[1,2].
이러한 salt & pepper 잡음을 제거하기 위하여 많은 기법들이 제안되었고 대표적인 공간영역 기법에는 SMF(standard median filter), CWMF(center weighted median filter), SWMF(switching median filter), AWMF (adaptive weighted median filter) 등이 있다. 그러나 이러한 필터들은 고밀도 잡음이 첨가된 경우 잡음 제거 특성이 저하된다[3-8].
따라서 본 논문에서는 영상에 첨가되는 salt & pepper 잡음의 영향을 완화하기 위하여, 잡음판단을 통해 비잡음인 경우 원 화소로 대치하고, 잡음인 경우 Lagrange 보간법을 이용하여 처리하는 알고리즘을 제안하였다. 또한 고밀도 잡음이 첨가되어 잡음제거가 불가능한 경우, 반복 처리하여 영상의 잡음 제거 특성을 향상시켰다. 그리고 제안된 알고리즘의 잡음제거 성능의 우수성을 입증하기 위해, PSNR(peak signal to noise ratio)을 이용하였으며, 기존의 방법들과 그 성능을 비교하였다[9,10].
Ⅱ. 기존 방법
2.1. CWMF
CWMF는 가중치 필터의 한 형태로 중심 화소에 대해서만 2K+1의 가중치를 적용하고 기타 화소에 대해서는 가중치 1을 적용하며 식 (1)과 같다.
여기서, K는 양의 정수이고, K=0일 경우 CWMF 필터는 메디안 필터가 되고, (p,q)는 마스크의 내부 좌표를 나타낸다. 중심 화소의 가중치가 클 경우, 영상의 에지 성분에 대한 보존특성은 우수해지는 반면 잡음제거에 한계가 발생한다[3,4].
2.2. SWMF
SWMF는 중심화소 xi,j와 영상 마스크 내의 화소값들을 정렬하여 얻어진 중간값과의 차이값에 threshold를 적용하여 잡음 여부를 판단한 후, 필터링 처리 여부를 결정하며 식 (2)와 같다[5,6].
여기서, Med는 메디안 값을 나타내며, TD는 threshold 값이다.
2.3. AWMF
AWMF는 마스크의 각 화소와 화소들의 메디안 값과 의 차이에 따라 적응 가중치를 부여하며, 식 (3)과 같이 표현된다[7,8].
여기서 M은 마스크의 메디안 값을 나타내고, w는 가중치를 나타내며, 파라메타 f는 각 화소와 메디안 값의 차에 의해 결정된다. AWMF는 저주파 영역에서는 우수한 잡음제거 특성을 나타내지만, 화소값이 급격히 변하는 고주파 영역에서는 잡음제거 특성이 다소 미흡하다.
Ⅲ. 제안한 알고리즘
본 논문에서는 영상에 첨가되는 salt & pepper 잡음의 영향을 완화하기 위하여 잡음 판단을 거친 후, 저밀도 잡음인 경우, Lagrange 보간법과 메디안 값을 이용하여 처리하고, 고밀도 잡음이 첨가되어 잡음제거가 불가능한 경우, 반복 처리하는 알고리즘을 제안하였다.
3.1. Salt & pepper 잡음
Salt & pepper 잡음에 의하여 훼손된 영상에서 i,j의 위치에 있는 화소 xi,j는 식 (4)와 같다.
여기서 P는 잡음 밀도를 나타내며, S은 salt & pepper 잡음에 훼손된 잡음 화소값을 나타내고, I는 원영상의 화소값을 나타낸다.
본 논문에서 salt & pepper 임펄스 잡음을 제거하는데 salt & pepper 잡음 신호의 화소값은 xmin과 xmax 를 가진다.
3.2. Lagrange 보간법
Lagrange 보간법은 다항식 보간법(polynomial interpolation)의 한 방법으로, 그림 1과 같이, n개의 데이터를 이용하여 유일한 (n-1)차 다항식을 결정하는 방법이다. Lagrange 보간법의 일반적인 형태는 식 (5)와 같다.
그림 1.Lagrange 보간법 Fig. 1 Lagrange Interpolation
여기서, Li는 가중평균으로 식 (6)과 같이 정의된다.
따라서 식 (5), (6)으로부터 가중평균 Li(x)는 식 (7)과 같은 조건을 만족한다.
결과적으로 식 (5)는 n개의 데이터를 지나는 유일한 (n-1)차 다항식이 된다.
3.3. 잡음제거
Step 1. 일반적으로 salt & pepper 잡음 신호의 화소값은 xmin과 xmax 를 가지며 중심화소의 잡음 판단은 식 (8)과 같다[11].
식 (8)에서 1과 0은 각각 비잡음 신호와 잡음 신호를 나타낸다.
Step 2. 비잡음 신호로 판단된 경우, 식 (9)와 같이 원화소로 대치한다.
Step 3. 잡음 신호로 판단된 경우, 그림 2와 같은 5 × 5 마스크를 사용하며 식(10)과 같이 표현된다.
그림 2.방향성 마스크 Fig. 2 Directional Mask
그림 2에서 C는 임펄스 잡음에 훼손된 중심화소이다.
Step 5. 중심화소 xi,j를 중심으로 그림 2과 같이 방향성을 고려하여, 네 개의 방향 집합으로 나누며, (m=1:4)로 정의된다. 부분 집합 는 식 (11)과 같다.
Step 6. 잡음화소 검출에 의해 각 방향 벡터를 2진화 형태로 나타낼 경우, 식(12)와 같이 표현된다.
여기서 ud는 집합 의 요소를 나타낸다.
Step 7. 그림 2에서와 같이 방향성 마스크에서 임펄스 잡음의 수가 적은 순서로 정렬하여 두 방향과 잡음화소 검출 벡터를 식 (13)과 같이 처리한다.
Step 8. 의 비잡음 요소를 검출하며, 식 (14)와 같이 구한다.(l = 1:2)
여기서 kd는 Al, Bl의 요소를 나타낸다.
Step 9. kd ≥ 3일 경우, Lagrange 보간법을 적용하며 식 (15)와 같다.
여기서, Li는 가중평균을 나타내며, r은 보간하고자 하는 독립변수로 3이다.
Step 10. Lagrange 보간법을 이용한 최종 출력은 식 (16)과 같다.
Step 11. kd ≥ 3 조건을 만족하지 못할 경우, 가중치 메디안으로 처리하며, 가중치 마스크는 식 (17)과 같다.
Step 12. M 마스크에 가중치를 적용한 비잡음 요소의 집합 Ψ는 식 (18)과 같이 나타낸다.
여기서 k는 가중치가 적용된 비잡음 요소수이다.
Step 13. 비잡음 요소수에 따른 가중치 메디안 필터의 최종 출력은 식 (19), (20), (21)과 같이 나타낸다.
k가 홀수인 경우, 비잡음 신호들을 오름차순으로 정렬한 후 메디안 값을 구하며 식 (19)과 같다.
k가 짝수인 경우, 비잡음 신호들을 오름차순으로 정렬한 후 메디안을 구하기 위해 식 (20)과 같이 표현된다.
고밀도 잡음이 첨가된 영상의 경우, k가 0이므로 미처리된 화소의 수 ϵ이 증가하게 되며 그 경우에는 식 (21)과 같이 그대로 보존한 후 반복 처리한다.
Step 14. 반복 처리 과정에서 미처리 수 ϵ가 0이면 종료하고, 전처리 ϵr-1과 현제 ϵr가 동일할 때, 최종적으로 7 × 7 마스크로 확장하여 메디안 필터로 처리한다.
Ⅳ. 시뮬레이션 및 결과
본 논문에서는 512 × 512 크기의 8비트 그레이 영상인 Pepper, Goldhill에 대해 salt & pepper 잡음을 첨가하여 시뮬레이션하였으며, 또한 영상의 개선 정도를 평가하기 위하여 PSNR을 사용하여 기존의 CWMF, SWMF, AWMF로 성능을 비교하였다. PSNR은 식 (22), (23)과 같이 표현된다.
여기서 R, C는 이미지 가로, 세로크기를 나타낸다.
그림 3은 제안한 알고리즘의 우수한 잡음 제거 특성을 입증하기 위해, Pepper 영상에 고밀도의 임펄스 잡음(P=70%) 첨가하여, 기존의 방법들과 제안한 방법의 시뮬레이션하였다.
그림 3.Pepper 영상에 대한 시뮬레이션결과(a) 원 영상 (b) 잡음 영상(c) CWMF (d) SWMF (e) AWMF (f) PFA Fig. 3 Simulation result of Pepper image (a) Orignal image (b) Noise image (c) CWMF (d) SWMF (e) AWMF (f) PFA
그림 3에서 (a)는 원 영상이고, (b)는 임펄스 잡음 (P=70%)에 훼손된 영상이며, (c)는 CWMF(5 × 5), (d)는 SWMF(5 × 5), (e)는 AWMF(5 × 5), (f)는 제안한 필터 알고리즘(PFA: proposed filter algorithm)로 처리한 결과이다.
시뮬레이션 결과로부터, CWMF, SWMF 및 AWMF는 고밀도 잡음 환경에서 다소 미흡한 잡음제거 특성을 나타내고 있으며, 제안한 알고리즘은 고밀도 잡음 환경에서 우수한 잡음 제거 특성을 나타내고 있다.
제안한 알고리즘의 잡음제거 특성을 확인하기 위해, 그림 4에서 Pepper 영상에 (250, 150) 화소를 중심으로 상하좌우 각각 50화소 영역을 원 영상과 처리된 영상의 3D 오차 profile로 나타내었다.
그림 4.Pepper 영상에 대한 3D 오차 profile(a) CWMF (b) SWMF (c) AWMF (d) PFA Fig. 4 3D error profile of Pepper image (a) CWMF (b) SWMF (c) AWMF (d) PFA
3D 오차 profile로부터, CWMF, SWMF 및 AWMF는 고밀도 잡음환경에서 높은 오차 수치를 나타내고 있으나 제안한 알고리즘으로 처리한 영상에서는 낮은 오차 수치를 나타내어 우수한 잡음제거 특성을 나타내었다. 그림 5, 6은 각각의 필터들에 의해 복원된 Pepper, Goldhill 영상에 대한 PSNR을 비교한 것이다.
그림 5.Pepper 영상의 PSNR 그래프 Fig. 5 PSNR graph for Pepper image
그림 6.Goldhill 영상의 PSNR 그래프 Fig. 6 PSNR graph for Goldhill image
여기서, 기존의 방법들은 잡음밀도가 적은 경우 잡음제거 특성이 우수하였으며 잡음 밀도가 40% 이상으로 높아짐에 따라 잡음제거 특성이 급격히 미흡해지는 특성을 나타내었다.
그리고 제안한 알고리즘은 저밀도 잡음의 경우, Lagrange 보간법과 메디안 값을 이용하여 처리하고, 고밀도 잡음의 경우, 영상을 반복처리 하여 성능을 개선하였으며, 그 결과 일반 필터의 감쇄 특성 유형과는 다소 다르게 나타났으며, 잡음 밀도 변화에 따른 PSNR 특성은 기존의 방법들에 비해 우수한 결과를 얻었다.
Ⅴ. 결 론
본 논문은 salt & pepper 잡음 환경에서 훼손된 영상을 복원하기 위하여 잡음 판단을 거친 후, 비잡음인 경우 원 화소로 대치하고, 잡음인 경우 Lagrange 보간법을 이용하여 처리하였다. 고밀도 잡음이 첨가되어 잡음 제거가 불가능한 경우, 반복 처리하는 알고리즘을 제안하였다.
시뮬레이션 결과, 제안한 알고리즘은 salt & pepper 잡음 밀도 변화에 따른 잡음 제거 특성이 기존의 방법들보다 우수한 PSNR 결과를 나타내었다. salt & pepper 잡음(P=95%)의 고밀도 잡음에 훼손된 Pepper 영상은 23.73[dB]의 높은 PSNR을 보이고 있고, 기존의 CWMF, SWMF, AWMF에 비해 각각 17.40[dB], 17.70[dB], 17.70[dB] 개선되었다.
따라서 제안한 알고리즘은 salt & pepper 잡음의 영향을 완화시켜 운용되고 있는 시스템에 유용하게 적용될 것으로 사료된다.
참고문헌
- K. K. V. Toh, H. Ibrahim, and M. N. Mahyuddin, "Salt-and-pepper noise detection and reduction using fuzzy switching median filter," IEEE trans. Consumer Electron., vol. 54, no. 4, pp. 1956-1961, Nov.2008. https://doi.org/10.1109/TCE.2008.4711258
- R. C. Gonzalez and R.E. woods, Eds., Digital Image Processing, Prentice Hall, 2007.
- S. J. Ko and Y. H. Lee, "Center weighted median filters and their applications to image enhancement," IEEE Trans. Circuits Syst. vol. 38, pp.984-993, Sept. 1991. https://doi.org/10.1109/31.83870
- Xu Long and Nam-Ho Kim, "The Modified Median Filter using Standard Deviation in Impulse Noise Environment", JKIICE, vol. 17, no. 7, pp. 1725-1731, July 2013.
- Z. Wang and D. Zhang, "Progressive switching median filter for the Removal of impulse noise form highly corrupted images", IEEE Trans Circuits and systems-II: Analog and Digital signal Processing, vol. 46, no. 1, Jan. 1999.
- Se-Ik Kwon and Nam-Ho Kim, "A Study on Modified Spatial Weighted Filter in Mixed Noise Environments", JKIICE, vol. 19, no. 1, pp. 237-243, Jan 2015.
- Jiahui Wang and Jingxing Hong, "a New Selt-Adaptive Weighted Filter for Removing Noise in Infrared images," IEEE Information Engineering and Computer Science, ICIECS International Conference, 2009.
- Xu Long and Nam-Ho Kim, "An Improved Adaptive Median Filter for Impulse Noise Removal", JKIICE, vol. 17, no. 4, pp. 989-995, 2013.
- Gao Yinyu and Nam-Ho Kim, "The Modified Filter to Remove Impulse Noise", JKIICE, vol. 15, no. 4, pp. 1177-1182, May 2011.
- T. Quan-hua, Y. Jun, L. Jin-e, and Y. Zhou,, "A New Image Denoising Method", IEEE International Conference on Intelligent Computation Technology and Automation Vol. 2, PP.78-82, Oct. 2008.
- V. Gupta and M. Shandilya, "Image de-noising by dual threshold median filter for random valued impulse noise", IEEE Engineering(NUiCONE), pp.1-5, 2012.