Feasibility Study of Non Local Means Noise Reduction Algorithm with Improved Time Resolution in Light Microscopic Image

광학 현미경 영상 기반 시간 분해능이 향상된 비지역적 평균 노이즈 제거 알고리즘 가능성 연구

Abstract

The aim of this study was to design fast non local means (FNLM) noise reduction algorithm and to confirm its application feasibility in light microscopic image. For that aim, we acquired mouse first molar image and compared between previous widely used noise reduction algorithm and our proposed FNLM algorithm in acquired light microscopic image. Contrast to noise ratio, coefficient of variation, and no reference-based evaluation parameter such as natural image quality evaluator (NIQE) and blind/referenceless image spatial quality evaluator (BRISQUE) were used in this study. According to the result, our proposed FNLM noise reduction algorithm can achieve excellent result in all evaluation parameters. In particular, it was confirmed that the NIQE and BRISQUE evaluation parameters for analyzing the overall morphologcal image of the tooth were 1.14 and 1.12 times better than the original image, respectively. In conclusion, we demonstrated the usefulness and feasibility of FNLM noise reduction algorithm in light microscopic image of small animal tooth.

본 연구의 목적은 시간 분해능이 향상된 비지역적 평균 (fast non local means, FNLM) 노이즈 제거 알고리즘을 모델링하여 광학 현미경 영상에서의 적용 가능성을 확인하는 것이다. 이를 위해 실제 흰쥐 (mouse)의 첫째어금니 치아를 사용하여 영상을 획득한 후 기존에 널리 사용되고 있는 노이즈 제거 알고리즘과 제안하는 FNLM 알고리즘을 각각 적용하여 비교하였다. 정량적 평가는 대조도 대 잡음비 (contrast to noise ratio, CNR), 변동계수 (coefficient of variation, COV), 그리고 최근에 개발된 no reference 기반의 방법인 natural image quality evaluator (NIQE)와 Blind/referenceless image spatial quality evaluator (BRISQUE)를 사용하였다. 결과적으로 모든 정량적 평가 인자에서 제안하는 FNLM 노이즈 제거 알고리즘이 가장 우수한 값을 나타내었다. 특히나 치아의 전체적인 형태학적 영상을 분석할 수 있는 NIQE와 BRISQUE 인자는 원본영상에 비하여 각각 1.14와 1.12배 향상됨을 확인할 수 있었다. 결론적으로 소동물 치아 광학 현미경 영상에서의 FNLM 노이즈 제거 알고리즘의 유용성 및 가능성을 증명하였다.

Ⅰ. INTRODUCTION

광학 현미경 (light microscope)은 목적하는 대상에 빛을 조사 후 통과한 정보를 렌즈에 의해 실상을 맺어 확대된 상을 관찰할 수 있는 영상 장치이다. 일반적인 광학 현미경은 하나의 원통 양 끝에 대물렌즈와 접안렌즈를 결합한 형태로 만들어 지며 배율이 클수록 목적하는 대상을 크고 자세히 나타낼 수 있는 특징이 있다. 이러한 현미경은 일반 물리적 현상들을 규명할 때 널리 사용되고 기초생물학 분야에서도 조직을 세포 수준에서 형태나 기능을 확인 확인하기 위해 사용하는 가장 기본적인 장치이다.[1,2] J. Y. Kim 등이 수행한 연구에서는[1] 흰쥐 (mouse) 어금니에 교정력을 가한 후 치주 조직에서의 osteopontin과 osterix의 발현양상을 광학 현미경 영상을 이용하여 분석한 결과를 보여주었고, J. L. Fereira 등이 수행한 연구에서는[2] 고온에 노출된 후의 치과적 분석 방법 개발 등의 결과 도출 시 현미경을 사용하였다.

광학 현미경을 기반으로 한 치아 영상획득 시 발생되는 노이즈는 진단 및 형태 관찰 등에 큰 문제를 일으킨다.[3] 이러한 노이즈를 줄일 수 있는 방법은 크게 하드웨어 성능 향상과 소프트웨어 기반의 접근이 있다. 그 중 영상처리 기법을 활용한 소프트웨어 기반 접근은 쉽게 노이즈를 제거할 수 있으며 최근 4차 산업 혁명 분야와도 유사성이 매우 높은 방법으로 알려져 있어 활발하게 연구가 수행되고 있다.[4,5] 영상처리 기법 중 가장 널리 사용되는 방법은 주변 픽셀들의 중간값으로 노이즈를 감소시키는 median filter를 사용하는 것이다. 또한, 입력값과 출력값을 가능한 가깝게 변환시켜 노이즈를 제거시켜주는 Wiener filter도 널리 사용되고 있다. 하지만 이러한 filter들은 노이즈 제거 시 원하는 영역에도 함께 blurring이 생기는 단점이 있다. 또한, 이들 방식은 픽셀 주위의 다른 픽셀들 몇 개만을 취해서 그 값들의 평균값 등으로 원래의 값을 변경하므로 자신들의 이웃들에 한해서만 이루어지는 단점을 가지고 있다. 이러한 단점들을 해결하기 위해 영상의 경계 (edge) 부분을 보완할 수 있는 total variation (TV) 노이즈 제거 알고리즘이 개발되었다.[5] 이 알고리즘은 L. I. Rudin 등에 의해 norm 기반의 원리가 소개되었고[6] 기본 신호에 경계 부분을 보존하기 위하여 정규화 인자들을 적용하여 최적화 문제를 해결할 수 있도록 모델링되며 기본 수식은 아래와 같다.

여기서 은 노이즈 정보 데이터, 은 구분되어져 있는 신호, 그리고 λ는 정규화 인자로 0보다 크게 설정하여 평활화 정보를 조절할 수 있다.

TV 노이즈 제거 알고리즘은 경계 부분 보존에는 최적화되어 있지만 임상적으로 적용하기에 어려운 단점과 더불어 영상처리 시간이 긴 단점이 있다. 이러한 단점들을 해결하기 위하여 개발된 것이 시간 분해능이 향상된 비지역적 평균 (fast non local means, FNLM) 노이즈 제거 알고리즘이다. 하지만 FNLM 노이즈 제거 알고리즘을 광학 현미경 영상에 적용한 결과는 거의 이루어지지 않았다. 따라서 본 연구의 목적은 FNLM 노이즈 제거 알고리즘을 모델링하여 실제 흰쥐의 치아 영상을 광학 현미경으로 얻어 적용 후 그 가능성을 평가하는 것이다. 제안하는 알고리즘의 유용성을 증명하기 위하여 기존에 개발되었던 median filter와 TV 노이즈 제거 알고리즘을 추가로 모델링하였고 영상의 정량적 평가는 대조도 대 잡음비 (contrast to noise ratio, CNR), 변동계수 (coefficient of variation), no reference-based evaluation parameter such as natural image quality evaluator (NIQE), 그리고 blind/referenceless image spatial quality evaluator (BRISQUE)를 사용하였다.

Ⅱ. MATERIAL AND METHODS

1. 광학 현미경 영상 획득

광학 현미경 영상을 얻기 위하여 발생중인 흰쥐의 첫째어금니 조직표본을 제작하였고, X40 배율의 영상을 획득하였다.

2. 제안하는 fast non local means (FNLM)
노이즈 제거 알고리즘 모델링

Fig. 1은 원본으로부터 열화 작동 과정에서 기본적인 노이즈 정보가 포함된 영상 및 최종 복원 영상까지의 획득 과정의 모식도이다.

Fig. 1. Basic schematic diagram of acquired final image with noise information.

원본영상이 열화되면서 발생되는 노이즈를 효율적으로 감소시킬 수 있는 방법 중 제안하는 FNLM 노이즈 제거 알고리즘은 지역 평균 (non local means, NLM) filter라고도 불리우며, 기본적으로 영상의 모든 픽셀의 평균을 취하는 형태로 프로세싱이 진행된다.[7,8] 지역 평균을 기반으로 한 기본 FNLM 노이즈 제거 알고리즘의 수식은 아래와 같다.

여기서 는 정규화 상수, 는 Gaussian 커널, 그리고 는 filtering 인자이다. NLM 노이즈 제거 알고리즘을 사용할 때 가장 큰 관심부분은 영상처리 시의 낮은 시간 분해능이다. 낮은 시간 분해능 문제를 해결하기 위해 가속 함수 (acceleration function)을 고속 퓨리에 변환과 유클리드 거리 (euclidean distance)를 사용하여 최종 알고리즘을 모델링 하였다.[8]

3. 영상의 정량적 평가

기본적인 노이즈 레벨을 평가하기 위하여 CNR과 COV를 사용하였다. CNR과 COV의 수식은 아래와 같다.

여기서, 와 는 설정된 ROI 영역에서 신호강도의 평균과 표준편차이며, 와 는 background 영역에서 평균과 표준편차, σ는 신호 강도의 표준편차, 그리고 μ는 신호강도의 평균값이다. 강도의 표준편차 값으로 정의된다. Fig. 2는 CNR과 COV를 계산하기 위한 관심영역 (region of interest, ROI) 설정 예시이다.

Fig. 2. Example light microscopic image using mouse tooth including ROIs for calculation of contrast to noise ratio (ROI A and B) and coefficient of variation (ROI A).

추가적으로 최근에 개발된 레퍼런스 영상 없이 전체 영상의 특성을 평가할 수 있는 인자인 NIQE와 BRISQUE를 분석하였다. NIQE와 BRISQUE 평가 인자들은 blind image quality assessment (IQA) 문제에 대하여 사전 지식이 거의 없는 상태에서 왜곡 된 영상의 화질을 예측하여 평가할 수 있는 지각 모델이다.[9,10]

Ⅲ. RESULTS AND DISCUSSION

Fig. 3은 광학 현미경을 통해 얻어진 흰쥐의 첫째어금니 영상에 기존의 노이즈 제거 방법과 제안하는 FNLM 노이즈 제거 알고리즘을 적용한 영상이다. 치아 내의 모든 조직에서 노이즈가 감소되는 것을 육안으로 확인할 수 있었다.

Fig. 3. Result images for light microscope using (a) noisy, (b) median filter, (c) total variation noise reduction algorithm, and (d) our proposed FNLM noise reduction algorithm.

Fig. 4 (a)과 Table 1은 설정된 ROI 영역에서의 CNR과 COV 결과이다. CNR을 정량적으로 분석한 결과 noisy 영상, median filter를 적용한 영상, TV 노이즈 제거 알고리즘을 적용한 영상, 그리고 제안하는 FNLM 노이즈 제거 알고리즘을 적용한 영상에서 각각 1.44, 1.55, 1.82, 그리고 1.92 값을 얻을 수 있었다. 또한, 제안하는 FNLM 노이즈 제거 알고리즘 사용 시 noisy 영상, median filter 적용 영상, 그리고 TV 노이즈 제거 알고리즘을 적용한 영상에 비하여 각각 1.33, 1.23, 그리고 1.05배 CNR 값이 향상됨을 확인할 수 있었다. COV를 정량적으로 분석한 결과 noisy 영상, median filter를 적용한 영상, TV 노이즈 제거 알고리즘을 적용한 영상, 그리고 제안하는 FNLM 노이즈 제거 알고리즘을 적용한 영상에서 각각 0.568, 0.475, 0.314, 그리고 0.188 값을 얻을 수 있었다. 또한, 제안하는 FNLM 노이즈 제거 알고리즘 사용 시 noisy 영상, median filter 적용 영상, 그리고 TV 노이즈 제거 알고리즘을 적용한 영상에 비하여 각각 3.02, 2.53, 그리고 1.67배 COV 값이 향상됨을 확인할 수 있었다.

Fig. 4 (b)와 Table 2는 전체적인 영상 분석 인자인 NIQE와 BRISQUE 결과 그래프이다. NIQE와 BRISQUE 값 모두 작을수록 좋은 영상임을 의미한다. NIQU를 정량적으로 분석한 결과 noisy 영상, median filter를 적용한 영상, TV 노이즈 제거 알고리즘을 적용한 영상, 그리고 제안하는 FNLM 노이즈 제거 알고리즘을 적용한 영상에서 각각 3.53, 3.42, 3.21, 그리고 3.09 값을 얻을 수 있었다. 또한, 제안하는 FNLM 노이즈 제거 알고리즘 사용 시 noisy 영상, median filter 적용 영상, 그리고 TV 노이즈 제거 알고리즘을 적용한 영상에 비하여 각각 1.14, 1.11, 그리고 1.04배 NIQE 값이 향상됨을 확인할 수 있었다. BRISQUE를 정량적으로 분석한 결과 noisy 영상, median filter를 적용한 영상, TV 노이즈 제거 알고리즘을 적용한 영상, 그리고 제안하는 FNLM 노이즈 제거 알고리즘을 적용한 영상에서 각각 45.37, 42.37, 41.56, 그리고 40.37 값을 얻을 수 있었다. 또한, 제안하는 FNLM 노이즈 제거 알고리즘 사용 시 noisy 영상, median filter 적용 영상, 그리고 TV 노이즈 제거 알고리즘을 적용한 영상에 비하여 각각 1.12, 1.05, 그리고 1.03배 BRISQUE 값이 향상됨을 확인할 수 있었다.

본 연구에서는 노이즈 레벨을 평가하는데 가장 널리 사용되는 CNR과 COV 인자들을 기본적으로 사용하였고, 추가적으로 최근에 개발된 레퍼런스 영상 없이 객관적으로 전체적인 영상을 평가할 수 있는 인자들인 NIQE 및 BRISQUE를 처음으로 적용하였다. NIQE와 BRISQUE는 다양한 연구들에 의해서 정확도가 증명되었으며, 광학 현미경 영상에 적용한 연구는 본 연구에서 처음 수행되었으며 결과들을 기반으로 하여 향후 수치들에 대한 의미에 대한 분석을 진행할 예정이다.

Fig. 4. Results for (a) CNR and COV and (b) NIQE and BRISQUE with respect to the noise reduction method.

Table 1. Calculated CNR and COV results

Table 2. Calculated NIQE and BRISQUE results

Ⅳ. CONCLUSION

결론적으로 다양한 정량적 평가들을 활용하여 광학 현미경 영상에서의 FNLM 노이즈 제거 알고리즘의 유용성을 증명하였다. 이를 기반으로 향후 광학 현미경 분야를 포함한 다양한 영상 분야에서의 활용에 관한 연구를 추가적으로 진행할 계획이다.