Study on the Improvement of Lung CT Image Quality using 2D Deep Learning Network according to Various Noise Types

폐 CT 영상에서 다양한 노이즈 타입에 따른 딥러닝 네트워크를 이용한 영상의 질 향상에 관한 연구

Abstract

The digital medical imaging, especially, computed tomography (CT), should necessarily be considered in terms of noise distribution caused by converting to X-ray photon to digital imaging signal. Recently, the denoising technique based on deep learning architecture is increasingly used in the medical imaging field. Here, we evaluated noise reduction effect according to various noise types based on the U-net deep learning model in the lung CT images. The input data for deep learning was generated by applying Gaussian noise, Poisson noise, salt and pepper noise and speckle noise from the ground truth (GT) image. In particular, two types of Gaussian noise input data were applied with standard deviation values of 30 and 50. There are applied hyper-parameters, which were Adam as optimizer function, 100 as epochs, and 0.0001 as learning rate, respectively. To analyze the quantitative values, the mean square error (MSE), the peak signal to noise ratio (PSNR) and coefficient of variation (COV) were calculated. According to the results, it was confirmed that the U-net model was effective for noise reduction all of the set conditions in this study. Especially, it showed the best performance in Gaussian noise.

디지털 영상, 특히, 전산화 단층촬영 영상은 X선 신호를 디지털 영상 신호로 변환하는 과정에서 노이즈가 필수적으로 포함되기 때문에 노이즈 저감화에 대한 고려가 필수적이다. 최근, 딥러닝 모델 기반의 노이즈 감소가 가능한 연구가 수행되고 있다. 그러므로, 본 연구의 목적은 폐 CT 영상에서의 다양한 종류의 노이즈를 U-net 딥러닝 모델을 이용하여 노이즈 감소 효과를 평가하였다. 총 800장의 폐 CT 영상을 사용하였고, Adam 최적화 함수와 100회의 반복 학습 횟수, 0.0001의 학습률을 적용한 U-net 모델을 이용하였다. 노이즈를 포함한 입력 영상 생성을 위하여 Gaussian 노이즈, Poisson 노이즈, salt & pepper 노이즈, speckle 노이즈를 적용하였다. 정량적 분석 인자로 평균 제곱 오차, 최대 신호 대 잡음비, 영상의 변동계수를 사용하여 분석하였다. 결과적으로, U-net 네트워크는 다양한 노이즈 조건에서 우수한 성능을 나타냈으며 그 효용성을 입증하였다.

Ⅰ. INTRODUCTION

최근 다양한 의료 영상 장치 시스템이 구축되면서 DICOM 포맷 기반의 디지털 의료영상 사용이 대중화되었다. 이러한 디지털 의료영상으로 기관 및 환자 측면에서 데이터 획득·저장·전송·처리 과정의 효율성이 증가하였다. 최근, 방사선 신호를 디지털 영상으로 변환하는 과정에서 발생할 수 있는 노이즈에 대한 감소 방안 연구가 의료영상 처리 분야에서 수행되고 있으며, 대표적으로 의료영상에 포함된 노이즈는 Gaussian, Poisson, salt & pepper, speckle 노이즈가 있다^[1-3]. 이러한 종류의 의료영상 노이즈들은 영상의 질을 저하하는 주요 원인이 되고 이는 진단에 방해 요소로 작용하는 원인이 되고 있다. Partidar 등은 디지털 영상 처리 과정에서 발생하는 다양한 노이즈의 발생기전과 종류를 나열하였고, 필터링 기반의 노이즈 감소 필요성에 대하여 주장하였다^[2].

인체의 기능적 정보와 해부학적 정보를 외과적 수술 없이 획득할 수 있는 다양한 의료 장치 중 전산화 단층촬영 장치 (Computed tomography, CT)는 X선 튜브가 회전하면서 환자 병변의 깊이와 위치 정보를 획득할 수 있다. 또한, 진단의 정확도를 향상시키기 위하여 사용하는 조영제 기술은 병변의 상태를 확인할 수 있기 때문에 검사에 대한 수요가 증가하고 있다. X선을 이용하는 CT는 저선량에서는 영상의 노이즈 분포가 증가하여 질이 저하되는 단점이 있다. 이러한 노이즈 분포를 감소하기 위한 방안으로 기존에는 median, Laplacian, bilateral 필터와 같은 필터링 기법이 많이 적용되었다^[4-6]. 주 등은 CT 영상에서의 Gaussian 노이즈 감소를 위하여 다양한 커널 크기의 median modified Wiener filter (MMWF) 알고리즘을 적용하였으며, 5 × 5 커널 크기의 MMWF 알고리즘이 적용된 노이즈 제거 효과가 가장 우수했음을 입증하는 연구를 수행했다^[7]. 하지만 기존의 필터링 기반의 노이즈 감소 기술은 많은 양의 노이즈 분포에서는 영상의 가장자리 부분에 대한 정보를 보존하지 못하는 단점이 존재한다^[8].

최근, 딥러닝을 적용하여 CT 영상의 질을 향상시키는 연구가 진행되고 있다. 기존의 반복적 재구성법에 딥러닝을 적용하여 노이즈를 제거하고 선형 인공물을 감소시키는 방법과, 합성곱 신경망 (convolution neural network, CNN)을 기반으로 한 영상의 질을 향상시키는 연구가 수행되었다^[9,10]. 허 등이 수행한 연구 결과에 따르면, 패치 기반의 CNN 딥러닝 모델을 적용한 노이즈 감소 결과에서 영상의 노이즈가 median 필터와 비교했을 때 3배 감소함을 확인함으로써 딥러닝 기반 노이즈 감소 효과를 입증하였다^[11]. CNN 기반의 또한, 본 연구팀은 선행연구로서 CT 영상에서의 U-net 기반 딥러닝 모델을 사용하여 Gaussian 노이즈 감소 효과를 입증한 연구 결과를 도출하였다^[12]. 또한, Gurrola-Ramos 등에 따르면 residual dense U-net model을 이용하여 노이즈 감소 효과를 증명하였다^[13].

그러므로 본 연구는 선행연구에서 얻은 기초 데이터를 기반으로 다양한 종류의 노이즈 적용에 따른 폐 CT 영상에서의 U-net 네트워크의 노이즈 감소 성능을 평가하고자 한다.

Ⅱ. MATERIAL AND METHODS

1. 학습을 위한 데이터 구성

학습에 사용된 CT 영상은 SPIE-AAPM Thoracic Auto-segmentation challenge에서 제공하는 오픈 데이터를 사용하였다. 총 800장의 폐 CT 영상이 학습에 사용되었고, 오픈 데이터의 사용으로 기관의 연구심의위원회의 심의 과정을 생략하였다. 입력 영상을 위한 노이즈 영상을 생성하기 위하여 Ground truth(GT)에 MATLAB 프로그램을 이용하여 표준편차가 30인 Gaussian 노이즈(Gaussian noise(SD30)), 표준편차가 50인 Gaussian 노이즈(Gaussian noise(SD50)), Poisson 노이즈, salt and pepper 노이즈, speckle 노이즈가 포함된 영상을 생성하였다. Fig. 1은 GT 영상과 생성한 각 노이즈 영상들을 나타냈다.

Fig. 1. The images of (a) ground truth (GT), Gaussian noise with standard deviation (b) 30 and (c) 50, (d) Poisson noise, (e) salt & pepper noise, and (f) speckle noise.

2. U-net 네트워크 구조 및 학습 조건

Fig. 2는 전체적인 연구 흐름도를 나타냈다.

Fig. 2. The simplified flow diagram based on U-net deep learning architecture.

Fig. 3과 같이 U-net은 차원을 축소함과 동시에 채널의 수를 늘리면서 입력 영상의 특징을 추출하고 분석하는 인코더(encoder)와 인코딩된 정보로 채널의 수를 줄이면서 차원을 늘려 고차원의 영상으로 복원하는 디코더(decoder) 영역으로 구성되어 있다. 컨볼루션 레이어와 Batch normalization layer, Relu 활성화 함수를 이용하여 이미지의 특성(feature)를 학습하며 max pooling layer를 이용하여 이미지를 축소하여 계층적 학습을 시행했다. 디코더 영역에서는 각 차원마다 인코딩 영역에서 추출한 영상을 copy and crop을 수행하여 2×2 업컨볼루션(up-convolution) 후에 3×3 컨볼루션을 시행하여 결과 특성 맵(feature map)을 생성하는 구조로 설계하였다.

Fig. 3. Diagram of U-net architecture with encoder and decoder.

U-net 모델과 노이즈를 입혀 생성한 입력 영상 800장과 GT 영상 800장을 학습에 사용하였고, 학습, 검증, 테스트를 위한 데이터 셋 비율을 6:2:2 비율로 설정하였다. 손실함수는 평균제곱오차(mean square error, MSE)를 사용하였고 수식은 아래와 같다.

\(\begin{align}M S E=\frac{1}{n} \sum_{i=1}^{n}\left(\widehat{Y}_{i}-Y_{i}\right)^{2}\end{align}\)       (1)

\(\begin{align}\hat {Y}_{i}\end{align}\) : 예측값

Y_i : 실제값

n : 샘플의 갯수

최적화 함수는 Adam을 사용하였고 학습 횟수는 100회로 설정하였으며 학습률은 0.0001로 설정하였다.

3. 결과 영상의 정량적 평가

학습을 통하여 획득한 결과 영상을 정량적으로 분석하기 위하여 평균제곱오차(mean square error, MSE)와 최대 신호대잡음비 (peak signal to noise ratio, PSNR), 변동 계수 (coefficient of variation, COV)를 이용하였으며 각 수식은 아래와 같다.

\(\begin{align}M S E=\frac{1}{N} \sum_{j=1}^{N}[f(i, k)-g(i, k)]^{2}\end{align}\)       (2)

MSE : 평균제곱오차 (mean square error)

\(\begin{align}P S N R=10 \log \frac{f_{\text {peak }}^{2}}{M S E}\end{align}\)       (3)

f(i,k) : 원본 영상의 픽셀값

g(i,k) : 결과 영상의 픽셀값

f_peak : 픽셀 최댓값

\(\begin{align}C O V=\frac{\sigma_{A}}{S_{A}}\end{align}\)       (4)

σ_A : 관심 영역 내의 표준편차

S_A : 관심 영역 내의 평균 픽셀값

Ⅲ. RESULT

Fig. 4는 다양한 종류의 노이즈에 따른 입력 영상과 GT 영상에 U-net 모델을 적용하여 학습한 결과 영상과 결괏값이다.

Fig. 4. Result images according to various noise distribution.

Fig. 5는 노이즈 종류에 따른 MSE 결과 그래프이다. 평균제곱오차는 Gaussian noise(SD30), Gaussian noise(SD50), Poisson, salt and pepper, speckle 순서대로 55.51, 50.54, 111.14, 156.96, 59.52의 결괏값을 나타냈다.

Fig. 5. The mean square error (MSE) result graph.

Fig. 6은 U-net 네트워크의 학습 결과에 따른 PSNR 결과 그래프이다. 결과 영상과 GT 영상의 유사도는 Gaussian noise(SD30), Gaussian noise(SD50), Poisson, salt and pepper, speckle 순서로 30.69, 31.09, 27.67, 26.17, 30.38을 나타냈다.

Fig. 6. The peak signal to noise ratio (PSNR) result graph.

Fig. 7은 노이즈 종류별 U-net 네트워크 적용에 따른 COV 결과 그래프이다. Gaussian noise(SD30), Gaussian noise(SD50), Poisson, salt and pepper, speckle 순서로 입력 영상은 0.39, 0.58, 0.14, 0.36, 0.23의 결괏값을 나타냈고, 결과 영상은 0.03, 0.02, 0.04, 0.07, 0.03의 결괏값을 나타냈다.

Fig. 7. The coefficient of variation (COV) result graph.

Ⅳ. DISCUSSION

본 연구는 폐 CT 영상에서 다양한 종류의 노이즈를 U-net 네트워크를 활용하여 노이즈 감소 효과를 평가하였다. Gaussian, Poisson, salt & pepper, speckle 노이즈가 U-net 네트워크의 성능을 평가하기 위한 노이즈 종류로 적용하였으며, 네트워크 성능의 정량적 평가를 위하여 MSE, PSNR, COV 인자를 사용하였다. 또한, U-net 모델은 영상 분류(image segmentation) 영역에서 우수한 성능을 보이는 보이고 있다^[14,15]. Norman 등에 따르면 U-net 적용으로 자기공명영상에서 골관절염 진단의 효율을 증가시킨 연구가 수행되었다^[14]. 또한, Paul 등에 따른 연구는 핵의학 영상에 U-net을 적용하여 질병 진단을 위한 의료영상 분류에서 좋은 성능을 나타냈다^[15]. 하지만 본 연구결과를 바탕으로 U-net 모델을 이용한 폐 CT 영상에서의 노이즈 감소효과를 증명함으로써 U-net 모델의 우수한 성능을 확인함으로써 의료영상 분류 영역 뿐만 아니라 영상 처리 분야에서도 적용 가능성을 입증하였다.

획득한 결과를 바탕으로 Fig. 4에서는 Gaussian 노이즈(SD50)에서 가장 낮은 노이즈 분포를 나타냈으며, 이 조건을 기준으로 Gaussian(SD30), speckle, Poisson, salt & pepper 노이즈 조건과 비교했을 때 1.10배, 1.18배, 2.20배, 3.11배 차이가 나타났다.

Fig. 5는 GT 영상과 결과 영상의 유사도를 평가하는 PSNR 결과를 나타내었다. 결과적으로 Gaussian 노이즈(SD50) 조건에서 GT 영상과 가장 높은 유사도를 보였고, salt & pepper, Poisson, speckle, Gaussian(SD30) 노이즈와 비교하였을 때 각각 1.19배, 1.12배, 1.02배, 1.01배 차이가 나타났다.

Fig. 6은 노이즈가 포함된 입력 영상과 딥러닝 알고리즘이 적용된 결과 영상과의 COV 값을 나타내었다. Gaussian(SD50), Gaussian(SD30), speckle, salt & pepper, Poisson 노이즈 순서로 입력 영상 대비 결과 영상의 COV 값이 각각 24.12배, 11.35배, 6.68배, 5.54배, 3.21배 차이가 발생하였다.

본 연구의 제한점 및 추가 연구 방향으로 획득한 결과를 바탕으로 PSNR에서의 유사도 분석을 보완하여 시각화가 가능한 structural similarity index measure (SSIM) 맵 분석 방법을 추가하고자 한다. 또한, 통계학적 결과 기반의 평가를 수행함으로써 불확실도 보완에 대한 추가 연구를 수행할 예정이다. 마지막으로 임상 최신 CT 장비에서 built-in 알고리즘과 추가 비교 분석을 통하여 딥러닝 기반의 노이즈 제거의 효율성을 증명하고자 한다.

결론적으로 U-net 딥러닝 네트워크는 다양한 종류의 노이즈를 효과적으로 감소시키는 것을 확인하였다. 설정한 조건에서 노이즈 분포가 높은 Gaussian 노이즈에서의 감소 효과가 우수했음을 확인하였다. 본 연구의 결과는 바탕으로 CT 영상 외에 다른 의료 모달리티 영상에 U-net 네트워크를 적용 가능성에 대한 기초 데이터로 사용할 수 있을 것으로 평가한다.

Ⅴ. CONCLUSION

본 연구는 Gaussian(SD50), Gaussian(SD30), speckle, Poisson, salt & pepper 노이즈 적용에 따른 U-net 딥러닝 기반의 노이즈 감소 효과를 폐 CT 영상을 이용해 입증하였다. 결론적으로 본 연구의 결과는 CT 영상에서 노이즈를 저감 딥러닝 모델을 개발하는 데 활용될 수 있을 것이다.