Substitutability of Noise Reduction Algorithm based Conventional Thresholding Technique to U-Net Model for Pancreas Segmentation

이자 분할을 위한 노이즈 제거 알고리즘 기반 기존 임계값 기법 대비 U-Net 모델의 대체 가능성

Abstract

In this study, we aimed to perform a comparative evaluation using quantitative factors between a region-growing based segmentation with noise reduction algorithms and a U-Net based segmentation. Initially, we applied median filter, median modified Wiener filter, and fast non-local means algorithm to computed tomography (CT) images, followed by region-growing based segmentation. Additionally, we trained a U-Net based segmentation model to perform segmentation. Subsequently, to compare and evaluate the segmentation performance of cases with noise reduction algorithms and cases with U-Net, we measured root mean square error (RMSE) and peak signal to noise ratio (PSNR), universal quality image index (UQI), and dice similarity coefficient (DSC). The results showed that using U-Net for segmentation yielded the most improved performance. The values of RMSE, PSNR, UQI, and DSC were measured as 0.063, 72.11, 0.841, and 0.982 respectively, which indicated improvements of 1.97, 1.09, 5.30, and 1.99 times compared to noisy images. In conclusion, U-Net proved to be effective in enhancing segmentation performance compared to noise reduction algorithms in CT images.

본 연구에서는 기존의 노이즈 제거 알고리즘을 적용한 영역 확장 기반의 분할 방법과 U-Net을 이용한 분할 방법의 성능을 정량적 평가인자를 이용하여 비교평가 하고자 하였다. 먼저, 전산화단층검사 영상에 median filter, median modified Wiener filter, fast non-local means algorithm을 모델링하여 적용한 뒤 영역 확장 기반의 분할을 수행하였다. 그리고 U-Net 기반의 분할 모델로 훈련을 진행하여 분할을 수행하였다. 그 후, 노이즈 제거 알고리즘을 사용한 경우와 U-Net을 사용한 경우의 분할 성능을 비교 평가하기 위해 평균 제곱근 편차 (root mean square error, RMSE), 최대 신호 대 잡음비 (peak signal to noise ratio, PSNR), universal quality image index (UQI), 그리고 dice similarity coefficient (DSC)를 측정하였다. 실험 결과, U-Net을 이용하여 분할을 수행했을 때 분할 성능이 가장 향상되었다. RMSE, PSNR, UQI, 그리고 DSC 값은 각각 약 0.063, 72.11, 0.864, 그리고 0.982로 noisy한 영상에 비해 각각 1.97배, 1.09배, 5.30배, 그리고 1.99배 개선된 것을 확인할 수 있었다. 결론적으로, 전산화단층검사영상에서 U-Net이 노이즈 제거 알고리즘에 비해 분할 성능 향상에 효과적임을 입증하였다.

Ⅰ. INTRODUCTION

전산화단층검사 (computed tomography, CT)는 3차원으로 영상을 획득하며 인체 내 구조물과 병변을 보다 정확하게 파악할 수 있어 진단 및 치료 분야에서 많이 이용되고 있다^[1]. CT 영상에서 이자분할은 이자의 질환을 진단하고 예후를 관찰하는데 필수적인 작업이다. 이자의 부피는 내분비 및 외분비 이자의 기능을 추정하는 biomarker로서 부피 변화 감지를 통해 급성 이자염의 진단이 가능하다^[2,3]. 또한 이자샘창자절제술 후 누공 발생의 예측에도 사용되고 있다^[4].

하지만 다른 장기에 비해 이자는 모양이 불규칙하고 해부학적 가변성이 높기 때문에 분할 과정이 더욱 복잡하다^[5]. 또한 이자 내의 연부조직 대조도가 낮아 분할 수행에 제한점을 가져다준다^[6]. 특히나 염증이 있는 이자의 경우 주변 장기를 침범하기 때문에 경계 부근이 더 모호해진다. 게다가 염증이 있는 이자는 정상 이자보다 모양, 크기, 그리고 위치의 변동성이 높아 정확한 분할에 어려움이 있다^[3].

임계값 기반의 영역 확장 분할 기법은 적절한 시작점을 설정하고 임계값을 가진 모든 인접한 픽셀과 비교하여 임계값을 초과하는 픽셀은 그룹화되어 단일 영역을 형성하는 방법이다^[7]. 하지만, 이자는 주위 장기와 CT number가 비슷하여 경계가 모호하기 때문에 영역 확장 기반의 분할 수행 시 임계값 설정이 어렵고 임계값이 높게 설정될 경우 주변 장기까지 하나의 영역으로 분할되는 문제점이 발생한다. 이러한 문제점은 CT number의 변동률을 증가시키는 노이즈에 의해 심화되며, 이자와 같이 두 조직간의 CT number 차이가 적은 복부 장기일수록 그 영향력은 더욱 증가한다^[8]. 특히, 발생된 노이즈는 조직의 내부 신호의 불균질성을 강화시킴과 동시에 경계 부근을 왜곡하여 신호의 연속성을 저하시키기 때문에 부적절한 분할 결과가 도출될 가능성이 높아진다.

따라서, 노이즈 제거를 통해 영역 확장 기반의 분할 성능 개선을 위한 전처리 알고리즘이 제안되었다. Gaussian, median, Wiener와 같은 local filtering 방식과 median filter와 Wiener filter의 단점을 보완한 융합형알고리즘인 median modified Wiener filter (MMWF)^[9], 그리고 비지역적 알고리즘인 fast non-local means(FNLM) 알고리즘^[10] 등이 있다. 이러한 노이즈 제거 알고리즘의 적절한 사용을 통해 분할 성능을 향상시킬 수 있다.

하지만 영역 확장 기반의 분할 방식은 슬라이스별로 수행되어야 하기 때문에 시간이 굉장히 오래 걸리고 대규모 데이터 처리에 비효율적이라는 단점이 있다^[5]. 이러한 문제점을 해결하기 위해 딥러닝을 이용한 자동 분할 방식이 제안되었다. 그 중 U-Net은 분할에 특화된 U자형 네트워크 구조로 수축 경로와 확장 경로로 이루어져 있다. 수축 경로에서는 입력 영상의 특징을 추출하고 확장 경로에서 이 특징을 이용해 입력 영상의 분할 결과를 도출하게 된다. U-Net은 기존의 Fully-Convolution Net의 구조를 수정하여 적은 데이터셋으로도 정확한 분할이 가능해졌다. 확장 경로의 풀링 계층을 제거하고 업 컨볼루션 영역을 추가하였으며 수축 영역과 확장 영역이 수평 관계에 있을 경우 수축 영역에서 출력된 결과물을 확장 영역과 연결하는 방식을 도입하였다. 또한, 기존 분할 모델에 비해 영상을 인식하는 패치에 대한 오버랩 비율이 적어져 느린 연산 속도를 개선하게 되었다^[11].

본 연구에서는 노이즈가 있는 CT 영상에 다양한 노이즈 제거 알고리즘을 사용한 후 영역 확장 기반의 분할을 수행한 결과와 U-Net을 이용하여 노이즈가 있는 CT 영상을 입력 데이터로 사용한 자동 분할 방식을 수행한 결과를 정량적 평가 인자를 이용하여 비교평가 하고자 하였다.

Ⅱ. MATERIAL AND METHODS

1. 이자 영상 획득

본 연구의 전반적인 과정은 Fig. 1와 같이 구성되어 있으며 분할을 위한 데이터셋은 이자 CT 영상과 분할된 이자의 mask 영상 (이하, mask 영상)이 세트로 이루어진 Kaggle의 open data를 사용하였고 관련 영상을 Fig. 2에 나타내었다.

Fig. 1. Flow chart of pancreas segmentation.

Fig. 2. (a) Acquired pancreas CT image and (b) segmented pancreas image (ground-truth).

Open source 데이터를 활용한 후향적 연구로 연구윤리심의위원회 심의 또는 심의면제 절차를 진행하지 않았다.

획득한 이자 CT 영상에 노이즈로 인한 영향을 극대화한 환경을 조성하기 위해 MATLAB 프로그램을 이용하여 0.05의 표준편차로 설정된 Gaussian 노이즈를 부가하였으며 영상은 Fig. 3와 같다.

Fig. 3. Pancreas CT image with Gaussian noise added.

2. 노이즈 제거 알고리즘 모델링

2.1. Median filter & MMWF modeling

노이즈 제거를 위한 기존에 주로 사용되고 있던 local filter 중 대표적인 median filter를 모델링하였으며 수식은 Eq. (1)과 같다. 그리고 median과 Wiener filter의 결함을 줄이고 특성을 보완하기 위해 두 필터를 융합한 MMWF를 모델링하였고 수식은 Eq. (2)와 같다.

Median filter와 MMWF의 kernel size는 사전 연구 시 분할 성능이 가장 좋게 나타났던 5 × 5로 설정하였다.

b_{median(x, y)} = med[g(m - i, n - j) | (i, j) ∈ W       (1)

m, n : 영상의 x, y좌표

i, j : median mask의 좌표

\(\begin{aligned}b_{M M W F(x, y)}=\bar{\mu}+\frac{\sigma^{2}-\nu^{2}}{\sigma^{2}}[a(i, j)-\bar{\mu}]\end{aligned}\)       (2)

i, j : median mask의 좌표

\(\begin{aligned}\bar{\mu}\end{aligned}\) : local window의 median filter값

σ² : 현재 slide window의 분산

𝜈² : 노이즈 분산

2.2. FNLM algorithm modeling

Non-local means (NLM) 알고리즘은 입력 영상에서 각 픽셀 주변의 패치를 선택하고 유클리드 거리를 이용해 유사도를 측정하는 방식으로 노이즈가 제거된 영상을 생성한다. 하지만, NLM 알고리즘은 가중치의 연산 시간이 길어 임상 환경에서의 적용이 어렵다는 단점이 있다. 이러한 문제점을 극복하기 위해 FNLM 알고리즘이 제안되었다. FNLM 알고리즘은 기존 NLM의 가중치 연산 방식을 2차원에서 1차원 방정식으로 대체하여 연산시간을 감소시켰으며 수식은 Eq. (3) 및 (4)와 같다.

본 연구에서는 패치 크기를 가장 일반적으로 사용되는 7 × 7 크기로 설정하고 평활화 인자를 사전연구 시 분할 성능이 가장 좋게 나타났던 0.10으로 설정하여 모델링하였다.

\(\begin{aligned}\check{w}(m, n)=\frac{1}{Z(m)} S_{i}(f(m+P)-f(m-P))\end{aligned}\)      (3)

m, n : 영상의 x, y좌표

\(\begin{aligned}\check{w}\end{aligned}\) (m, n) : 각 지역에 대한 가중치

P : 2차원 영상을 벡터화를 통해 1차원으로 만든 patch size

Z(m) : 정규화 상수

\(\begin{aligned}S_{i}(U)=\sum_{\tau=0}^{U} e^{-\frac{\|f(\tau)-f(\tau+\lambda)\|_{2}^{2}}{d^{2}}}\end{aligned}\)       (4)

λ : 이웃지역 내의 화소 수

U : 픽셀 m과 λ를 합산한 값

d : 필터링 시 참조할 각도

3. 영역 확장 기반의 분할 알고리즘 모델링

노이즈가 부가된 이자 CT 영상에 각각의 노이즈 제거 알고리즘을 적용한 후 분할을 수행하기 위해 영역 확장 기반의 분할 알고리즘을 모델링하였다. 영역 확장 기반의 분할 기법은 시작점을 설정하고 시작점으로부터 같은 특성을 가지는 주변 픽셀을 하나씩 추가해가며 영역을 확장하는 기법이다. 픽셀 값이 설정한 임계값을 초과할 경우 하나의 영역으로 묶이게 되며 수식은 Eq. (5)과 같다.

\(\begin{aligned}\begin{array}{l}\operatorname{Img}(p, q)_{\text {seg }} \\ =\left\{\begin{array}{ll}\text { Tissue, } & \text { if } \mid \text { img }_{\text {org }}(p, q)-\mu_{R} \mid<\Delta \\ \text { Not tissue, } & \text { Otherwise }\end{array}\right.\end{array}\end{aligned}\)       (5)

Img(p, q)_seg : 분할 된 영상

img_org(p, q) : 분할 전 영상

μ_R : 분할된 픽셀의 평균값

Δ : 임계값

4. U-Net 기반의 분할 model 모델링

Fig. 4은 본 연구에서 사용된 U-Net 구조를 나타내며, 수축 경로와 확장 경로로 구성된다. 수축 경로에서 공간 정보가 감소하고 특징 정보가 증가하며 확장 경로에서는 특징 정보와 공간 정보를 결합한다. 네트워크는 5개의 레이어로 구성되며 각 레이어의 채널 수는 64, 128, 256, 512, 그리고 1024이다.

Fig. 4. Illustration of U-Net architecture for segmentation.

U-Net 구조를 이용해 훈련을 수행하기 위한 매개변수는 Table 1과 같이 설정하였다. 입력 데이터로 노이즈가 부가된 이자 CT 영상을 사용하였고 라벨 데이터로 mask 영상을 사용하였다. 훈련은 NVIDIA GeForce RTX 2080 Ti GPU를 이용하여 수행되었으며 훈련용으로 7228쌍, 검증용으로 1807쌍, 그리고 시험용으로 1835쌍의 데이터셋을 사용하였다.

Table 1. Training parameters of the U-Net architecture

5. 정량적 평가 수행

노이즈 제거 알고리즘을 사용한 후 영역 확장 기반 분할을 수행한 결과 영상과 U-Net 기반의 분할을 수행한 결과 영상을 정량적으로 비교 평가하기 위해 평균 제곱근 편차 (root mean square error, RMSE), 최대 신호 대 잡음비 (peak signal to noise ratio, PSNR), universal quality image index (UQI), 그리고 dice similarity coefficient (DSC)를 측정하였고 수식은 Eq. (6), (7), (8), 그리고 (9)와 같다. RMSE는 두 영상 간의 오차를 의미하고 PSNR은 비교 영상이 원본 영상의 신호와 얼마나 근접한 지를 나타내는 척도로서 분할의 성능 평가에 용이한 것으로 알려져 있다. UQI는 영상의 왜곡을 휘도의 왜곡, 상관관계 손실, 그리고 대조도 왜곡의 3가지 요소의 조합으로 모델링하여 평가하는 인자로서 값이 1에 가까울수록 두 영상의 신호 강도가 유사함을 의미한다. DSC는 픽셀의 교집합을 영상에 존재하는 전체 픽셀로 나눔으로써 전반적인 성능을 평가하는 지표이다.

\(\begin{aligned}R M S E=\sqrt{\frac{\sum_{i=1}^{N}\left(f_{i}-g_{i}\right)^{2}}{N}}\end{aligned}\)       (6)

f : 참조 영상

g : 비교 영상

N : 픽셀 수

\(\begin{aligned}P S N R=10 \log \frac{s^{2}}{M S E}\end{aligned}\)       (7)

s : 영상의 픽셀 최대값

MSE : 평균 제곱 오차 (mean square error)

\(\begin{aligned}U Q I=\frac{4 \mu_{f} \mu_{g} \mu_{f g}}{\left(\mu_{f}^{2}+\mu_{g}^{2}\right)\left(\sigma_{f}^{2}+\sigma_{g}^{2}\right)}\end{aligned}\)       (8)

f : 참조 영상

g : 비교 영상

μ_f, μ_g : 평균 휘도 값

σ_fg 두 영상 간의 공분산

\(\begin{aligned}D S C=\frac{2|A \cap B|}{(|A|+|B|)}\end{aligned}\)        (9)

A : 분할된 픽셀

B : ground-truth 픽셀

Ⅲ. RESULT & DISCUSSION

Gaussian noise가 부가된 이자 CT 영상에 각각 노이즈 제거 알고리즘을 적용한 결과 영상은 Fig. 5와 같다.

Fig. 5. Pancreas CT image.

Median filter, MMWF, 그리고 FNLM algorithm 적용 후 영역 확장 기반 분할 수행 결과 영상과 U-Net 기반의 분할 수행 결과 영상은 Fig. 6와 같다.

Fig. 6. Segmented pancreas image.

각 영상별 분할 수행 후 RMSE, PSNR, UQI, 그리고 DSC를 측정한 결과는 Fig. 7과 같다.

Fig. 7. The result of (a) RMSE, (b) PSNR, (c) UQI, and (d) DSC for pancreas segmentation with noise reduction algorithm and U-Net.

RMSE는 noisy한 영상의 경우 0.124로 나타났다. Median filter, MMWF, 그리고 FNLM algorithm을 적용했을 때는 각각 0.111, 0.109, 그리고 0.104로 나타났으며 U-Net 사용 시 0.063으로 가장 낮게 나타났다. PSNR은 noisy한 영상에서 66.25의 값을 보였고 median filter, MMWF, 그리고 FNLM algorithm 적용 시 각각 67.19, 67.38, 그리고 67.83으로 나타났다. U-Net을 사용했을 때 72.11로 가장 높은 값을 보였다. UQI를 측정한 결과, noisy한 영상은 0.163, median filter, MMWF, 그리고 FNLM algorithm 적용시 각각 0.373, 0.402, 그리고 0.495로 나타났다. U-Net을 이용하여 분할된 영상은 0.864로 가장 높은 값을 나타냈다. 마지막으로 DSC를 측정한 결과, noisy한 영상의 경우 0.493의 값을 보였고 median filter, MMWF, 그리고 FNLM algorithm 적용 시 각각 0.588, 0.610, 그리고 0.733으로 나타났다. U-Net 사용 시 0.982로 분할 성능이 가장 높게 나타났다.

네 가지 평가인자 모두 U-Net 기반의 분할 수행 시 가장 향상된 것을 확인할 수 있었다. Noisy한 영상에 비해 RMSE는 약 1.97배, PSNR은 약 1.09배, UQI는 약 5.30배, 그리고 DSC는 약 1.99배 개선된 것으로 나타났다.

일반적으로 노이즈가 심한 CT 영상에서 영역 확장 기반의 분할 수행 시 정확도가 매우 떨어진다. 영역 확장 기반의 분할은 반자동 기법^[12]으로 수동적 기법과 자동적 기법의 장점만을 취하지만 사용자의 시작점 설정 과정^[13]에서 노이즈나 불균질한 신호에 의해 정확도가 크게 저하된다는 단점이 있다. 따라서 이러한 문제점을 개선하기 위해 노이즈를 제거하는 전처리 알고리즘이 개발되었다.

본 연구에서는 노이즈의 강도가 심한 CT 영상에서 분할 수행 시 노이즈 제거 알고리즘을 사용한 후 영역 확장 기반의 분할 기법을 사용한 경우와 U-Net 기반의 자동 분할 기법을 사용한 경우의 분할 성능을 비교평가 하고자 하였다. 연구 결과, 노이즈 제거 알고리즘을 사용하는 것보다 U-Net을 이용하는 것이 분할 정확도가 높다는 결과를 도출하였다. 즉, 노이즈의 강도가 심한 CT 영상에서 딥러닝을 이용한 분할 기법이 효과적임을 증명하였다. 따라서 본 연구를 통해 노이즈가 심한 CT 영상에서도 정확한 분할이 가능한 자동화된 이자 분할 네트워크 및 데이터베이스 구축이 가능할 것으로 사료된다. 또한, CT 영상뿐만 아니라 MRI, 초음파 등 다른 장치에서도 적용이 가능할 것으로 생각된다.

하지만, 네트워크를 구축하기 위한 훈련 과정에 시간이 많이 소요되고 네트워크의 정확성을 높이기 위해서는 대규모의 데이터가 필요하다. 추후, U-Net의 레이어 수, epoch 수, 그리고 학습률 등 파라미터를 다양하게 변화시켜 네트워크를 최적화한다면 분할의 성능이 더욱 향상될 수 있을 것으로 예상된다. 또한, U-Net뿐만 아니라 GAN, ResNet 등 다양한 네트워크를 이용하여 분할 수행 후 성능을 비교하며 정확도 높은 분할 네트워크를 구축할 수 있을 것으로 생각된다. 이러한 네트워크 구축을 통해 이자뿐만 아니라 간, 폐 등 분할이 필요한 다양한 신체 부위에도 적용할 수 있을 것으로 사료 된다.

Ⅳ. CONCLUSION

본 연구는 CT 영상에서 노이즈로 인해 분할 성능이 저하되는 문제점을 개선하기 위해 CT 영상에 노이즈 제거 알고리즘을 적용하여 분할을 수행한 결과와 U-Net으로 분할을 수행한 결과를 비교 평가하였다. 결론적으로, 노이즈가 있는 CT 영상에서 분할 수행 시 노이즈 제거 알고리즘을 사용하는 것보다 U-Net을 이용하여 분할을 수행하는 것이 정확도가 높다는 것을 입증하였다.