Artifact Reduction in Sparse-view Computed Tomography Image using Residual Learning Combined with Wavelet Transformation

Wavelet 변환과 결합한 잔차 학습을 이용한 희박뷰 전산화단층영상의 인공물 감소

Abstract

Sparse-view computed tomography (CT) imaging technique is able to reduce radiation dose, ensure the uniformity of image characteristics among projections and suppress noise. However, the reconstructed images obtained by the sparse-view CT imaging technique suffer from severe artifacts, resulting in the distortion of image quality and internal structures. In this study, we proposed a convolutional neural network (CNN) with wavelet transformation and residual learning for reducing artifacts in sparse-view CT image, and the performance of the trained model was quantitatively analyzed. The CNN consisted of wavelet transformation, convolutional and inverse wavelet transformation layers, and input and output images were configured as sparse-view CT images and residual images, respectively. For training the CNN, the loss function was calculated by using mean squared error (MSE), and the Adam function was used as an optimizer. Result images were obtained by subtracting the residual images, which were predicted by the trained model, from sparse-view CT images. The quantitative accuracy of the result images were measured in terms of peak signal-to-noise ratio (PSNR) and structural similarity (SSIM). The results showed that the trained model is able to improve the spatial resolution of the result images as well as reduce artifacts in sparse-view CT images effectively. Also, the trained model increased the PSNR and SSIM by 8.18% and 19.71% in comparison to the imaging model trained without wavelet transformation and residual learning, respectively. Therefore, the imaging model proposed in this study can restore the image quality of sparse-view CT image by reducing artifacts, improving spatial resolution and quantitative accuracy.

희박뷰 전산화단층촬영(computed tomography; CT) 영상화 기술은 피폭 방사선량을 감소시킬 수 있을 뿐만 아니라 획득한 투영상의 균일성을 유지하고 잡음을 감소시킬 수 있는 장점이 있다. 하지만 재구성 영상 내 인공물 발생으로 인하여 화질 및 피사체 구조가 왜곡되는 단점이 있다. 본 연구에서는 희박뷰 CT 영상의 인공물 감소를 위해 wavelet 변환과 잔차 학습(residual learning)을 적용한 콘볼루션 신경망(convolutional neural network; CNN) 기반 영상화 모델을 개발하고, 개발한 모델을 통한 희박뷰 CT 영상의 인공물 감소 정도를 정량적으로 분석하였다. CNN은 wavelet 변환 층, 콘볼루션 층 및 역 wavelet 변환 층으로 구성하였으며, 희박뷰 CT 영상과 잔차 영상을 각각 입출력 영상으로 설정하여 영상화 모델 학습을 진행하였다. 영상화 모델 학습을 위해 평균제곱오차(mean squared error; MSE)를 손실함수로, Adam 함수를 최적화 함수로 사용하였다. 학습된 모델을 통해 입력 희박뷰 CT 영상에 대한 예측 잔차 영상을 획득하고, 두 영상간의 감산을 통해 최종 결과 영상을 획득하였다. 또한 최종 결과 영상에 대한 시각적 특성, 최대신호대잡음비(peak signal-to- noise ratio; PSNR) 및 구조적유사성지수(structural similarity; SSIM)를 측정하였다. 연구결과 본 연구에서 개발한 영상화 모델을 통해 희박뷰 CT 영상의 인공물이 효과적으로 제거되며, 공간분해능이 향상되는 결과를 확인하였다. 또한 wavelet 변환과 잔차 학습을 미적용한 영상화 모델에 비해 본 연구에서 개발한 영상화 모델은 결과 영상의 PSNR 및 SSIM을 각각 8.18% 및 19.71% 향상시킬 수 있음을 확인하였다. 따라서 본 연구에서 개발한 영상화 모델을 이용하여 희박뷰 CT 영상의 인공물 제거는 물론 공간분해능 향상 및 정량적 정확도 향상 효과를 획득할 수 있다.

Ⅰ. INTRODUCTION

전산화단층촬영(Computed Tomography; CT)은 투영 상의 재구성 과정을 통해 피사체의 3차원 단층 영상을 제공할 수 있기 때문에 일반 X-선 촬영에 비해 진단의 정확도를 향상시킬 수 있다. 하지만 CT 영상획득을 위해 수백장의 투영상이 요구되며, 일반 X- 선 촬영에 비해 피폭 방사선량이 약 10 - 400배 높은 단점이 있다^{[1, 2]}. 이와 같은 단점을 해결하기 위해 다양한 저선량 CT 영상화 기술이 개발되고 있다.

1990년대 후반 이후 각 투영상 획득 시 관전류또는 조사시간을 조절하여 전체 투영상 획득에 필요한 방사선량을 감소시킬 수 있는 기술이 개발되었다^{[3, 4]}. 하지만 해당 기술은 투영상의 비균일성 및 잡음을 발생시켜 재구성 영상의 화질을 저하시키기는 단점이 있다. 2000년대 중반 이후 투영상 획득 시 관전류 또는 조사시간은 일정하게 유지한 채 획득 투영상의 개수를 감소시켜 방사선량을 감소시킬 수 있는, 이른바 희박뷰 CT 영상화 기술이 개발되었다^[5-8]. 해당 기술은 투영상의 균일성을 유지하고 잡음을 감소시킬 수 있지만 재구성 영상 내인 공물을 발생시키는 단점이 있다. 본 연구에서는 희박 뷰 CT 영상의 인공물을 감소시킬 수 있는 기술을 개발 및 적용하고자 한다.

최근 의료 영상의 잡음 감소, 공간분해능 향상, 영역 분할 등 영상 처리를 위한 다양한 딥러닝 (deep learning) 기술이 개발되고 있다^{[9, 10]}. 대표적으로 콘볼루션 신경망(convolutional neural network; CNN)은 콘볼루션 과정을 통해 입력 영상의 특징을 파악하고, 입력 및 출력 영상 간의 end-to-end mapping 구조를 학습하여 목표로 하는 task를 수행할 수 있다^[11]. CNN은 타 딥러닝 기술에 비해 구조가 간단하여 변형이 쉬우며, 높은 정확도로 영상복원을 할 수 있는 장점이 있다^[12]. 또한 복수의 콘볼루션 층을 사용하여 신경망의 학습량을 감소시킬 수 있기 때문에 학습 과정에서 발생할 수 있는 과적합(overfitting)의 가능성을 줄일 수 있다[13]. 본연구에서는 CNN을 이용하여 희박뷰 CT 영상의 인공물 감소를 위한 영상화 모델을 개발하고, 개발한 모델의 성능을 평가하고자 한다. 일반적으로 희박 뷰 CT 영상의 인공물은 streak과 같은 고주파수 형태로 발생한다. 따라서 딥러닝 기반 영상화 모델을 통해 인공물 감소율을 향상시키기 위해서는 입력 영상의 고주파 특징을 정확하게 파악하는 것이 중요하다. 본 연구에서는 희박뷰 CT 입력 영상이 포함하고 있는 인공물을 선택적으로 학습하기 위해잔차 학습(residual learning)을 수행하였고, 다방향 고주파수 성분을 추출하기 위해 wavelet 변환을 이용하였다. Wavelet 변환이 적용된 영상을 이용하여 CNN 기반 영상화 모델을 학습하였고, 학습된 모델로부터 획득한 출력 영상의 정량적 정확도 분석을 통해 인공물 감소율을 평가하였다.

Ⅱ. MATERIAL AND METHODS

1. 데이터 준비

본 연구에서는 인공물 감소 영상화 모델의 학습 및 테스트를 위해 The Cancer Imaging Archive (TCIA) 데이터베이스를 이용하였다^[14]. TCIA 데이터베이스 중 관전압 120 - 140 kVp, 관전류 252-389 mA 및 복셀 크기 0.65 × 0.65 × 1 mm³-0.94 × 0.94 × 1 mm³ 조건으로 획득한 3, 120장의 폐 및 상복부 CT 영상을 원본 영상(ground truth; GT)으로 이용하였다.

GT 영상으로부터 희박뷰 CT 영상을 획득하기 위해 거리 구동(distance-driven) 방법을 이용하여 재전방 투영(re-forward projection)을 수행하였으며 90, 120 및 180장의 투영상을 획득하였다^[15]. 획득한 투영 상을 필터링후역투영(filtered back projection) 알고리즘을 이용하여 재구성하였고, 256 × 256 배열 크기를 갖는 희박뷰 CT 영상을 획득하였다. GT 영상으로부터 획득한 희박뷰 CT 영상을 감산하여 잔차 영상을 획득하였다. 인공물 감소 영상화 모델의 학습 및 테스트를 위해 GT 영상과 잔차 영상으로 구성된 12, 480 및 1, 140 장의 영상을 이용하였다. 2. CNN 구조 및 학습

Fig. 1. Architecture of the CNN proposed in this study.

본 연구에서 설계한 CNN의 구조는 Fig. 1과 같이 입력 영상의 wavelet 변환 층, 8개의 콘볼루션층 및 영상 출력을 위한 역 wavelet 변환 층으로 구성되어 있다. 콘볼루션 층에서는 3 × 3 kernel을 이용하여 입력 영상의 패치를 획득하는 콘볼루션 과정, rectified linear unit(ReLU) 또는 linear 활성화 함수^[16]를 이용한 입력 영상과 출력 영상 간의 비선형 mapping 과정이 수행된다.

학습된 CNN은 입력 희박뷰 CT 영상에 대한 잔차 영상을 출력하며, 입력 영상으로부터 출력 영상을 감산하여 인공물이 감소된 복원 영상을 획득할 수 있다. 본 연구에서 설계한 CNN의 층 순서 및 특징을 Table 1에 요약하였다.

Table 1. Layers included in the CNN

희박뷰 CT 영상 및 잔차 영상으로부터 다방향 고주파수 성분을 추출하기 위해 Eq. (1)과 같이 2차원 wavelet 변환을 적용하였다^[17].

\(\begin{aligned} W_{\psi}^{i}(j, m, n)=& \frac{1}{\sqrt{M N}} \sum_{x=0}^{M-1} \sum_{y=0}^{N-1}(f(x, y)\\ \left.\psi_{j, m, n}^{i}(x, y)\right), i=\{A, H, V, D\} \end{aligned}\)    (1)

f(x, y)는 입력 영상, Wⁱ_Ψ(j,m,n)는 wavelet 변환영상, M과 N은 변환된 영상의 크기, Ψⁱ_j,m,n(x,y)는 주파수 성분 추출을 위한 필터를 나타낸다. 본 연구에서는 Haar 함수^[18]를 이용하여 근사치(A) 성분, 가로(H) 방향 고주파수 성분, 세로(V) 방향 고주파수 성분 및 대각(D) 방향 고주파수 성분 추출을 위한 필터를 생성하여 wavelet 변환을 시행하였다. Wavelet 변환 시행 결과, 획득 영상의 크기는 원본 영상의 4분의 1로 감소하며 4개의 subband 영상의 생성된다. 각 subband 영상은 원본 영상의 근사치 성분과 세로, 가로 및 대각 방향 고주파수 성분을 포함하고 있다.

본 연구에서 설계한 CNN의 학습을 위해 wavelet 변환 적용된 희박뷰 CT 영상을 네트워크 입력 영상으로, wavelet 변환 적용된 잔차 영상을 네트워크 출력 영상으로 설정하였다. 학습 과정에서 출력 영상 대비 결과 영상의 손실 계산을 위해 Eq. (2) 와같은 평균제곱오차(Mean Squared Error; MSE)를 계산하였다.

\(M S E(G T, P)=\frac{1}{n} \sum_{j=1}^{n}\left(G T_{j}-P_{j}\right)^{2}\) (2)

P는 학습 과정 중 획득 영상, n은 영상 복셀의 개수를 나타낸다. 학습과정 중 계산된 MSE를 이용하여 CNN 각 층의 가중치(weight) 및 편향(bias) 값을 최적화하기 위해 adaptive moment estimation (Adam) 함수를 사용하였다^[19]. Adam 함수의 momentum decay 상수, adaptive term decay 상수 및 학습률은 각각 0.9, 0.999 및 1 × 10^-4으로 설정하였다. 학습은 50회 반복하여 시행하였으며, TensorFlow 2.3 및 PyWavelets 1.1.1를 이용하였다.

3. 영상 획득 및 인공물 감소율 평가

본 연구에서 설계한 CNN 학습을 통해 획득한 영상화 모델에 테스트 영상을 입력하여 잔차 영상을 획득하였고, 테스트 영상으로부터 잔차 영상을 감산하여 인공물이 감소된 예측 영상을 획득하였다. 해당 예측 영상의 인공물 감소 정도를 평가하기 위해 복셀값 profile, Eq. (3)을 이용한 최대 신호 대 잡음 비(peak signal-to-noise ratio; PSNR) 및 Eq. (4)를 이용한 구조적유사성지수(structural similarity; SSIM) 를 측정하였다.

\(P S N R=10 \times \log \left(\frac{M A X(P)^{2}}{M S E(G T, P)}\right)\) (3)

\(S S I M=\frac{\left(2 m_{G T} m_{p}+C_{1}\right)\left(2 \sigma_{G T P}+C_{2}\right)}{\left(m_{G T}^{2}+m_{p}^{2}+C_{1}\right)\left(\sigma_{G T}^{2}+\sigma_{P}^{2}+C_{2}\right)}\) (4)

MAX(P)는 획득 영상의 최대 복셀값, m_k 및 σ_k은 k 영상의 평균 복셀값 및 표준편차, σ_{GT, P}은 공분산, C₁ 및 C₂는 상수를 나타낸다. 또한 본 연구에서 개발한 인공물 감소 영상화 모델의 성능을 검증하기 위해 wavelet 변환과 잔차 학습을 미적용한 CNN을 동일 조건으로 학습시키고, 결과 영상의 인공물 감소 정도를 함께 분석하였다.

Ⅲ. RESULT

Figs. 2 및 3은 각각 폐와 상복부 테스트 GT 영상, 희박뷰 CT 입력 영상, wavelet 변환과 잔차 학습을 미적용한 CNN으로부터 획득한 영상 및 본 연구에서 개발한 영상화 모델을 통해 획득한 영상을 보여준다. 희박뷰 CT 영상에서는 투영상 부족으로 인한 streak 형태의 인공물이 관찰되는 반면, CNN 기반 영상화 모델로부터 획득한 영상에서는 인공물이 감소하고 GT 영상과 화질이 유사해지는 결과를 확인할 수 있다. CNN 학습을 위해 wavelet 변환과 잔차학습을 적용한 경우 미적용한 경우에 비해 결과 영상의 공간분해능이 향상됨을 확인할 수 있다.

Fig. 2. (a) Lung GT image, input and result images for the projections of (b)-(d) 90, (e)-(g) 120 and (h)-(j) 180. Second to fourth columns correspond to the input images, the images from the model trained without the wavelet transformation and residual learning, and the images from the model trained with the wavelet transformation and residual learning, respectively. Red box and yellow line indicate a zoomed area and a line used for measuring voxel value profiles.

Fig. 3. (a) Upper abdomen GT image, input and result images for the projections of (b)-(d) 90, (e)-(g) 120 and (h)-(j) 180. Second to fourth columns correspond to the input images, the images from the model trained without the wavelet transformation and residual learning, and the images from the model trained with the wavelet transformation and residual learning, respectively. Red box and yellow line indicate a zoomed area and a line used for measuring voxel value profiles.

이와 같은 결과는 Fig. 4에서도 확인할 수 있다. Fig. 4는 90장의 투영상의 이용하여 획득한 테스트 GT 영상, 입력 영상, wavelet 변환과 잔차 학습을 미적용 및 적용하여 획득한 영상의 복셀값 profile 을 보여준다. 희박뷰 CT 입력 영상 및 wavelet 변환과 잔차 학습을 미적용하여 획득한 영상에 비해 본연구에서 개발한 영상화 모델을 통해 획득한 영상의 복셀값이 GT 영상과 더욱 유사함을 확인할 수 있다. 또한 복셀값 변화 형태 관찰을 통해 wavelet 변환과 잔차 학습 적용으로 결과 영상의 공간분해능이 향상되는 결과를 확인할 수 있다.

Fig. 4. Voxel value profiles for the (a) lung and (b) upper abdomen images with 90 projections.

Fig. 5 및 6는 각각 투영상 개수에 따른 희박뷰 CT 영상과 본 연구에서 획득한 결과 영상에 대한 PSNR 및 SSIM을 보여준다. 모든 투영상 개수에 대하여 입력 영상에 비해 CNN 기반 영상화 모델로부터 획득한 영상의 PSNR 및 SSIM이 더 높은 결과를 확인하였다. CNN 기반 영상화 모델 중 wavelet 변환과 잔차 학습을 적용한 모델로부터 획득한 영상의 PSNR 및 SSIM이 가장 높았다. 입력 영상에 비해 wavelet 변환과 잔차 학습을 미적용 및 적용하여 획득한 영상의 PSNR은 각각 평균 25.80 및 27.91% 높았으며, SSIM은 각각 평균 26.28 및 31.46% 높았다. Wavelet 변환과 잔차 학습을 적용한 경우 결과 영상의 PSNR 증가 정도는 투영상 개수 변화에 영향을 받지 않았지만, SSIM은 투 영상 개수가 작을수록 증가 정도가 더 큰 결과를 확인하였다.

Fig. 5. PSNRs for the (a) lung and (b) upper abdomen images with the projection of 90, 120 and 180.

Fig. 6. SSIMs for the (a) lung and (b) upper abdomen images with the projection of 90, 120 and 180.

입력 영상에 비해 wavelet 변환과 잔차 학습을 적용하여 획득한 영상의 SSIM은 90장의 투영상에 대하여 평균 53.17% 증가, 180장의 투영상에 대하여 평균 10.53% 증가하였다.

Ⅳ. DISCUSSION

본 연구에서는 희박뷰 CT 영상의 인공물 감소를 위해 wavelet 변환과 결합한 CNN 구조를 설계하였으며, 잔차 학습을 통해 영상화 모델을 개발하였다. 개발한 영상화 모델의 인공물 감소 효과를 평가하기 위해 출력 영상의 복셀값 profile, PSNR 및 SSIM 을 측정하였다.

CNN 기반 영상화 모델을 통해 입력 영상 내 streak 형태의 인공물이 감소되며, 출력 영상의 화질이 시각적 및 정량적으로 개선되는 결과를 확인하였다. Wavelet 변환과 잔차 학습을 적용한 영상화 모델은 미적용 영상화 모델에 비해 출력 영상의 공간분해능을 향상시킬 수 있으며, PSNR은 약 8.18%, SSIM은 약 19.71% 향상되는 결과를 확인하였다. 이와 같은 결과는 wavelet 변환과 잔차 학습을 적용한 CNN 기반 영상화 모델이 희박뷰 CT 영상의 인공물을 효과적으로 제거할 수 있음을 보여준다. 또한 CNN 기반 영상화 모델의 단점인 출력 영상의 공간분해능 저하 문제^[20]를 wavelet 변환과잔차 학습 동시 적용을 통해 개선시킬 수 있음을 보여준다.

입력 영상과 비교하여 wavelet 변환과 잔차 학습을 적용하여 획득한 결과 영상의 인공물 감소 정도는 입력 영상 획득을 위해 사용된 투영상 개수가 작을수록 증가하였다. 이와 같은 결과는 입력 영상의 화질 왜곡이 심할수록, 즉 희박뷰 CT 영상 내인 공물이 많이 포함되어 있을수록 wavelet 변환과잔차 학습을 적용한 CNN 기반 영상화 모델의 화질 개선 효과가 향상될 수 있음을 보여준다.

본 연구에서는 CNN 구조의 단순화 및 학습 속도향상을 위해 8개의 콘볼루션 층을 사용했고, 각 콘볼루션 층에 대한 입출력 영상의 크기를 동일하게 맞춰 주었다. 일반적으로 CNN의 성능은 콘볼루션층의 개수, pooling 및 skip connection 과정 여부에 따라서 결정된다^[21-23]. 따라서, 본 연구에서 개발한 CNN 구조 내 콘볼루션 층의 개수를 최적화시키고, pooling 및 skip connection을 적용함으로써 학습된 영상화 모델의 인공물 감소 효과를 더욱 향상시킬수 있을 것이다.

Ⅴ. CONCLUSION

본 연구에서는 wavelet 변환과 잔차 학습을 적용한 CNN 기반 영상화 모델이 희박뷰 CT 영상의 인공물을 효과적으로 제거할 수 있을 뿐만 아니라 공간분해능을 향상시킬 수 있음을 보여주었다. 또한 입력 영상의 화질 왜곡이 심할수록 본 연구에서 개발한 영상화 모델의 인공물 감소 효과가 중가될 수 있음을 보여주었다. 결론적으로 본 연구의 결과는 딥러닝 기반 희박뷰 CT 영상의 화질 향상 모델 개발을 위해 이용될 수 있을 것으로 생각되며, 희박 뷰 CT 영상화 기술의 임상적 활용 가능성을 향상시킬 수 있을 것이다.