Development of Convolutional Network-based Denoising Technique using Deep Reinforcement Learning in Computed Tomography

심층강화학습을 이용한 Convolutional Network 기반 전산화단층영상 잡음 저감 기술 개발

Abstract

Supervised deep learning technologies for improving the image quality of computed tomography (CT) need a lot of training data. When input images have different characteristics with training images, the technologies cause structural distortion in output images. In this study, an imaging model based on the deep reinforcement learning (DRL) was developed for overcoming the drawbacks of the supervised deep learning technologies and reducing noise in CT images. The DRL model was consisted of shared, value and policy networks, and the networks included convolutional layers, rectified linear unit (ReLU), dilation factors and gate rotation unit (GRU) in order to extract noise features from CT images and improve the performance of the DRL model. Also, the quality of the CT images obtained by using the DRL model was compared to that obtained by using the supervised deep learning model. The results showed that the image accuracy for the DRL model was higher than that for the supervised deep learning model, and the image noise for the DRL model was smaller than that for the supervised deep learning model. Also, the DRL model reduced the noise of the CT images, which had different characteristics with training images. Therefore, the DRL model is able to reduce image noise as well as maintain the structural information of CT images.

전산화단층영상 품질 개선을 위해 사용되는 지도학습 기반의 딥러닝 기술은 사전 학습을 위해 많은 양의 데이터를 필요로 하는 단점이 있다. 또한 지도학습 기반의 딥러닝 기술은 학습에 사용된 영상의 특징과 학습된 모델에 입력된 영상의 특징이 다른 경우 영상 내부 구조적 왜곡이 유발되는 한계점이 있다. 본 연구에서는 기존 지도학습 기반 딥러닝 기술의 단점을 보완하고 전산화단층영상의 잡음을 감소시킬 수 있는 심층강화학습 기반 영상화 모델을 개발하였다. 심층강화학습 기반 영상화 모델은 shared, value 및 policy 네트워크로 구성하였으며, 영상 잡음 특징 추출 및 모델의 성능 향상을 위해 합성곱, rectified linear unit(ReLU) 활성화 함수, dilation factor 및 게이트순환유닛을 사용하였다. 또한 기존 지도학습 기반 딥러닝 기술을 통해 획득한 영상의 영상품질 비교를 통해 본 연구에서 개발한 영상화 모델의 성능을 평가하였다. 연구결과 기존 기술에 비해 본 연구에서 개발한 영상화 모델 적용 시 전산화단층영상의 정량적 정확도는 큰 폭으로 향상, 잡음은 큰 폭으로 감소함을 확인하였다. 또한 영상화 모델 학습 시 사용한 영상과 구조적 특징이 다른 영상에 대해서도 잡음 감소 효과를 확인하였다. 따라서 본 연구에서 개발한 심층강화학습 기반 영상화 모델을 통해 전산화단층영상의 구조적 특징을 보전함과 동시에 잡음을 감소시킬 수 있다.

​​Ⅰ. INTRODUCTION

전산화단층촬영(Computed Tomography; CT)은 의료 진단용 3차원 단층영상을 제공할 수 있기 때문에 진단의 정확도를 향상시킬 수 있지만, 여러 각도에서 반복적인 엑스선 촬영이 필요하기 때문에 다량의 피폭선량으로 인한 부작용이 수반된다^[1]. 이와 같은 단점을 보완하기 위하여 저선량 CT 영상화 기술 개발에 대한 연구가 활발하게 수행되고 있다. 하지만 저선량 CT 촬영을 통해 획득한 3차원 단층영상은 잡음 증가, 인공물 발생 등으로 인하여 영상품질이 저하되는 한계가 있다^[2,3]. 저선량 CT 영상의 품질 향상을 위해 사용되는 일반적인 후처리 필터는 영상의 잡음, 공간분해능, 인공물 등의 상호관계(trafe-off relationship)를 충분히 충족시키지 못하는 한계가 있다.

최근 의료 영상 분야에서 딥러닝(deep-learning) 기술은 병변 검출(detection), 영역 분할(segmentation), 병변 분류(classification) 등 다양한 목적으로 활용되고 있다^[4]. 딥러닝 기반 잡음제거의 대표적인 기술인 디노이징 콘볼루션 신경망(Denoising convolutional neural network; DnCNN)^[5,6]은 지도학습을 기반으로 사전 훈련된 모델을 이용하여 영상의 잡음을 제거하는 딥러닝 기술이다. 하지만 지도학습을 기반으로 하기 때문에 모델의 사전 훈련을 위해 많은 양의 학습 데이터를 필요로 하며, 학습에 사용된 영상의 특징과 실제 테스트 영상의 특징이 다른 경우 결과 영상 내부의 구조적 왜곡이 유발되어 효과적인 결과를 얻을 수 없다는 단점이 있다^[7].

이에 반해 심층강화학습(Deep reinforcement learning; DRL)은 지도학습에 비해 소량의 학습 데이터를 필요로 하기 때문에 효과적인 모델 학습이 가능하며, 입력 데이터의 구조적 특징을 보전할 수 있는 장점이 있다^[8]. 또한 shared, value 및 policy 네트워크로 구성되어 있는 DRL 기반 모델은 학습 시각 계층에서 영상의 특징을 스스로 파악하고, 보완하기 위한 최적의 알고리듬을 찾아가는 특징을 가지고 있다. 의료 영상 분야에서 DRL을 이용한 병변 검출, 영역 분할 등의 연구^[9,10]는 수행된 바 있지만 잡음 제거와 같이 CT 영상의 복셀 단위 특징을 파악하고 학습할 수 있는 DRL 기술은 개발된 바 없다. 따라서 본 연구에서는 기존 지도학습 기반 딥러닝 기술의 단점을 개선한 강화학습을 이용하여 CT 영상의 효과적인 잡음 제거를 위한 DRL 모델을 개발하고자 한다.

Ⅱ. MATERIAL AND METHODS

1. 데이터 준비

DRL 모델의 학습과 시험을 위해 SPIE-AAPM Lung CT Challenge dataset^[11]을 이용하였다. 학습 데이터 구성을 위해 SPIE-AAPM Lung CT Challenge dataset 중 512 × 512 배열 크기를 갖는 500장의 폐 CT 저잡음 원본 영상(ground truth; GT)과 해당 원본 영상에 Eq. (1)을 이용하여 가우시안 잡음을 추가한 고잡음 영상을 준비하였다.

\(y=\frac{1}{\sigma \sqrt{2 \pi}} e^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}}\)         (1)

x는 원본 영상의 복셀값, σ는 표준편차, μ는 원본 영상 복셀 평균값, y는 잡음이 추가된 복셀값을 나타낸다. 본 연구에서는 CT 영상 잡음 수준에 따른 DRL 모델의 성능을 평가하기 위해 표준편차를 각각 15, 25 및 50으로 설정하여 고잡음 영상을 획득하였다. 시험 데이터 구성을 위해 SPIE-AAPM Lung CT Challenge dataset 폐 CT 영상 중 학습에 사용하지 않은 영상을 무작위로 선택하였으며, 선택한 원본 영상에 표준편차 15, 25 및 50을 갖는 가우시안 잡음을 추가하였다. 폐 CT 영상으로 학습된 잡음 제거 DRL 모델이 입력 데이터의 구조적 특징을 보전하면서 잡음 제거를 수행할 수 있는지 평가하기 위해 두부 및 하지 CT 영상^[12]을 시험 데이터에 추가하였다.

학습된 잡음 제거 DRL 모델의 성능을 실험을 통해 확인하기 위해 Fig. 1과 같이 구성된 프로토타입 마이크로 CT 시스템을 이용하여 획득한 영상을 시험 데이터에 추가하였다. 프로토타입 마이크로 CT 시스템은 엑스선관(L9631, Hamamatsu Photonics, Japan), CMOS 검출기(Shad-o-Box 1280HS, TELEDYNE DALSA, Canada) 및 피사체 회전 모듈로 구성되어 있으며, 선원-검출기간 거리와 피사체-검출기간 거리는 각각 1463 mm와 137.5 mm로 설정하였다. 영상 획득을 위해 관전압 및 관전류는 각각 60 kV 및 600 μA로 설정하였고, 원통형 팬텀(Standard RAT Phantom, True Phantom Solution Inc, Canada)을 중심으로 180 장의 프로젝션 영상을 획득하였다. 획득한 프로젝션 영상은 Ram-Lak 필터를 사용한 필터링후역투영법을 이용하여 재구성하였다.

Fig. 1. Prototype micro CT system.

2. 심층강화학습 모델 구성 및 학습

본 연구에서 개발한 DRL 모델은 shared, value 및 policy 네트워크로 구성된다. CT 영상의 복셀 단위 잡음 특성을 학습하기 위해 전 결합 네트워크(fully connected network; FCN)^[13] 형태로 각 네트워크를 연결하였다. Shared 네트워크에서는 목표 복셀에 존재하는 잡음의 특성을 파악하여 value 네트워크와 policy 네트워크로 결과를 전달한다. 전달받은 결과를 value 네트워크와 policy 네트워크가 공유하며, value 네트워크에서는 policy 네트워크 각 계층에서 계산한 잡음 제거 알고리듬 수행 시 얻을 수 있는 reward 기댓값을 Eq. (2)의 식에 따라 산출한다^[14].

\(\begin{array}{l} R=\left[r^{(t)}+\gamma r^{(t+1)}+\gamma^{2} r^{(t+2)}+\cdots\right. \left.+\gamma^{n-1} r^{(t+n-1)}+\gamma^{n} r^{(t+n)} \mid s^{(t)}=s\right] \end{array}\)        (2)

r(t)는 policy 네트워크에서 계산한 잡음 제거 알고리듬을 t 횟수 업데이트 하여 수행 시 획득 가능한 reward 기댓값, γ은 각 단계에서 획득한 reward 기댓값에 대한 가중치, s는 해당 복셀값을 나타낸다. Value 네트워크에서 산출한 reward 기댓값을 바탕으로 policy 네트워크는 잡음제거를 위한 최적의 알고리듬을 결정한다.

본 연구에서 개발한 DRL 모델의 shared 네트워 크는 Fig. 2와 같이 4개의 합성곱 계층으로 구성하였다. 각 계층의 합성곱 필터의 크기는 3 × 3, 출력 channel의 개수는 64로 설정하였다. 합성곱 필터 연산 수행 시 처리할 수 있는 영역을 늘림과 동시에 연산량은 유지하기 위해 dilation factor를 첫 번째 층에서 네 번째 층에 각각 1, 2, 3 및 4로 설정하였다. Value 네트워크 각 계층의 filter size는 3 × 3, dilation factor는 3, 2 및 1 로 설정하고, output channel의 개수는 64, 64, 64, 1 로 설정하였다. Policy 네트워크의 구조는 shared 네트워크와 유사하게 구성하였으며, 학습 과정에서 전달받는 정보의 손실을 최소화하기 위해 세 번째 계층에 게이트순환유닛(gate rotation unit; GRU)^[15]을 추가하였다. 게이트순환유닛은 딥러닝 기반 신경망 학습 시 사용하는 정보의 양을 조절하여 깊은 신경망 학습 시 발생하는 오류를 감소시킬 수 있는 기술이다^[16]. 각 네트워크 학습에 필요한 활성화 함수로 Eq. (3)과 같은 rectified linear unit(ReLU)을 사용하였다.

\(f\left(x_{i}\right)=\left\{\begin{array}{ll} x_{i} & \text { if } x_{i} \geq 0 \\ 0 & \text { otherwise } \end{array}\right.\)         (3)

Fig. 2. Architecture of the DRL model.

본 연구에서 개발한 DRL 모델 학습 시 최적화를 위해 Adaptive moment estimation(Adam)^[17,18]을 사용하였다. 또한 DRL 모델 학습 시 learning rate는 1 × 10^-3, batch size는 64, 최종 학습 완료 episode는 30000회, 각 episode 내 총 길이는 5 등의 초 매개 변수^[19]를 Table 1과 같이 설정하였다.

Table 1. Hyperparameters uesd for the DRL model training

Policy 네트워크에서 잡음제거를 위해 수행 가능한 알고리듬을 Table 2와 같이 9가지로 설정하였다. Median, bilateral, box 및 가우시안 필터를 사용하였으며 bilateral 필터와 가우시안 필터의 경우 필터링 변수를 변화시켜 잡음 제거 정도가 상이한 알고리듬을 추가하였다. 또한 복셀값을 유지 및 변화시킬 수 있는 알고리듬 3가지를 설정하였다. Policy 네트 워크에서는 잡음 제거를 위해 9가지 알고리듬을 복합적으로 수행하고, value 네트워크에서는 알고리듬 수행 결과 획득 가능한 reward 기댓값을 산출하여, 해당 픽셀에 대하여 reward 기댓값이 가장 높은 알고리듬을 선택한다.

Table 2. Selectable actions in the policy network.

3. 영상의 정량적 정확도 및 영상품질 분석

개발한 DRL 네트워크의 성능을 평가하기 위해 지도학습 기반 DnCNN을 통해 획득한 영상과 품질을 비교하였다. 학습이 완료된 DRL 모델을 이용하여 획득한 폐, 두부 및 하지 CT 영상의 정량적 정확도와 영상품질을 평가하기 위하여 peak signal-to noise ratio(PSNR)^[20], structural similarity(SSIM)^[21] 및 coefficient-of-variation(COV)^[22]를 측정하였다. PSNR은 Eq. (4)와 같이 영상의 복셀값 중 최대값과 잡음의 비를 의미한다.

\(\begin{aligned} P S N R=& 20 \times \log _{10}\left(M A X_{y}\right) -10 \times \log _{10}\left(\frac{1}{n} \sum_{i=1}^{n}\left(x_{i}-y_{i}\right)^{2}\right) \end{aligned}\)        (4)

xi는 원본 영상의 복셀값, yi는 DRL 모델을 통해 획득한 영상의 복셀값, n은 영상 내 복셀의 개수, MAXy는 DRL 모델을 통해 획득한 영상의 복셀값 중 최대값을 나타낸다. SSIM은 Eq. (5)를 이용하여 계산하였다.

\(\begin{aligned} \operatorname{SSIM}(x, y)=&[l(x, y)]^{\alpha} \times[c(x, y)]^{\beta} \times[s(x, y)]^{\gamma} \end{aligned}\)        (5)

l, c 및 s는 각각 휘도비, 명암비 및 구조비를 나타내며, α, β 및 γ 각 인자들을 강조하는 상수이다. 본 연구에서는 SSIM 계산 시 휘도비, 명암비 및 구조비를 동일하게 강조하여 평가하기 위해 α, β 및 γ를 모두 1로 설정하였다. COV는 잡음의 절대값을 평가하지 않고, 평균 복셀값에 대한 상대적인 잡음을 평가하기 위한 변동계수로서 Eq. (6)과 같이 계산할 수 있다.

\(C O V=\frac{\sigma}{\mu}\)        (6)

μ 및 σ는 각각 영상 내 복셀값의 평균값 및 표준 편차를 나타낸다.

Ⅲ. RESULT

1. DRL 모델 학습을 통한 reward 기대값

Fig. 3은 DRL 모델 학습 시 episode 30000회를 진행하여 잡음제거 알고리듬을 수행한 reward 기댓값을 보여준다. Episode가 증가함에 따라 reward 기댓값이 증가함을 확인할 수 있고, episode 10000회 이후로 reward 기댓값의 변화 정도가 감소함을 알 수 있다. 또한 episode 25000~30000회 대한 reward 기댓값의 변화가 1% 미만으로 확인되었다.

Fig. 3. Rewards as a function of the episode number for the DRL model training.

2. 폐 CT 영상

Fig. 4는 원본 폐 CT 영상, 잡음을 포함한 폐 CT 영상, DnCNN 모델 및 DRL 모델에 통해 획득한 폐 CT 영상이다. DnCNN 모델 적용 시 잡음을 포함한 영상과 비교하여 잡음이 감소하였으나, 감소 정도가 크기 않고 영상 내 해부학적 구조물에 대한 정보 왜곡이 완전히 복구되지 않은 결과를 확인할 수 있다. 이에 반해 본 연구에서 개발한 DRL 모델 적용 시 DnCNN 모델을 통해 획득한 영상에 비해 잡음 제거 정도가 크며, 해부학적 구조물에 대한 정보 왜곡이 완전히 복구됨을 알 수 있다.

Fig. 4. (a) Ground truth lung CT image. (b), (e) and (h) are the input lung CT images including the Gaussian noise with the standard deviations of 15, 25 and 50, respectively. (c), (f) and (i) are the output lung CT images for the DnCNN model, and (d), (g) and (j) are the output lung CT images for the DRL model.

Fig. 5는 잡음을 포함한 폐 CT 영상, DnCNN 모델 및 DRL 모델에 통해 획득한 폐 CT 영상에 대한 PSNR, SSIM 및 COV 측정 결과를 보여준다. 표준편차 15, 25 및 50 수준의 잡음을 포함한 영상에 비해 DnCNN 모델 적용 시 출력영상의 PSNR이 각각 1.11, 1.18 및 1.31배 향상, SSIM은 각각 1.02, 1.04 및 1.11배 향상, COV는 각각 0.61, 0.49 및 0.26배로 감소하였다. DRL 모델 적용 시 출력영상의 PSNR은 각각 1.21, 1.30 및 1.39배 향상, SSIM은 각각 1.13, 1.22 및 1.39배 향상, COV는 각각 0.33, 0.21 및 0.07배로 감소하였다. 이와 같은 결과는 DRL 모델이 DnCNN 모델에 비해 영상품질 복원 및 잡음 제거 성능이 우수하다는 것을 보여준다.

Fig. 5. (a) PSNRs, (b) SSIMs and (c) COVs of the input lung CT images and the output lung CT images obtained from the DnCNN and DRL models.

3. 두부 및 하지 CT 영상

Fig. 6과 7은 원본 두부 및 하지 CT 영상, 잡음을 포함한 CT 영상, DRL 모델을 이용하여 획득한 CT 영상을 보여준다. 폐 CT 영상으로 학습된 DRL 모델을 적용했음에도 불구하고 출력영상에서 두부 및 하지의 해부학적 구조물이 원본 CT 영상과 같이 유지된 결과를 확인할 수 있다. 또한 잡음을 포함한 영상에 비해 DRL 모델을 통한 출력 영상의 잡음이 현저히 감소됨을 확인할 수 있다.

Fig. 6. (a) Ground truth head CT image. (b), (d) and (g) are the input head CT images including the Gaussian noise with the standard deviations of 15, 25 and 50, respectively. (c), (e) and (f) are the output head CT images for the DRL model.

Fig. 7. (a) Ground truth lower extremity CT image. (b), (d) and (g) are the input lower extremity CT images including the Gaussian noise with the standard deviations of 15, 25 and 50, respectively. (c), (e) and (f) are the output lower extremity CT images for the DRL model.

Fig. 8과 9는 잡음을 포함한 두부 및 하지 CT 영상과 DRL 모델에 통해 획득한 두부 및 하지 CT 영상에 대한 PSNR, SSIM 및 COV 측정 결과를 보여 준다. 두부 CT 영상의 경우 표준편차 15, 25 및 50 수준의 잡음을 포함한 영상에 비해 DRL 모델 적용 시 출력영상의 PSNR은 각각 1.19, 1.20 및 1.54배 향상, SSIM은 각각 1.15, 1.25 및 1.47배 향상, COV는 각각 0.07, 0.03 및 0.03배로 감소하였다. 하지 CT 영상의 경우 표준편차 15, 25 및 50 수준의 잡음을 포함한 영상에 비해 DRL 모델 출력영상의 PSNR은 각각 1.18, 1.25 및 1.74배 향상, SSIM은 각각 1.17, 1.25 및 1.38배 향상, COV는 각각 0.41, 0.27 및 0.06배로 감소하였다.

Fig. 8. (a) PSNRs, (b) SSIMs and (c) COVs of the input head CT images and the output head CT images obtained from the DRL models.

Fig. 9. (a) PSNRs, (b) SSIMs and (c) COVs of the input lower extremity CT images and the output lower extremity CT images obtained from the DRL models.

5. 실험 CT 영상

Fig. 10은 프로토타입 마이크로 CT 시스템 및 원통형 팬텀을 이용하여 획득한 실험 CT 영상 및 DRL 모델을 적용하여 획득한 출력영상을 보여준다. 출력 영상에 확인할 수 있는 바와 같이 DRL 모델이 실험 영상에서 발생하는 잡음 역시 제거할 수 있음을 알 수 있다. 정략적 분석 결과, Fig. 11과 같이 DRL 모델이 입력영상 대비 출력영상의 COV를 0.48배로 감소시킴을 확인하였다.

Fig. 10. (a) Input image obtained by using the prototype micro CT system and cylindrical phantom and (b) output image for the DRL model.

Fig. 11. COVs of the input and output images by experiments.

Ⅳ. DISCUSSION

2013년 DeepMind Technologies는 강화학습과 딥러닝을 결합한 인공지능 기술을 개발하였고, 이를 통해 심층강화학습에 대한 가능성이 열리게 되었다^[8]. 최근에는 CT 영상과 심층강화학습 기술을 이용하여 폐 결절 검출^[9], 폐 및 상복부 장기 영역 분할^[10] 등의 연구결과가 발표되면서 의료영상분야로 심층강화학습 기술의 응용가능성이 확대되고 있다. 본 연구에서는 심층강화학습을 이용하여 CT 영상 내 잡음 제거를 위한 기술을 개발하고, 출력영상의 품질 평가를 통해 기존 지도학습 기반 딥러닝 기술과의 성능을 비교하였다.

DRL 모델 학습 시 학습 횟수인 episode가 증가함에 따라 reward 기댓값이 증가하였지만 일정 횟수 이상에서는 reward 기댓값의 변화 정도가 미미하였다. 이와 같은 결과는 DRL 모델 학습 시 학습된 모델의 성능 및 학습시간을 고려하여 최적의 학습 횟수를 설정할 수 있음을 보여준다.

기존 딥러닝 기술인 DnCNN 모델 및 본 연구에서 개발한 DRL 모델 모두 CT 영상의 정량적 정확도 향상시킬 수 있고, 잡음을 제거할 수 있음을 보여 주었다. 두 모델 중 DRL 모델 적용 시 출력영상의 PSNR 및 SSIM이 상대적으로 더 큰 폭으로 증가하였으며, COV는 더 큰 폭으로 감소하였다. 이와 같은 결과를 통해 DnCNN 모델에 비해 DRL 모델의 CT 영상 정확도 향상 및 잡음 제거 성능이 우수함을 알 수 있다. 또한 CT 영상의 잡음 수준이 증가할수록 두 모델 간 PSNR 및 SSIM 향상 정도 차이와 COV 감소 정도 차이가 더 큰 결과를 확인하였으며, 이는 잡음 수준이 높은 CT 영상일수록 DRL 모델에 의해 영삼품질이 큰 폭으로 개선될 수 있음을 보여 준다.

폐 CT 영상을 통해 학습한 DRL 모델을 두부, 하지 및 실험을 통해 획득한 CT 영상에 적용한 결과 영상 정확도 향상 및 잡음 제거 효과를 확인하였다. 이는 본 연구에서 개발한 DRL 모델 학습 시 복 셀 단위 특징을 모델이 스스로 파악하고, 파악된 특징을 shared, value 및 policy 네트워크에서 공유함으로써 구조적 왜곡 등의 오류를 최소화 시킬 수 있는 알고리듬을 결정하기 때문이다. 따라서 본 연구에서 개발한 DRL 모델이 입력 영상의 구조적 특징을 보전함과 동시에 영상품질을 개선시킬 수 있는 성능을 갖추고 있음을 보여준다.

Ⅴ. CONCLUSION

본 연구에서는 DRL 모델이 CT 영상 내 잡음을 제거할 수 있을 뿐만 아니라 영상의 정확도를 향상 시킬 수 있음을 보여주었다. 또한 기존 지도학습 기반 DnCNN 모델과의 비교를 통하여 본 연구에서 개발한 DRL 모델의 우수성을 입증하였다. 결론적으로 본 연구의 결과는 심층강화학습 기반 CT 영상화 모델 개발을 위한 기반 데이터를 제공할 수 있을 것으로 생각된다. 후속 연구를 통해 가우시안 잡음 뿐만 아니라 CT 영상 내에서 발생할 수 있는 임펄스, 포아송 잡음 등에 대한 제거 모델을 개발할 것이다.