Dependency of Generator Performance on T1 and T2 weights of the Input MR Images in developing a CycleGan based CT image generator from MR images

CycleGan 딥러닝기반 인공CT영상 생성성능에 대한 입력 MR영상의 T1 및 T2 가중방식의 영향

Abstract

Even though MR can reveal excellent soft-tissue contrast and functional information, CT is also required for electron density information for accurate dose calculation in Radiotherapy. For the fusion of MRI and CT images in RT treatment planning workflow, patients are normally scanned on both MRI and CT imaging modalities. Recently deep-learning-based generations of CT images from MR images became possible owing to machine learning technology. This eliminated CT scanning work. This study implemented a CycleGan deep-learning-based CT image generation from MR images. Three CT generators whose learning is based on T1- , T2- , or T1-&T2-weighted MR images were created, respectively. We found that the T1-weighted MR image-based generator can generate better than other CT generators when T1-weighted MR images are input. In contrast, a T2-weighted MR image-based generator can generate better than other CT generators do when T2-weighted MR images are input. The results say that the CT generator from MR images is just outside the practical clinics and the specific weight MR image-based machine-learning generator can generate better CT images than other sequence MR image-based generators do.

MR은 우수한 연조직 대비와 기능 정보를 보여줄 수 있지만, 방사선치료에서 정확한 선량 계산을 위해서는 CT영상의 전자밀도 정보가 필요하다. 방사선치료(Radiotherapy) 계획 워크플로우에서 MR영상과 CT영상을 융합하기 위해 환자는 일반적으로 MR과 CT영상 방식 모두에서 스캔된다. 최근에 딥러닝기술 덕분에 MR영상에서 딥러닝 기반의 CT영상 생성이 가능해졌다. 이로 인해 CT 스캔 작업을 할 필요가 없게 된다. 본 연구에서는 MR영상으로부터 CycleGan 딥러닝 기반 CT영상생성을 구현했다. T1가중이나 T2가중 중에 한 가지 또는 그 둘다의 MR영상을 가지고 합습한 3가지의 인공지능 CT생성기를 만들었다. 결과에서 우리는 T1가중 MR 영상 기반으로 학습한 생성기가 T1가중 MR영상이 입력될 때 다른 CT생성기보다 더 나은 결과를 생성할 수 있음을 발견했다. 반면, T2가중 MR영상 기반 CT생성기는 T2가중 MR영상을 입력 받을 때, 다른 시퀀스기반 CT생성기보다 더 나은 결과를 생성할 수 있습니다. MR영상을 기반으로 한 CT생성기는 곧 임상현장에 적용될 수 있는 기술이다. 특정 시퀀스 MR영상으로 학습한 머신러닝 CT생성기는 다른 시퀀스 MR영상으로 학습한 생성기보다 더 그 특정 시퀀스와 같은 MR영상을 입력받을 때 더 나은 CT영상을 생성할 수 있음을 보여주었다.

Ⅰ. INTRODUCTION

암의 방사선치료에 있어 전통적으로 CT, MRI, PET 영상촬영이 이루어지고 이들의 정합을 통해 정확한 암조직의 위치와 양상을 파악해 보다 주변 조직을 파괴하지 않는 방사선치료가 이루어졌다^[1]. 최근, 정합과정의 에러와 비용을 줄이면서도 방사선 노출을 줄일 수 있는 방안으로 단독 MR영상기반 방사선치료 (MRI-only RT)가 대두되고 있다^[2]. 이는 한 가지 방식의 의료영상을 가지고 다른 방식의 의료영상을 인공지능이 생성하는 기술이 개발되어 가능하게 되었다^[3,4]. 즉, MR영상으로부터 인공지능이 CT나 PET영상을 가공할 수 있는 방법들이 발전되고 있다^[3].

그중에서, MR영상을 가지고 CT영상을 인공지능이 생성할 수 있는 경우는 비용과 방사선피폭을 피할 수 있는 이점이 있다^[3]. 반대로, CT영상을 촬영하고 이를 인공의 MR영상을 생성하면^[4] MR영상 촬영에 쓰이는 비용을 줄일 수 있지만 CT촬영 시 방사선피폭을 받아야 한다. 따라서, 방사선 피폭의 위험을 줄여야 하는 경우 MR영상기반으로 인공 CT영상을 만드는 방식이 선호될 것이다.

앞에 언급한 참고논문을 포함한 대부분의 기존 MR영상으로부터 인공 CT영상을 생성하는 연구는 입력값으로 T1가중 및 T2가중 무작위로 섞인 MR 영상을 기반으로 인공지능학습이 진행되었다^[2,5].

T1과 T2가중영상은 보여주는 해부학적 영역 혹은 표현방식에서 차이가 있어서, T1 이나 T2 가중 MR영상 기반의 학습을 하면 인공 CT영상을 덜 잘 생성할 수 있으리란 가설이 가능하다.

이에, 본 연구에서는 딥러닝 인공지능 기법을 이용하여 MRI영상으로부터 CT영상을 생성하는 방법을 구현하고자 한다. 또한, 딥러닝 CT영상생성자가 T1 가중영상 혹은 T2가중영상만으로 학습해 만들어진 경우와, T1가중영상 및 T2가중영상을 섞어 학습하여 만들어진 CT영상생성자가 CT생성능력에서 어떤 차이가 있는지를 규명하고자 한다.

Ⅱ. METHODS

1. Datasets

본 연구에서 활용된 데이터는 Nyholm^[6] 등이 구축한 MR영상 및 CT영상 공개 데이터셋을 다운받아 사용했다. 해당 데이터셋은 19명의 환자로부터 얻은 T1가중과 T2가중 MR영상, 그리고 및 Registration 과정을 거친 변형된(Deformed) CT영상을 포함하는 남자 골반 데이터셋이다. 데이터는 세개의 서로 다른 병원에서 촬영된 것이다. 촬영조건과 단층영상의 생성, 해상도에 대한 자세한 정보는 해당 논문에 제시되어 있다. 데이터셋은 그 논문에서 제시된 링크에서 받아서 비상업용으로 활용할 수 있다.

2. CycleGAN Architecture

본 연구에서 사용한 CycleGAN은 Zhenliang He^[7]의 Tensorflow 2.2버전에서 작성한 CycleGAN의 코드를 참고해 수정 및 학습을 진행했다^[7]. 구조는 Fig. 1과 같다. 이 구조는 서로 다른 도메인의 영상 간의 변환을 가능하게 하는 두 개의 생성네트워크(Generators)와 두 개의 판별네트워크(Discriminators)로 구성되어 상호 경쟁적인 학습을 통해 실제와 유사한 데이터를 생성하는 학습 모델이다^[8]. 각 네트워크 G와 D의 구조는 J. Y. Zhu et. al.^[8]에서 채용한 9개의 잔차 블록(Residual Block)을 가진 ResNet의 구조와 PatchGAN을 사용했다.

Fig. 1. CycleGAN Architecture.

생성자 G_MR→gCT는 MR영상을 입력받아 CT영상을 생성하는 반면, 생성자 C_gCT→MR는 생성된 CT 영상을 다시 MR영상으로 변환하도록 한다. 이 과정을 통해 입력 이미지의 주요 특성을 유지하면서 변환 과정에서의 정보 손실을 최소화한다. 판별자 D_CT와 D_MR은 생성자 G_MR→gCT와 C_gCT→MR에 의해 생성된 영상과 실제의 영상을 입력받아 실제의 영상인지 생성된 영상인지 판별하여 생성자가 실제 영상에 가까운 결과를 생성하도록 유도한다^[9].

3. Framework and Data Pre-processing

데이터 전처리 및 학습 등 모든 과정은 Python 3.8과 Tensorflow 2.13.0 버전에서 수행되었다. 모든 영상은 네트워크의 입력에 적합하도록 float32의 데이터타입으로 변환 후 bicubic 방식으로 256 × 256의 해상도를 갖도록 조정했다.

MR 영상은 ±1의 범위로 정규화하였으며, CT 영상은 이미 Registration 과정을 거친 Deformed CT를 활용했다. 환자 몸 외부의 불필요한 정보를 제거하기 위해 오츠(Otsu) 알고리즘^[10,11]을 사용하여 환자의 몸과 배경을 구분하는 임계값을 계산하여, 이를 통해 생성된 바이너리 마스크 영상에 Filling Holes와 Connected Component Labeling 기법을 적용하여 구멍을 메우고, 환자에 해당하는 가장 큰 객체만을 선택한 마스크 영상을 통해 환자의 몸과 외부를 분리했다. 복부 CT 영상에서 Metal Streak Artifact 같은 작은 픽셀이 >1500 HU의 값을 갖는 것으로 확인했다. 이에 모든 픽셀을 1500 HU로 변경한 뒤 영상에 대해 ±1의 범위로 정규화를 진행했다^[11].

4. Three Generators and Hyperparameters

본 연구에서는 MR영상으로부터 CT영상으로의 변환 과정에서 다양한 CycleGAN 학습 구성의 효과성을 평가하고자 하였다. 이를 위해, Fig. 2의 세 가지의 데이터 구성으로 실험을 진행했다. 각 구성으로 학습된 CycleGAN의 생성자 G는 입력 데이터셋의 특성을 바탕으로 명명하였으며, 각각 G_T1&T2→gCT, G_T1→gCT, G_T2→gCT로 지정했다.

Fig. 2. Training configurations for CycleGAN: (a) Combined T1 and T2 MR to CT, (b) T1 MR to CT, (c) T2 MR to CT.

Fig. 2-(a) 구성은 T1과 T2 가중 MR영상을 모두 포함하는 데이터셋이다. 이 구성의 생성자 G_T1&T2→gCT는 두 가지 가중 MR 영상 모두 포함하여 학습하였다. Fig. 2-(b)는 T1가중 MR영상과 CT만을 포함하는 데이터셋을 사용하여 학습을 진행했으며, Fig. 3-(c) 구성은 T2가중MR영상과 CT만을 포함하는 데이터셋을 사용하여 학습을 진행했다.

Fig. 3. (a) input T1-weighted MR image, (b) Target CT image, and gCTs using G_T1&T2→gCT at epoch 1(c) and epoch 60(d)

본 연구에서 사용한 CycleGAN의 학습 파라미터는 J. Y. Zhu et. al.^[8]의 설정을 따른 뒤 경험적으로 조정하였으며 최종적으로 사용된 파라미터는 다음과 같다. 각 네트워크 간의 안정적인 학습을 위해 Learning Rate는 초기에 2E-4에서 시작하여 40 Epoch 이후부터 선형적으로 0까지 감소하도록 했다.또한, GPU 메모리의 한계 그 효율성을 위해 Batch size를 1로 설정했으며 학습률은 60의 epoch까지 학습을 진행했다.

서로 다른 장비에서 수집된 데이터, 모델의 일반화 능력을 평가하기 위하여 데이터셋에서 각 센터별 한 명 환자씩 선정하여 테스트 데이터셋을 구성했다. 학습에는 총 16명의 데이터를 활용했다.

5. Evaluation Metrics

본 연구에서는 생성된 gCT 영상를 실제 CT영상과 비교하였다. 이들 CT영상내 픽셀특성값의 비교하여 이들간의 MSE(평균제곱오차), PSNR(최대신호대잡음비)과 SSIM(구조적유사성지수) 세 가지 주요 지표를 사용했다. 이는 아래와 같이 계산된다.

\(\begin{align}\begin{array}{l}M S E(C T, g C T)= \\ \quad \frac{1}{M N} \sum_{i=1}^{M} \sum_{j=1}^{N}[C T(i, j)-g C T(i, j)]^{2}\end{array}\end{align}\)       (1)

MN : 영상의 가로 및 세로 픽셀 수

gCT : 원 영상 CT와 비교할 생성된 CT

\(\begin{align}\begin{array}{l}\operatorname{PSNR}(C T, g C T)= \\ \quad 10 \cdot \log _{10}\left(\frac{M A X_{C T}^{2}}{M S E(C T, g C T)}\right)\end{array}\end{align}\)       (2)

MAX : 영상들에서 가능한 최대 픽셀 값

\(\begin{align}\begin{array}{l}\operatorname{SSIM}= \\ \quad \frac{\left(2 \mu_{x} \mu_{y}+c_{1}\right)\left(2 \sigma_{x y}+c_{2}\right)}{\left(\mu_{x}^{2}+\mu_{y}^{2}+c_{1}\right)\left(\sigma_{x}^{2}+\sigma_{y}^{2}+c_{2}\right)}\end{array}\end{align}\)       (3)

x, y : 비교할 두 영상의 영역

μ : 영상 영역의 평균 밝기

σ² : 영상 영역의 분산

σ_xy : 두 영상 영역의 공분산

c : 안정화 상수

Ⅲ. RESULT

1. Learning Progress of the Generators

Fig. 3은 T1가중 MR영상을 입력으로 사용했을 때, epoch 1과 60에서 생성된 gCT를 모여준다. 즉 초기 epoch에서는 실제 CT영상과 뚜렷한 차이가 있으나, 학습이 진행될수록 영상의 질이 보다 향상되었다.

2. Intuitive Evaluation of the Generators

Fig. 4는 대퇴골 부위 T1 및 T2 가중 MR영상을 입력으로 사용했을 때 인공지능 생성자가 만들어 낸 gCT 영상을 보여준다. 세가지 생성자에 의해 생성된 gCT영상은 실제 CT영상과 비교하였다. 이때 비교되는 실제 CT영상은 입력 MR영상의 스캔축상의 좌표값과 해부학적 위치가 가장 비슷한 실제 CT단면영상으로 연구자가 선택했다.

Fig. 4. (a) Detailed views of the femoral head region outputs from models given a T1-weighted MR image as input, (b) Detailed views of the femoral head region outputs from models given a T2-weighted MR image as input.

Fig. 4-(a)와 4-(b)는 각각 입력 MR영상이 T1과 T2일 경우 gCT와 실제 CT영상을 비교해 보여주고 있다. 두 경우 모두에서, 모델은 일부 해부학적 구조를 성공적으로 변환하였으나, 생성자에 따라 실제 CT 영상에 비해 관절면 근처의 해면골 영역에서의 묘사가 실제 영상과의 차이를 드러냈다.

상대적 비교를 하자면, T1가중 MR영상이 입력으로 주어진 경우 T1가중영상으로 학습한 G_T1→gCT나 G_T1&T2→gCT 생성자가 T2가중MR영상으로 학습한 G_T2→gCT 생성자 보다 대퇴골의 바깥쪽 피질골을 실제CT영상과 더 비슷하게 표현하고 있다. 역으로, Input이 T2가중 MR영상인 경우엔 G_T2→gCT 가 가장 T2가중 MR영상이 입력으로 주어진 경우엔 T2 가중MR영상으로 학습한 G_T2→gCT 생성자가 만든 gCT가 실제 CT영상과 매우 흡사하고, 그 다음으로 G_T1&T2→gCT 생성자가 흡사한 결과를 보이고 있다. 하지만, T1가중 MR영상만으로 학습한 G_T1→gCT 생성자는 T2가중 MR영상입력으로부터 생성한 gCT는 대퇴골두 관절면 경계의 치밀골의 표현에서 실제하지 않는 허상을 보여줌을 알 수 있다.

3. Quantitative Evaluation of the Generators

Fig. 5는 Ⅲ-2에서 평가되었던 gCT영상과 실제 CT 영상의 각 픽셀에서 Hounsfield Unit (HU)값의 차이를 보여주고 주고 있다. 파랑색이나 빨강색이 짙으 곳은 차이가 크고, 흰색에 가까울수록 차이가 적음을 나타낸다. Fig. 5-(a), (c), (e)는 입력이 T1가중 MR영상인 경우 각각 G_T1&T2→gCT, G_T1→gCT, G_T2→gCT 이 세 가지 생성자가 만든 gCT영상과 실제CT영상의 HU를 비교한 것이며, Fig. 5(b, d, f)는 입력이 T2가중 MR영상인 경우 G_T1&T2→gCT, G_T1→gCT, G_T2→gCT 이 세가지 생성자가 만든 gCT 영상과 실제CT영상의 HU를 비교한 것이다.

Fig. 5. Error Map Across Models and Inputs.

Fig. 5-(d)와 Fig. 5-(f)는 입력이 T2가중 MR영상일 때, 각각 생성자 G_T1→gCT와 G_T2→gCT이 만든 gCT와 실제CT영상의 HU값의 차이를 보여주는 예이다. 이 경우, G_T1→gCT생성자에 생성된 gCT는 실제CT영상과 HU값의 차이가 크기 때문에 Fig. 5(d)에서 선명한 빨강색과 파랑생을 보여주지만, Fig. 5-(f)에서 보듯 G_T2→gCT생성자가 만든 gCT는 보다 흰색에 가까워 실제 CT영상과 HU값이 비슷함을 잘 보여주고 있다.

HU값에서 차이에 대한 정량적인 평가로서 제시된, MSE는 작을수록, SSIM과 PSNR은 클수록 실제 CT영상과 비슷함을 의미한다. 이 세가지 값은 Table 1에 정리하였다. T1가중 MR영상이 입력으로 주어진 경우, G_T1→gCT가 만든 gCT가 MSE는 가장 작고(0.0654) SSIM(0.8915)과 PSNR(29.69)은 다른 생성자에 비해 가장 크다. 반면, T2가중 MR영상이 입력으로 주어진 경우엔, G_T2→gCT생성자가 만든 gCT는 다른 생성자가 만든 gCT에 비해 낮은 MSE(0.0324)와 큰 SSIM(0.9207)과 PSNR(32.73) 값을 보인다.

Table 1. Performance Metrics of the Generators

IV. DISCUSSION

본 연구에서 T1가중영상과 T2가중영상이 단순히 섞여서 기계학습생성자를 만들면, T1가중영상이나 T2가중영상을 기반으로 학습된 CT영상생성자가 각각 T1가중이나 T2가중 MR영상을 입력받아 가상 CT를 생성하는 경우보다 생성능력이 떨어짐을 알 수 있었다.

T1 MR영상은 피하지방층을 잘 부각해 보여주기 때문에 지방과 근접한 뼈나, 근육의 조직적약화를 나타내는 지방화를 잘 표현하는 영상이 나오고, T2 MR영상은 수분을 잘 표현하여 수분을 함유하는 조직을 잘 표현한다. 이처럼 같은 인체부위을 표현함에 있어서도 T1가중, T2가중, Proton density 방식에 따라 부각되는 부위가 다르게 표현되는 MR영상이기 때문에, 특정한 MR촬영표현방식과 CT영상을 학습한 gCT 생성기가 좋은 성능을 보일것으로 판단된다.

본 연구와 반대로, CT영상으로부터^[1] 인공MR영상의 인공지능을 이용한 생성연구의 경우에는, MR 영상생성의 목적에 따라 T1가중 혹은 T2가중으로 방향이 명확히 정해지게 된다. 골반이나 무릅관절과 같이 뼈주변을 중점적으로 볼 필요가 있다면 T1 가중 인공MR영상을 만들게 되고^[12,13], 방광이나 비강과 같이 액체나 연골이 많은 부분을 보고자 할 경우엔 T2가중 인공MR영상을 생성하게 된다^[14]. 본 연구와 같이 MR영상으로부터 인공CT영상을 생성할 경우엔, 입력이 T1가중 혹은 T2가중일 수 있는데 아직까지 입력 MR영상의 가중방식에 따른 인공CT영상의 생성능력 대한 기존 연구가 없었다는 점에서 본 연구의 중요성이 있다.

인공지능 기반 가상CT생성자가 T1, T2 중 어떤 MR영상을 가지고서 가상CT영상(gCT)을 잘 만들도록 하는 것은 그 효용성이 있을 것이다. 이렇게 하려면 T1가중 및 T2가중 MR영상이 학습에 이용되기 전에 가중특성을 조합한 T1/T2융합MRI를 만들고 이와 그에 상응하는 CT 학습을 하여야, 다중시퀀스MRI 영상으로 부터 CT생성을 잘 할 수 있는 인공지능 생성자가 만들어질 것이다^[5]. 궁극적으로는, T1가중MR-CT 학습, T2가중MR-CT 학습, 양자 밀도MR-CT 학습이 따로 이루어지고, 이 인공 gCT들을 조합해 향상된 gCT를 만드는 방법도 제안되고 있다^[15].

본 연구에서 인공생성 CT영상은 그 정확도의 평가에 미진한 부분이 있었다. 사용된 MR영상과 CT 영상이 해부학적으로 똑같은 부분의 단면영상으로 만들어지지 않아서 unpaired learning이 됬기 때문이다. CT-MR 영상의 Paired 데이터셋은 CT와 MR 영상을 3차원 볼륨모델 생성과 3D/3D registration을 하여 단면 생성 위치를 해부학적으로 일치시킨 다음에 동등한 위치에서 컴퓨터 단층영상을 만들어야 가능하다^[2]. Paired 데이터셋을 활용한 딥러닝 cycleGan 학습을 하면 성능이 더 우수한 인공지능 CT생성자를 만들 수 있을 것이다.