scCycleGAN 기반 MR-CT 상호 변환 모델의 구축

Development of a Model for MR-CT Bi-directional Conversion based on scCycleGAN

Abstract

구조 제약형 주기 일관성 적대적 생성 신경망(Structure-constraints Cycle Genarative Adversarial Neural Networks, scCycleGANs)을 기반으로 MR-CT 간 상호 변환 모델을 구축하고자 하였다. 하드웨어 장비로 MDCT(Somatom Definition Flash CT, SIEMENS, Germany) 및 3.0T MRI(Ingenia 3.0T CX MRI, PHILIPS, Netherlands)와 소프트웨어로 Python(3.12.6), PyTorch(2.4.0)를 사용하였다. 연구 모델로는 scCycleGAN을 채택하였다. 87명의 환자의 두부 CT 및 MR(T2WI) 영상을 각각 2,871장, 2,436장 획득하였으며 총 5,307장의 의료 영상에 대해 동일 높이에서 촬영된 CT 및 MR 영상을 일차적 평가를 통해 분류해 각각 364쌍, 27쌍, 8쌍의 영상을 학습, 검증, 테스트 데이터로 라벨링 하였다. 이후 기본적인 APS frameworks 기반의 GAN 모델에 Hybrid objective function을 적용하여 모델을 구축하였으며 생성한 모델에 대한 평가를 정량적 평가와 정성적 평가로 나누어 진행하였다. 정성적 평가는 20년 이상의 경력을 가진 10인의 방사선사를 대상으로 진행하였으며 정량적 평가는 PSNR, IOU, SSIM, MAE 지표로 설정하였다. 정성평가 결과 '보통'이상의 응답으로 정의된 '긍정 응답' 비율은 합성 CT 및 MR 그룹에 대해 각 63%, 96%로 산출되었으며, 정량 평가 지표인 PSNR, SSIM, MAE에 대해 두 그룹 모두 초기의 목표 수치를 달성하였다. 우리의 연구는 의료 영상 간의 변환 및 합성 분야에 대한 기초 연구 자료로 사용될 수 있을 것이며 나아가 후속 연구 및 보완 연구를 통해 모델 경량화 등의 문제를 해결하여 임상 환경에 적용한다면 환자의 피폭 선량 부담 및 의료비 부담을 경감할 수 있을 것으로 기대된다.

We aimed to build an MR-CT interconversion model based on structure-constraints Cycle-constraints Generative Adversarial Neural Networks (scCycleGANs). We used MDCT (Somatom Definition Flash CT, SIEMENS, Germany) and 3.0T MRI (Ingenia 3.0T CX MRI, PHILIPS, Netherlands) as our hardware equipment and Python (3.12.6) and PyTorch (2.4.0) as software. The study model was scCycleGAN. We acquired 2,871 and 2,436 brain CT and MR (T2WI) images of 87 patients, respectively, and for a total of 5,307 medical images, CT and MR images taken at the same level were classified through primary evaluation, and 364, 27, and 8 pairs of images were labeled as training, validation, and test data, respectively. Then, we applied hybrid objective function to the GAN model based on the basic APS frameworks to build the model, and the evaluation of the generated model was divided into quantitative and qualitative evaluation. The qualitative evaluation was conducted on 10 radiologists with more than 20 years of experience, and the quantitative evaluation was set as PSNR, IOU, SSIM, and MAE. The results of the qualitative evaluation showed that the percentage of 'positive responses', defined as a response of 'Neutral' or better, was 63% and 96% for the Synthesis CT (sCT) and Synthesis MR (sMR) groups, respectively, while the quantitative evaluation metrics PSNR, SSIM, and MAE achieved the initial target values for both groups. Our study can be used as basic guided research in the field of medical image conversion and synthesis. And further research and complementary studies are expected to solve problems such as model lightweighting to reduce the dose burden on patients and medical costs if applied to clinical environments.

Ⅰ. INTRODUCTION

생성 모델 (Generative Model)은 비지도 학습을 통해 실제 데이터의 분포를 학습해 유사한 데이터를 생성하는 모델로서, 적대적 생성 신경망 (Generative Adversarial Network, GAN)은 의료 영상 분야의 다양한 응용 연구에서도 다양하게 활용되고 있다^[1]. GAN은 한 개의 인공 신경망을 학습시켜서 활용하는 기존의 방법과는 다르게 두 개의 인공 신경망을 활용하며 각각의 인공 신경망은 이미지를 생성하는 생성기 네트워크 (Generative Network)와 생성기 네트워크가 만든 이미지의 진위를 판별하는 판별기 네트워크 (Discriminator Network)로 구성되며 두 개의 신경망이 서로 상호 작용하여 정답 이미지(Ground Truth, GT)에 가까운 영상을 생성한다^[2].

종래의 의료 영상 합성 연구에서의 문제는 데이터의 불균형과 부족 등이며, 특히 정제된 충분한 데이터를 확보하는 것이 가장 큰 어려움이었다^[3].

이는 데이터가 쌍을 이뤄 존재해야 하는 GAN의 특성에서 기인하는 문제로, 이를 해결하기 위해 주기 일관성 적대적 생성 신경망 (Cycle-consistent Generative Adversarial Network, CycleGAN)이 고안되었다. CycleGAN은 주기 일관성 손실 (Cycle Consistency Loss)을 적용하여 쌍을 이루지 않는 데이터에 대해 입력 도메인에서 출력 도메인으로 이미지를 변환할 수 있는 주기 일관성 모델로, 쌍을 이루지 않는 학습 데이터에 비해 비지도적 이미지 변환을 시행할 수 있다^[4].

진단영상의학 및 방사선 치료학 등 다양한 의료 분야에서 사용되는 전산화단층촬영(Computed Tomography, CT)은 종래의 엑스선 촬영 기법으로 얻은 인체 내부의 투영 데이터를 컴퓨터로 재구성하여 단층 영상을 만들어 내는 기술이다^[5]. CT와 더불어 의료 현장에서 비침습적인 검사와 뛰어난 연부 조직 묘출로 높은 활용도를 보이는 자기공명영상(Magnetic Resonance Imaging, MRI)은 자기장을 이용해 생체의 신호를 디지털 정보로 변환하는 기기로서 자석으로 구성된 장치에서 인체에 고주파를 인가해 인체에서 되돌아오는 신호를 영상화하는 기기이다^[6].

종양과 위험 조직 및 장기의 분할을 위해 MRI의 획득은 필수적이며, 해부학적 구조의 파악 및 치료 선량의 적절한 계획을 위해서는 CT 영상이 필요하다^[7]. 하지만 질병관리청에서 2023년에 발행한 ‘2023년 국민 의료방사선 평가 연보’에 따르면 CT 이용에 의한 국민 1인당 평균 피폭 선량은 2.11mSv로 전체 피폭 원인의 67.3%였으며^[8], 2021년 5월부터 국민건강보험의 두경부 MRI 검사 급여화에 따라 환자의 의료비 부담이 완화되었음에도 여전히 상급 종합 병원 기준 평균 26만 원의 금액으로 MRI 검사는 많은 환자들에게 의료비 부담을 안겨주고 있다^[9]. 이러한 높은 MR 및 CT의 수요와 그에 수반되는 환자 피폭 및 의료비 부담의 경감을 위해 MR 기반의 합성 CT 생성 모델에 대한 선행 연구는 다수 존재하나 MR과 CT 간의 상호 변환을 위한 연구는 미비하여, 검사에서의 높은 환자 피폭 선량 부담과 MR의 경제적 부담에 대한 해결 방안이 필요한 실정이다.

우리는 영상의학 분야에서 환자 진단에 가장 우수한 영상을 제공하는 MRI와 CT 간 상호 변환 모델 구축을 목적으로 기존의 CycleGAN 모델에 구조 제약 손실 함수 (Structural Consistency Loss)를 적용하여 입력 영상의 구조적 정보를 보존하고, 전반적인 출력 이미지의 품질을 개선하고자 하였다. 이를 통하여 의료 영상 변환 및 합성 분야의 기초적 연구 자료를 제시하고자 연구를 진행하였다.

Ⅱ. MATERIAL AND METHODS

1. 실험 기기 및 대상

영상 획득의 하드웨어 장치로 Fig. 1. Fig 2와 같이 MDCT (Somatom Definition Flash CT, SIEMENS, Germany)와 3.0T MRI (Ingenia 3.0T CX MRI, PHILIPS, Netherlands)를 사용하였다. 영상 처리를 위한 소프트웨어로는 Python(3. 12. 6)과 PyTorch를 사용하였다. 서울 소재의 H 대학 병원 영상의학과에서 획득한 환자 총 87명의 Brain CT 및 Brain MRI(T2WI) 영상각각 2,871장, 2,436장을 익명화 및 비식별화한 후 영상을 수집하였다.

Fig. 1. Somatom Definition Flash CT, SIEMENS, Germany.

Fig. 2. Ingenia 3.0T CX MRI, PHILIPS, Netherlands.

2. 실험 방법

2.1. 모델의 구축

모델의 구축을 위한 training parameter은 아래의 Table 1과 같이 구성하였다.

Table 1. Traning parameter

MR에서 CT로 변환하는 과정을 나타내는 Fig. 3은 생성기 네트워크 (Generator Network)와 판별기 네트워크 (Discriminator Network)를 적대적으로 학습시켜 실제 데이터 이미지와 유사한 합성 데이터 이미지를 생성한다.

Fig. 3. An Overview of the Framework.

생성기 네트워크는 입력받은 MR 이미지를 기반으로 실제와 유사한 CT 이미지를 생성한다. 생성기 네트워크가 만든 합성 이미지와 입력된 실제 이미지를 구별하는 판별기 네트워크는 두 이미지 간의 차이를 정밀하게 식별하고 구분하여 생성기 네트워크에서 더 정교한 데이터 이미지를 생성할 수 있도록 만든다. 두 신경망의 반복적인 학습 과정을 통해 모델은 더 정교하고 실제와 가까운 데이터 이미지를 생성한다.

(1) 데이터 전처리

획득한 총 5,307장의 의료 영상에 대해 동일 위치에서 획득된 CT 및 MR 영상을 일차적 평가를 통해 분류하여 각각 364쌍, 27쌍, 8쌍의 영상을 학습, 검증, 테스트 데이터로 라벨링 하였다. 각 이미지의 픽셀 값은 [0, 1] 범위로 정규화한 후 네트워크의 입력에 맞추어 [-1, 1] 범위로 스케일링하였다.

(2) 생성기 네트워크

모델의 생성기 네트워크는 Fig. 4와 같으며, 세 개의 레이어로 구성하였다. 그 중 첫 번째 레이어 L1은 이미지를 입력해 평탄화한 뒤 하이퍼파라미터를 7×7 커널, Stride 1로 설정한 Con2D 레이어를 통해 64개의 필터로 처리하였다. 해당 레이어에 대해 ReLU 활성화 함수를 적용함으로써 비선형성을 부여하였다.

Fig. 4. Architecture of the generator network(L1: 7×7 Conv., S=1, ReLU, L3: 7×7 Conv., S=1, Tanh).

두 번째 레이어인 L2는 총 9개의 ResNet Block으로 구성하여 입력의 세부 정보를 보존하며 학습할 수 있도록 하였다. 각 ResNet Block의 컨볼루션 연산은 3×3 커널 필터와 Stride 1로 설정하였으며 연산의 과정에서 Skip Connection을 통해 정보 손실을 최소화하였다. 이를 통하여 L2는 전체 생성기 네트워크의 중간 레이어로서 생성 성능을 보장하도록 하였다.

생성기 네트워크의 마지막 레이어인 L3는 출력 특성을 다시 64개의 필터를 사용해 변환한 후 7×7 Conv 연산을 통하여 최종 영상을 출력하도록 하였다. L3에는 생성 영상의 Pixel을 [-1, 1]의 범위로 조정할 수 있도록 Tanh 활성화 함수를 적용하였다.

(3) 판별기 네트워크

모델의 판별기 네트워크는 Fig. 5와 같다. PatchGAN에 기반해 세 개의 주요 레이어와 최종 출력에 대한 판단 레이어로 설정하였다.

Fig. 5. Architecture of the discriminator network(L1: 4×4 Conv., S=2, LeakyReLU, L2: 4×4 Conv., S=2, BatchNorm, LeakyReLU, L3: 4×4 Conv., S=2, BatchNorm, LeakyReLU, L4: 4×4 Conv., S=1, BatchNorm, LeakyReLU)

그 중 첫 번째 레이어인 L1의 하이퍼파라미터는 64개의 필터와 4×4 Conv, Stride 2이며, 이를 통하여 입력 이미지의 해상도를 절반으로 줄이도록 하였다. 또한 L1에는 LeakyReLU 활성화 함수를 적용함으로써 네트워크의 비선형성을 부여하였다.

L2는 128개의 필터를 사용하였으며 L1의 출력을 입력으로 받아 4×4 Conv, 연산을 Stride 2로 수행하도록 하였다. 이 과정을 통해 입력 이미지의 해상도를 다시 한번 절반으로 줄이도록 하였고, 연산 수행 중 네트워크의 안정성을 향상시키기 위하여 배치 정규화를 적용하였다.

마지막 주요 레이어인 L3에는 256개의 필터를 적용하였고, 4×4 Conv으로 구성하였다. 판별기 네트워크는 해당 레이어에서 생성기 네트워크의 출력 이미지에 대해 특징 학습 및 진위 판별을 수행하도록 설계하였다.

또한 전체 판별기 네트워크의 마지막 레이어인 L4는 512개의 필터를 적용하여 최종적으로 이미지가 목적 도메인의 이미지일 확률을 출력하도록 설계하였다.

(4) 손실 함수

모델에는 세 가지 손실 함수가 결합된 Hybrid objective function을 적용하였다.

첫 번째 손실 함수는 Adversarial loss로서, 입력 이미지와 생성 이미지가 시각적으로 유사하도록 두 이미지 간의 L2 variant를 사용해 loss를 계산했으며 입력 이미지와 생성 이미지 간의 시각적 유사성 측정에 사용하였다.

Adversarial loss는 Discriminator loss(Ldis)와 Generator adversarial loss(Ladv)로 나뉘며 Ldis는 실제 패치를 실제로, 합성 패치를 합성으로 정확하게 예측하기 위하여 사용된다.

\(\begin{align}L_{\text {dis }}=\frac{1}{2} E_{\tilde{y}}\left[(1-D(\hat{y}))^{2}\right]+\frac{1}{2} E_{x}\left[\left(D(G(x))^{2}\right]\right.\end{align}\)       (1)

위 수식은 Ldis의 수식으로서, 첫 번째 항은 실제 이미지를 합성으로 예측했을 경우의 패널티로, \(\begin{align}D(\hat{y})\end{align}\)가 1에 가까워지도록 하여 판별기 네트워크가 생성 영상을 실제 영상으로 인식하도록 보조한다.

두 번째 항은 합성 이미지를 실제로 예측했을 경우의 패널티로서 D(G(x))가 0에 가까워지도록 한다. 위의 과정을 통하여 판별기 네트워크는 실제 영상과 가짜 영상을 더 잘 구별하도록 한다.

Ladv를 통해 모델의 생성기 네트워크는 합성 영상이 실제 영상처럼 보이도록 생성기 네트워크를 속이는 방향으로 훈련되며, 이를 위하여 생성기 네트워크는 D(G(x))를 최대화하고자 한다.

L_adv = E_x[(1 - D(G(x))²]       (1)

위는 Ladv의 수식으로서, D(G(x))이 1에 가까울수록 참 영상을, 0에 가까울수록 거짓 영상을 의미한다.

두 번째 손실 함수는 Pixel translation loss로서 판별기 네트워크의 출력을 이용해 Pixel-level의 loss를 조정하는 역할을 하였으며 이는 판별기의 네트워크 출력의 각 픽셀이 가짜일 가능성을 나타낸다.

구체적으로 픽셀 수준의 정보는 판별기 출력 보간 및 정규화 그리고 L1 손실 가중화를 통하여 계산되며, 각각의 과정에서 판별기 네트워크의 출력 영상은 입력 영상의 크기에 맞춰 보간되어 픽셀 수준으로 확장된 뒤 Ppix(y)로 표현되며 ReLU 활성화 합수를 통해 음수 값은 제거되어 픽셀 정보는 양수로 보정된다. 또한, 생성 영상과 참 영상 간의 L1 손실을 계산하는 단계에서 전체 영상에 대해 동일한 가중치를 적용하는 대신 Ppix를 사용해 합성 예측 영역에는 더 낮은 가중치를 부여해 픽셀 수준에서 예측된 참 영상 영역에서만 강한 손실 신호를 주도록 하였다. 이를 통하여 합성 영역의 손실 가중치를 줄여 생성 영상이 실제와 더 가깝게 변환될 수 있도록 하였다.

마지막으로 Structural Consistency Loss는 생성 이미지와 입력 이미지 간 구조적 일관성을 가설로 계산하는 손실 함수로서 생성 영상과 실제 영상이 구조적으로 유사해지도록 보장한다. 이를 위해 두 영상 간의 구조적 유사성을 계산하는 Spatially-Correlative (SC) Map을 사용하였다. SC Map은 특정 픽셀과 2D 패치 내 다른 점들 간의 상관관계를 측정하여 두 영상이 구조적으로 일치하는지 확인한다. 해당 손실 함수는 모델이 단순히 픽셀 단위에서의 유사성을 학습하는 것이 아니라 전체적인 이미지의 구조 특성을 보존하여 학습하도록 기능하였다.

(5) 총 손실

모델의 Total loss는 각 loss에 가중치를 적용해 모두 더한 것으로 이를 줄이는 방향으로 학습을 진행하였다.

Total loss = Σ(Each loss x Weights)       (1)

Loss 1 = Adversarial loss

Loss 2 = Pixel translation loss

Loss 3 = Structural consistency loss

2.2. 모델의 평가

모델의 결과 이미지에 대하여 공학적 수치를 이용한 정량적 평가를 시행하였으며, 실제 임상으로의 적용 가능성을 판단하기 위하여 정성적 평가를 시행하였다.

(1) 정량적 평가

평가 지표로는 PSNR, IoU, SSIM, MAE를 사용하였으며 연산은 Python을 이용해 시행하였다.

PSNR은 피크 신호 대 잡음비로 일반적으로 30dB 이상에서 우수함이 알려져 있다. 또한 IoU는 교집합 대비 합집합으로 정의되어 값이 0에서 1 사이 범위로 도출되며 1에 가까울수록 우수하다. 구조적 유사도 지수인 SSIM은 IoU와 마찬가지로 0에서 1 사이의 범위로 그 값이 산출되며 1에 가까울수록 더 우수한 좋은 이미지 품질을 나타낸다. 마지막으로 MAE는 평균 절대 오차로서 그 값이 낮을수록 영상의 품질이 우수하여 0에 가까울수록 이상적이다.

각각의 연산에 사용된 수식은 아래와 같다.

\(\begin{align}P S N R=10 \log (\frac{\text { MAXsquare }}{M S E})\end{align}\)       (2)

MAX: Maximum Pixel Value

MSE: Mean Squared Error

\(\begin{align}I o U=\frac{\text { Intersection Area }}{\text { Combined Area }}\end{align}\)       (3)

\(\begin{align}\operatorname{SSIM}(x, y)=\frac{\left(2 \mu_{x} \mu_{y}+C_{1}\right)\left(2 \delta_{x y}+C_{2}\right)}{\left(\mu_{x}^{2}+\mu_{y}^{2}+C_{1}\right)\left(\delta_{x}^{2}+\delta_{y}^{2}+C_{2}\right)}\end{align}\)       (4)

μ_x, μ_y: Mean brightness

δx, δy: Variance

C₁, C₂: Constant

\(\begin{align}M A E=\frac{1}{n} \sum_{i=1}^{n}\left|y_{i}-y_{i}^{\prime}\right|\end{align}\)       (5)

y_i: Real value

y_i: Predicted value

(2) 정성적 평가

모델의 정성적 평가를 위하여 20년 이상 근무한 10명의 방사선사를 대상으로 영상의 평가를 진행하였다. 평가 설문의 도구로는 Google form을 사용하였으며 각각의 결과 이미지에 ‘이미지가 실제 MR 또는 실제 CT 영상과 어느 정도 유사합니까?’ 라는 질문을 하여 임상에서의 실제 영상과 어느 정도의 유사도를 보이는지를 평가하였다.

Ⅲ. RESULT

1. 결과 영상

테스트 데이터로 라벨링 된 총 8쌍의 영상을 기반으로 출력한 각각의 합성 CT 및 합성 MR 군 영상 중 모델의 평가에 사용할 대표 영상 6개를 두 그룹으로부터 선정하여 Fig 6. Fig 7과 같이 나타내었다.

Fig. 6. Comparison between the sCT and the GT.

Fig. 7. Comparison between the sMR and the GT.

대표 영상의 선정 기준은 결과 영상 중 비슷한 두부 위치에서 획득된 세 장의 영상으로 설정하였으며, CT 그룹의 경우 임상에서 촬영 빈도가 높은 부위의 영상을 집중적으로 선택하였다.

합성 MR의 경우 연부조직의 명확한 묘출 정도를 확인하기 위해 뇌저부 위치에서 획득된 영상들보다 상부 위치에서 촬영된 영상들을 선정하였다.

1.1. 합성 CT 정량 평가

모델의 정량적 평가 중 MR-to-CT 그룹의 평균 PSNR 및 IoU는 각각 35.774dB, 0.482로 도출되었다. 또한 SSIM의 최대값은 0.7319, 최소값은 0.6910이었고 그 평균은 0.6224로 계산되었다. MAE의 경우 최대값과 최소값은 각각 14.8623, 11.6524로 평균은 16.4027이었다. 이를 Table 2에 나타내었다.

Table 2. Qualitative evaluation result for sCT image

1.2. 합성 MR 정량 평가

모델의 정량적 평가 중 CT-to-MR 그룹의 평균 PSNR 및 IoU는 각각 26.6315dB, 0.6089로 도출되었다. 또한 SSIM의 최대값은 0.9032 최소값은 0.8572이었고 그 평균은 0.9003으로 계산되었다. MAE의 경우 최대값과 최소값은 각각 17.9906, 15.5680으로 평균은 15.9243이었다. 이를 Table 3에 나타내었다.

Table 3. Qualitative evaluation result for sMR image

2. 정성적 평가

정성 평가의 응답은 다섯 가지 항목으로 구성되어 각각 ‘매우 유사함’, ‘유사함’, ‘보통임’, ‘유사하지 않음’, ‘매우 유사하지 않음’으로 설정하였다. 이들 중 ‘매우 유사함’, ‘유사함’ 그리고 ‘보통임’은 결과에 대한 ‘긍정 응답’으로 항목을 분류하였으며 그 외의 두 응답을 ‘부정 응답’으로 정의하여 정성 평가의 결과 분석에 이용하였다.

2.1. 합성 CT 정성 평가

전체 응답 중 ‘긍정 응답’은 63%의 비율로 나타났으며 ‘부정 응답’은 37%로 Fig. 8과 같다.

Fig. 8. Qualitative Evaluation Response Result for sCT images.

모델의 정성적 평가 중 합성 CT 영상에 대한 보완점 평가로 ‘실제 CT와 유사하나 세밀한 영상 구현이 안 되어 병변을 놓칠 수 있는 위험성이 존재함’, ‘선예도가 낮고 영상의 번짐이 많음’, ‘오히려 MR 영상과 유사한 듯 보이며 영상의 질감 및 선처리 부족에 의한 것으로 생각됨’등이 제시되었다.

2.2. 합성 MR 정성 평가

전체 응답 중 ‘긍정 응답’은 96%의 비율로 나타났으며 ‘부정 응답’은 4%로 Fig. 9와 같다.

Fig. 9. Qualitative Evaluation Response Results for sMR images.

합성 MR 그룹의 보완점으로는 ‘대체적으로 유사하나 영상의 회색 계조 밀도 및 선예도 부족이 나타남’이 제안되었다.

Ⅳ. DISCUSSION

방사선 영상진단 분야에서 CT는 인체 장기의 해부학적 구조를 정확하게 묘출할 수 있음은 물론, 장기의 기능이나 상태를 영상화하여 진단 목적에 따라 다양한 방법으로 고화질의 영상을 나타낼 수 있어 많이 사용되고 있다. 또한 암 환자의 종양 선별 및 병기의 평가에 있어서 MR의 임상적 유용성은 선행 연구에 의해 증명되어 왔다^[10]. 우리는 dense-CycleGAN을 이용한 MR 기반 CT 영상의 합성^[11] 또는 multi-CycleGAN을 이용한 MR 기반 CT 영상의 합성^[12] 등의 연구는 많이 진행되어 왔으나, scCycleGAN을 이용한 영상 생성 또는 CT 기반의 MR 영상 생성에 대한 연구는 미비한 실정이다. 생성형 신경망인 GAN을 기반으로 발달한 scCycleGAN은 서로 쌍을 이루지 않는 데이터에 대한 변환이 가능하여 서로 다른 장치에서 획득한 CT와 MR 간 도메인 차이를 극복하고 출력 영상을 획득할 수 있다^[13].

이에 본 연구에서는 scCycleGAN을 머신러닝 모델로 채택하였다. 그리고 APS framework(Adaptive Pretraining Strategy) 방법론을 기반으로 모델을 학습시켜 MR과 CT 간의 상호 변환 연구를 진행하였다^[14]. 그 결과 정량적 평가에서 sCT 그룹과 sMR 그룹의 평균 PSNR이 각각 35.778dB, 26.631dB로 평가되었고 평가 목표였던 0.5 이상의 평균 SSIM, 20 이하의 평균 MAE를 달성하였다. 다만 교집합 대비 합집합으로 정의되어 1에 가까울수록 우수한 결과임을 의미하는 IoU에 대하여 sCT 그룹의 평균 평가치가 0.482로 0.5 이하의 값을 보였으므로 해당 부분에 대한 보완이 필요하다^[15]. 이는 scCycleGAN이 쌍을 이루지 않는 데이터에 대한 변환을 가능하도록 하지만, 도메인 차이 외의 구조적 차이를 극복하기에는 무리가 있기 때문으로 사료된다. 다만, IoU만으로는 현 모델의 정합성을 판단하기 어려우므로 추가적인 SSIM과 PSNR 등의 지표를 사용하여 평가를 진행한 데에 의의가 있으며, IoU를 높이기 위하여 Structural Consistency Loss를 강화하거나 Multi-scale feature을 적용하여 훈련을 진행하는 방안이 사용될 수 있다. 이와 더불어 정량적 평가에서 sMR 그룹의 평균 IoU와 SSIM이 sCT 그룹보다 높았던 점과 정성 평가의 ‘매우 유사하다’ 응답 비율이 더 높았던 것도 이와 같은 이유에서 기원함으로 생각된다^[16]. 또한 선행 연구에 따르면 연부 조직 간 적은 밀도 차이로 인하여 MR 영상에서 묘출되는 인체 구조물이 CT에서는 묘출되지 않으므로 CT-to-MR의 변환에서 Validation Set의 적용은 불가피한 것으로 생각된다^[17]. 이에 대하여 데이터의 획득 시 동일 환자의 정위적 CT 및 MR의 촬영이 진행된다면 더 나은 결과를 도출할 수 있을 것으로 기대된다^[18].

이와 관련하여 실험의 진행 과정에서 초기 획득한 5,207장의 데이터를 일차적 분류하며 Coronal view로 획득된 영상과 TSE 기법을 통해 획득한 영상 등이 혼입되어 데이터의 오염이 발생된 것을 확인하였으며 이를 분류하여 정리하는 과정 중 데이터의 수가 초기 데이터에 비하여 크게 줄어들었던 문제점이 존재하였다. 후속 연구를 진행하는 과정에서는 직접 Phantom 등을 정합 촬영하여 불필요한 데이터의 혼입을 사전 방지하여야 할 것으로 사료된다.

또한 해당 모델의 구동을 위하여 RTX 30 시리즈의 GPU와 Intel i7 CPU, RAM 32GB의 환경이 이용되었고 약 200시간 이상의 연산 시간이 소요되었다. 다만, 모델의 구축 시간과 별도로 영상 당 2.73초의 추론 시간이 산출되었다. 하지만 이는 고성능 GPU인 RTX 3080ti를 사용한 결과이며 실제 임상 환경에서는 CPU만을 이용하여 운용될 가능성이 크므로 추론 시간이 증가할 우려가 있다. 이에 대해 모델 경량화를 통한 추론 시간의 단축이 필요하다.

현재 사용 중인 모델은 32비트 부동소수점(FP32) 정밀도를 적용하여 학습되었으며, 이는 높은 연산 정확도를 제공하는 반면 처리 속도에 한계가 존재한다. 이러한 문제를 해결하기 위해 16비트 또는 8비트 정밀도로 모델을 양자화하는 기법을 도입해 후속 연구를 진행할 수 있으며 이를 통하여 메모리사용량과 연산량을 단축해 추론 속도의 단축을 기대할 수 있다. 다만 양자화 과정에서 발생할 수 있는 정확도 손실의 최소화를 위하여 지식 증류인 Knowledge Distillation 기법이 함께 고려되어야 한다.

이러한 한계점에도 본 연구의 모델은 선행 연구가 미비한 MR 영상의 합성을 시도하였다는 점에서 의의가 있으며, MR 영상의 합성 중에서도 T1WI와 T2WI 간의 변환 등 동일 도메인에서 획득한 영상 간의 변환을 위주로 한 선행 연구들과 달리 다른 도메인에서 획득한 영상 간의 변환 모델을 구축하고자 한 점과 추가적으로 정성적 평가를 진행하여 주관적 평가 및 객관적 평가를 한 점에서 의의가 있다^[19].

본 연구는 후향적으로 얻은 익명 및 비식별화된 영상 데이터를 활용하였으며, 이러한 데이터의 사용은 개인정보보호법과 의료법에서 제시한 익명화 기준을 준수하였습니다. 연구에 사용된 영상 데이터가 완전히 익명으로 처리되고 관련 지침을 따라서 윤리적 검토 대상에서 제외된 것으로 간주하였습니다. 이에 본 연구에서는 IRB 면제 조건에 해당된다고 판단하여 연구를 진행하였으며 사전에 이러한 부분을 보다 명확하게 제시하지 못한 점이 제한점이라고 생각된다.

본 연구의 의의는 정위적으로 검사된 의료 영상을 데이터셋으로 획득하여 모델의 경량화 등의 문제를 고려해 추후 후속 연구가 진행된다면 CT 기반의 MR 영상 합성 연구에 대한 기초 연구 자료로서 본 연구가 활용될 수 있을 것으로 사료됩니다.

Ⅴ. CONCLUSION

본 연구에서는 scCycleGAN을 기반으로 하여 MRCT 간 상호 변환 모델을 구축하였으며 이에 대해 정량적 평가에서 합성 CT 및 합성 MR 두 그룹의 평균 PSNR 및 IoU, SSIM, MAE 값을 제시하여 MR-CT 간 상호 합성 영상의 구현이 가능하다는 것을 알 수 있었다. 본 연구는 의료 영상 간의 변환 및 합성 분야에 대한 앞으로의 다양한 연구에 기초자료로 사용될 수 있을 것으로 생각되며, 향후 MR-CT 간 상호 변환 모델을 보완 발전시킨다면 임상에서 MRI와 CT 검사를 동시에 진행하는 환자들에게 검사비 절감과 피폭 경감 등이 가능할 것으로 사료된다.