Three-Dimensional Visualization of Medical Image using Image Segmentation Algorithm based on Deep Learning

딥 러닝 기반의 영상분할 알고리즘을 이용한 의료영상 3차원 시각화에 관한 연구

Abstract

In this paper, we proposed a three-dimensional visualization system for medical images in augmented reality based on deep learning. In the proposed system, the artificial neural network model performed fully automatic segmentation of the region of lung and pulmonary nodule from chest CT images. After applying the three-dimensional volume rendering method to the segmented images, it was visualized in augmented reality devices. As a result of the experiment, when nodules were present in the region of lung, it could be easily distinguished with the naked eye. Also, the location and shape of the lesions were intuitively confirmed. The evaluation was accomplished by comparing automated segmentation results of the test dataset to the manual segmented image. Through the evaluation of the segmentation model, we obtained the region of lung DSC (Dice Similarity Coefficient) of 98.77%, precision of 98.45%, recall of 99.10%. And the region of pulmonary nodule DSC of 91.88%, precision of 93.05%, recall of 90.94%. If this proposed system will be applied in medical fields such as medical practice and medical education, it is expected that it can contribute to custom organ modeling, lesion analysis, and surgical education and training of patients.

1. 서론

최근 증강현실(Augmented Reality, AR) 기술은 다양한 디스플레이 기기와 빠른 정보 처리가 가능한 고성능의 휴대용 장비 및 스마트 폰 등이 보급되면서 게임, 관광서비스, 원격의료진단, 교육 등에서 다양한 분야에서 활용되고 있다 [1]. 이러한 증강현실 기술은 특히 의료 분야에서 다양한 방식으로 응용되고 있다. 이에 따른 컴퓨터 보조 진단(Computer Aided Diagnosis, CAD), 수술 교육 훈련, 수술 가이드 등의 영역에서 수행된 증강현실과 관련 있는 몇 가지 연구를 소개한다. 

E. Z. Barsom 등은 증강현실의 여러 의학 및 수술 교육에 활용 가능성에 대해 보고하였으며, C. Hansen 등은 간 수술에서 실시간으로 간의 위치 및 움직임을 추적하고 수술에 필요한 정보를 제공하는 증강 현실 기반 수술 보조 시스템에 관한 연구를 진행하였다 [2-3]. 또한, J. Jang 등은 심혈관 가돌리늄 조영증강(Late Gadolinium Enhancement, LGE) 자기 공명 영상(Magnetic Resonance Imaging, MRI)에서 심실성 빈맥의 진단 및 치료를 위한 3차원 증강현실 시각화에 대한 연구를 진행한 바 있다 [4]. 이러한 기존의 연구들은 증강현실 기반의 의료영상 시각화 기법으로, 병변의 형태, 분석정보 등을 3차원 시각화하여 의료진의 임상적 결정을 돕기 위한 것이다. 그러나 기존 연구들은 증강현실 시각화를 위한 병변 데이터의 가공 및 시각화 과정이 수동으로 이루어진 것이므로, 환자 맞춤형 시각화를 실시간으로 수행하기 어렵다는 단점이 있다. 따라서 본 논문에서는 딥 러닝 모델을 학습하여 실시간 폐 영역 및 폐 결절 분할을 자동화하여 실시간으로 3차원 증강현실 시각화를 수행하는 시스템을 제안한다.

컴퓨터 단층촬영(Computed Tomography, CT) 및 자기 공명 영상에서 관찰하고자 하는 장기를 3차원으로 시각화하기 위해서는 영상을 분할(segmentation)하는 과정이 필요하다 [5-6]. 해부학적 지식을 기반으로 수행하는 영상의학과 전문의의 수동 분할 방법은 병변을 정확히 검출하고 분할할 수 있다. 그러나 이 과정은 CT의 단면 영상을 하나씩 분석해야 하므로 과도한 노동과 시간이 소요된다 [7]. 기존 영상처리 기법을 이용한 분할 방법 또한 과대 적합 (over fitting), 느린 처리 속도 등의 이유로 일반화하여 정확하게 분할하는 것에 한계점이 있다 [8-9]. 머신 러닝을 이용한 컴퓨터 보조 진단 시스템에서는 특징 선택 및 특징 추출 과정이 전문의에 의해 반자동으로 진행된다 [10]. 그러나, 딥러닝을 이용한 컴퓨터 보조 진단 시스템은 특징 선택 및 특징 추출 과정이 모델이 학습하는 과정에서 역전파(back propagation) 알고리즘을 통해 최적화되도록 자동화되어 있다. 이는 기존의 머신 러닝 기법과 비교하여 모델을 학습하기 위해 필요한 상당한 노력과 시간을 단축할 수 있을 뿐만 아니라, 많은 양의 데이터를 제공할 경우 더욱 좋은 성능을 출력할 수 있다. 또한 학습된 딥러닝 모델은 컴퓨터, 임베디드(embedded) 하드웨어, 모바일 등 다양한 기기에서 불러와 사용할 수 있다. 이러한 장점에 따라 딥러닝은 의료영상을 분석하고 시각화하기에 가장 적합한 기법으로 자리 잡고 있다 [11]. 그뿐만 아니라, 다양한 케이스를 포함하는 영상을 학습하고 과대 적합에 대비하여 검증된 인공신경망 모델은 학습에 관여하지 않은 새로운 데이터에서도 전문가와 유사한 정확도로 의료영상 분할을 수행할 수 있다.

따라서 본 논문에서는 CT 스캐너에서 출력된 의료영상에서 폐 영역 및 결절 영상 분할을 수행하고, 증강현실 기기에서 3차원으로 가시화하여 환자의 진단 및 치료에 실시간으로 활용할 수 있는 딥러닝 기반의 환자 맞춤형 증강현실 시스템을 제안한다. 

2. 연구방법 

본 연구에서는 Reference Imaging Database to Evaluate Response (RIDER) 프로젝트에서 받은 흉부 CT 공개 데이터를 이용하였다. RIDER 데이터는 일정한 크기 이상의 폐암을 가지고 있는 환자 32명의 흉부 영역을 2번씩 스캔하여 총 64명 분량의 CT 영상을 제공한다 [12-13]. 본 연구에서는 폐 영역 분할 모델의 학습을 위해 폐 영역에 해당하는 RIDER CT 영상 11,798장을 이용하였다. 폐 결절 분할 모델의 학습에서는 전체 데이터 세트에서 폐 결절이 존재하는 영상 1,755장을 이용하였다. 폐 영역과 폐 결절의 훈련 데이터, 검증 데이터와 시험 데이터는 4 : 4 :2의 비율로 나누었으며, 폐 영역과 폐 결절의 훈련 및 검증 세트의 과대 적합을 방지하기 위해 데이터 증식(data augmentation) 방법을 이용해 인공신경망을 학습하였다. 데이터 증식 기법은 일반적인 사람의 장기 형태와 위치의 범주 내에서 변형되어야 하기 때문에 가로 이동, 높이 이동, 확대 및 축소 외의 다른 특성이 변형되지 않도록 설계하였다.

Fig. 1은 제안하는 시스템의 전체적인 흐름도이다. 그림에서 보는 바와 같이, 흉부 CT 영상 데이터를 마련한 뒤, 폐 영역과 폐 결절을 동시에 가시화하기 위해 폐 영역과 폐 결절 분할 과정을 각각 수행할 필요가 있다. 따라서 데이터를 폐 영역 분할과 폐결절 분할을 위한 데이터 세트로 나누었다. 그 후, 학습과 검증을 반복하여 인공신경망 모델의 손실 함수 값이 15 에폭(epoch) 동안 변동이 없을 경우 학습을 중단하였다. 학습을 마친 인공신경망은 새로운 시험 세트에서 자동 영상 분할 과정을 하고 이를 3차원 볼륨 렌더링으로 영상을 3차원으로 재구성 한 뒤, 증강현실 기기에서 시각화하였다. 3차원 폐 영역은 투명하게 시각화하여 폐 영역 내 결절이 존재할 경우, 육안으로 구분이 가능하다. 

Fig. 1. The entire process of proposed system.

폐 영역 및 폐 결절의 분할 과정은 Olaf Ronneberger 등이 제안한 U-Net 모델을 개선한 residual multi-dilated convolution U-Net을 사용하였다 [14-15]. 개선한 모델은 U-Net 모델에 residual multidilated convolutional block과 residual recurrent block을 삽입하여 연속적인 특징과 넓은 수용 영역 (receptive field)을 가지는 CT 영상에서 좋은 성능을 내는 모델이다(Fig. 2) [16-17]. 모델의 손실 함수(loss function)는 generalized dice loss function을 사용하였으며, 최적화 기법으로 Adam optimizer를 사용하였다 [18-19].

Fig. 2. The architecture of residual multi-dilated convolutional U-Net.

하나의 모델을 이용하여 폐 영역과 폐 결절의 학습을 따로 진행하였으며, 학습된 인공신경망 모델을 이용하여 시험 세트의 환자 흉부 CT 영상을 입력하여 결과를 추출하였다. 추출한 2차원 영상 데이터는 매트랩(Matlab)을 이용하여 3차원 볼륨 재구성 기법을 적용하였으며, 재구성된 3차원 볼륨 데이터에서 등가 곡면(isosuface) 데이터 추출 및 등가 곡면 단면 기하 계산을 통해 3차원 볼륨 렌더링 하였다. 3차원 볼륨 렌더링으로 생성 한 객체는 Fig. 3에서 볼 수 있다. 

Fig. 3. The process of 3D volume rendering and visualization of segmented medical images.

본 연구에서는 3차원 볼륨 렌더링 기법을 적용한 객체를 증강현실 기기에서 시각화하기 위해 유니티 (Unity)를 이용하였다. 유니티는 게임 개발, 3차원 애니메이션, 가상현실(Virtual Reality, VR) 콘텐츠 등을 제작하기 위한 도구로써, 증강현실 컨텐츠 제작에 최적화되어있는 개발 툴이다. 

유니티에서 지원하는 3차원 객체의 형식은 3ds, dxf, obj, skp 등이므로, 매트랩에서 재구성한 3차원 객체의 형식을 obj 형식으로 변환하여 유니티에서 불러올 수 있도록 하였다. 유니티에서 불러온 객체 중 폐 영역에 해당하는 객체는 폐 영역 내부의 결절을 시각화하기 위해 투명화 처리하였다(Fig. 4). 투명화 처리는 유니티의 재질을 설정하는 도구를 이용하였으며, 투명도를 30%로 설정하였다. 투명도가 100%에 가까울수록 물체는 투명하게 시각화된다.

Fig. 4. 3D object of lung and nodule region read in Unity.

유니티에서 3차원 객체의 색상, 질감, 투명도 등을 조정한 뒤 증강현실 기기로 배포하였다. 이 과정은 Visual studio C#을 이용하여 진행하였으며, Universal Windows Platform(UWP)에서 빌드하였다. 

UWP는 Windows 10을 실행하는 모든 기기에서 공통된 API(Application Programming Interface)를 사용하기 때문에 컴퓨터, 가상현실, 증강현실 등 다양한 환경에서 호환이 가능하다. UWP에서 빌드된 C# 소스는 컴퓨터와 증강현실 기기가 유, 무선 연결이 되어있는 상태에서 간단하게 배포 가능하다. 배포 이후, 증강현실 기기의 어플리케이션 항목에서 설치가 되어있는 것을 확인할 수 있다. 

3. 결과 

딥 러닝 모델을 이용하여 분할한 영상을 3차원 볼륨 렌더링하고 유니티를 이용하여 홀 로렌즈(Hololens, Microsoft)에 배포하고 시각화하였다. 폐 영역 내부에 결절이 존재하는 경우와 존재하지 않는 경 우두 가지를 시각화하고 비교하였다(Fig. 5). 분할 모델의 성능평가는 수동 분할방법으로 분할된 영상과 비교하여 DSC, 정밀도(precision), 재현율(recall)을 값을 측정하여 평가하였다(Table 1). 시험 세트에 적용한 모델의 성능 평가에서 폐 영역은 98.77%의 DSC, 98.45%의 정밀도, 99.10%의 재현율 값을 보였으며, 폐 결절 영역은 91.88%의 DSC, 93.05%의 정밀도, 90.94%의 재현율 값을 보였다.

Fig. 5. The results of visualizing 3D object in augmented reality device. (a) A case of nodule is included, (b) A case of non-nodule.

Table 1. The evaluation of segmentation model with test dataset (DSC, Dice Similarity Coefficient)

\(D S C=\frac{2 T P}{2 T P+F P+F N}\)             (1)

\(\text { Precision }=\frac{T P}{T P+F P}\)             (2)

\(\text { Recall }=\frac{T P}{T P+F N}\)             (3)

일반적인 딥 러닝 모델은 확률 값(probability)을 예측 결과로 출력한다. 출력으로 나온 확률 값에서 어떤 임계 값(threshold)을 기준으로 분류하기에 따라 모델의 성능평가 결과가 다를 수 있다. 따라서 본 논문에서는 분할 모델의 정확한 성능평가를 위해 정밀도-재현율 곡선(precision-recall curve)과 평균 정밀도(AP, Average Precision) 값을 계산하였다(Fig. 6). 

Fig. 6. The evaluation of segmentation model using precision-recall curve. (a) Precision-recall curve of lung nodule segmentation model. (b) Precision-recall curve of lung segmentation model.(AP, Average Precision).​​​​​​​

분석 결과, 폐 결절과 폐 영역의 분할 모델 모두 시험 세트에서 90% 이상의 평균 정밀도를 보였다. 특히, 폐 영역 분할 모델의 경우 시험 세트의 결과에서 모든 임계값 대비 평균 정밀도 98% 이상의 분할 성능을 보였다. 시험 세트의 결과 중 하나를 방사선사의 수동 분할 결과와 비교 및 원본 CT 영상에 오버레이 하여 가시화하였다(Fig. 7). 

Fig. 7. The examples of segmentation result depend on threshold value 0.5. (a) The example of lung nodule segmentation result.(b) The example of lung segmentation result​​​​​​​.

4. 결론 

본 논문에서는 CT 영상에서 딥러닝을 기반으로 폐 영역 및 폐 결절을 분할한 뒤, 증강현실 기기를 통하여 3차원으로 시각화하는 시스템을 제안하였다. 흉부 CT 영상의 분할을 위해 residual multi-dilated convolution U-Net 모델을 학습하였다. 모델의 성능 평가는 시험 데이터 세트의 예측 결과와 방사선사의 수동 분할 영상을 비교하였으며, 정밀도-재현율 곡선에서 폐 영역 98.99%의 평균 정밀도, 폐 결절 영역 91.13%의 평균 정밀도를 보였다. 폐 영역과 폐 결절 분할 모델 모두 다양한 CT 영상에 적절한 대응을 할 수 있을 것으로 판단된다. 딥러닝 기법 적용 이후 매트랩을 이용하여 3차원 볼륨 재구성 기법을 적용하였으며, 유니티에서 불러올 수 있는 3차원 객체를 생성하였다. 유니티의 Universal Windows Platform에서 생성한 3차원 객체를 홀 로렌즈에 배포하여 증강현실에서 시각화하였다.

폐 영역의 경우 전체적으로 양호한 분할 결과를 보였으나, 폐 결절 데이터 세트의 경우 폐 영역 데이터 세트에 비해 적은 양이었으므로, 데이터 증식 기법을 적용하였음에도 불구하고 폐 영역 분할 결과와 비교하여 분할 성능이 좋지 않았다. 특히, 폐 결절 분할 결과의 정밀도 값에 비해 재현율 값이 상대적으로 작았다. 이는 실제 관찰되는 결절 중 크기가 매우 작은 결절을 인공신경망 모델이 검출하지 못한 것으로 판단된다. 본 논문에서 CT 영상을 분할하기 위해 사용된 데이터는 많은 케이스를 가지고 수행하지 못했기 때문에 각 병변에 대한 강건한 영상 분할을 위해서 병변이 포함된 많은 훈련 데이터가 필요할 것으로 판단된다. 

실험 결과, 폐 영역 내부에 결절이 존재할 경우 육안으로 쉽게 구분이 가능하였으며, 병변의 위치와 형태를 직관적으로 확인할 수 있었다. 제안한 기법은 학습된 딥러닝 모델을 이용하여 폐 영역 분할 및 폐결절 검출을 하였다. 제안된 기법은 폐 영역과 결절을 실시간 및 환자 맞춤형으로 3차원 시각화할 수 있는 장점이 있다. 본 논문에서 제안하는 시스템을 의료현장 및 의료 교육 현장에서 이용한다면, 환자 맞춤형 장기 모델링, 병변 분석, 수술 교육 훈련 등에 기여할 수 있을 것으로 기대한다. 향후 CT 영상뿐만 아니라, MRI 등 다양한 의료영상에 적용하고 시각화할 수 있는 인공지능 기반의 증강현실 시각화 시스템을 연구하고자 한다.

※ This research was supported by the Gachon University Gil Medical Center (Grant number : FRD2019-11) and the Ministry of Science & ICT, Institute for Information & communication Technology Planning & evaluation (IITP-2020-2017-0-01630)