A Study on the Liver and Tumor Segmentation and Hologram Visualization of CT Images Using Deep Learning

딥러닝을 이용한 CT 영상의 간과 종양 분할과 홀로그램 시각화 기법 연구

Abstract

In this paper, we proposed a system that visualizes a hologram device in 3D by utilizing the CT image segmentation function based on artificial intelligence deep learning. The input axial CT medical image is converted into Sagittal and Coronal, and the input image and the converted image are divided into 3D volumes using ResUNet, a deep learning model. In addition, the volume is created by segmenting the tumor region in the segmented liver image. Each result is integrated into one 3D volume, displayed in a medical image viewer, and converted into a video. When the converted video is transmitted to the hologram device and output from the device, a 3D image with a sense of space can be checked. As for the performance of the deep learning model, in Axial, the basic input image, DSC showed 95.0% performance in liver region segmentation and 67.5% in liver tumor region segmentation. If the system is applied to a real-world care environment, additional physical contact is not required, making it safer for patients to explain changes before and after surgery more easily. In addition, it will provide medical staff with information on liver and liver tumors necessary for treatment or surgery in a three-dimensional manner, and help patients manage them after surgery by comparing and observing the liver before and after liver resection.

1. 서론

통계청에서 발표한 우리나라의 사망 원인을 보면 남녀 모두 암과 관련된 질병이 가장 많은 부분을 차지하고 있다.전체 사망자 중 27.5%가 암으로 사망하며 그 중에서도 간암으로 사망하는 비율은 폐암 다음으로 높은 비율을 유지하고 있다 [1].촬영된 환자의 CT영상에서 간과 간종양을 분할하여 3차원 홀로그램으로 보여줄 수 있다면 의료진에게는 진료 또는 수술에 필요한 정보를 입체적이고 공간감 있게 확인할 수 있고, 환자들은 진료 중에 직관적으로 자신의 상태에 대한 이해도를 높일 수 있을 것이다.이에 따라 간과 관련하여 3차원 유사 홀로그램으로 표시할 데이터를 만들기 위해 의료영상 처리 분야에서 영상 분할과 관련이 있고, 특히 간과 관련 있는 이미지 프로세싱, 인공지능 딥러닝 및 홀로그램과 관련한 몇 가지 연구를 소개한다.

먼저 이미지 프로세싱 기법으로 간 분할을 한 연구에는 첫 번째로 OussemaZayane등은 Axial CT 영상에서 간의 위치와 모양으로서 영상에 대한 사전지식을 기반으로 간을 자동 분할하는 방식으로 입력 영상이 일반적인 CT영상의 히스토그램 특성과 다를 경우에는 성능이 낮게 나올 수 있는 문제가 존재한다는 단점이 있다[2]. 두 번째로 LianfenHuang등은 단일 블록 선형 검출 알고리즘(Single-Block LinearDetectionAlgorithm)을 이용하여 간 분할을 하는 방식을 제안하였는데, 입력된 영상을 전처리로 노이즈 제거를 수행하고, 단일 블록 선형 검출 알고리즘 기법 적용 후에 후처리로 형태학적 필터(Mor- phologicalFilter), 스무딩 필터(Smoothing Filter) 등을 적용한 결과는 98.82%의 정확도(Accuracy)를 기록하였다[3].

다음으로 인공지능 딥러닝 기법을 사용한 연구에는 HansMeine등이 UNet[4]기반의 2D 및 3D 기법으로 간을 분할하는 방식으로, 219명의 환자에서 획득한 간 CT볼륨중에서 2/3를 학습에 사용하고 나머지 1/3을 테스트한 결과 평균적으로 VOE(Volumet- ricOverlapError)5.56%의 성능을 기록하였다[5]. FatimaAbdalbagi등이 UNet을 기반으로 만들어진 BATA-UNet을 제안하여 간을 분할하였는데 각각의 컨볼루션 레이어에 이어 배치 정규화(BatchNor- malization)레이어가 추가된 것이 특징으로 오픈 데이터인 MICCAI(Medical ImageComputing&Com- puter Assisted Intervention) 데이터 셋과 3D- IRCADB데이터 셋을 테스트한 결과는 각각 DSC (DiceSimilarityCoefficient)가 0.97과 0.96의 성능을 기록하였다[6].Xue-fengXi등은 U-Res Nets 기법으로 간과 병변을 분할하는 방법으로, 여러 가지 손실 함수(LossFunction) 중에서 DL(DiceLoss), GDL (GeneralizedDiceLoss), TL(TverskyLoss), GTL (GeneralizedTverskyLoss)함수를 조합하고 LiTS (publicLiverTumorSegmentationChallenge)데이 터 셋을 사용하여 학습하였고, 간과 간 종양에 대한 분할 성능은 각각 0.94, 0.75의 DSC를 기록하였다[7]. FangLu등은 3DCNN(ConvolutionalNeuralNet- works)으로 간을 검출한 후 그래프 컷(GraphCut) 알고리즘을 적용하여 간을 분할하고 개선하는 방식으로 3D-IRCADB 테스트한 결과는 VOE, RVD, ASD, RMD, MSD(Maximum Symmetric Surface Distance)에서 각각 9.36%, 0.97%, 1.89mm, 4.15mm, 33.14mm의 성능을 기록하였다[8].YuSaito 등이 제안한 방식으로 분할된 간과 혈관 데이터를 마이크로소프트사에서 개발한 HMD(HeadMountedDisplay) 및 홀로렌즈(HoloLens)[9]로 전송하여 머리에 착용한 HMD에 표시된 영상정보를 제스처(Gesture)를 통해 영상을 조작하여 확대나 축소, 회전 등을 할 수 있으며, 수술 중에 필요한 정보를 바로 확인하여 바로 적용 가능한 것이 장점이다[10].Lim 등이 U-Net [4] 모델을 개선한 residual multi-dilated con- volutionU-Net[11]을 사용하여 폐와 폐의 결절을 분할하고 3차원으로 재구성한 데이터를 마이크로소프트사의 홀로렌즈(HoloLens)[9]로 전송하여 가시화하는 환자 맞춤형 증강현실 시스템으로 폐와 결절에 대하여 98.77%, 91.88%의 우수한 DSC성능을 나타내었다[12]. 마지막으로 Chlebus등이 제안한 Liver- Net은 2DCNN 모델 기반으로 입력된 MRI영상에서 axial(횡단면), coronal(관상면), sagittal(시상면) 단면에 대하여 각각 학습하여 분할하고, 결과를 다수결 알고리즘을 사용하여 통합하는 모델로서 간 영역 분할 성능은 DSC 0.95를 기록하였다 [13].

본 연구에서는 관련 연구들을 참고하여 인공지능 딥러닝을 통해 CT영상에서 간과 종양 영역을 분할하는 연구를 하였고, 의료진이나 환자들과의 신체접촉 없이 쉽게 확인할 수 있게 분할 결과를 3D로 재구성하여 유사 홀로그램 가시화 장치에 출력하는 시스템을 구성하였다. 이 시스템을 사용하여 의료진이 수술 전에 홀로그램으로 가시화된 간의 3D 볼륨을 통하여 간과 관련된 수술 계획을 수립하는 데 도움을 줄 수 있을 것이다. 이에 따라 입력된 환자의 CT 영상에서 간과 종양을 영상 분할한 결과를 유 사 홀로그램 장치를 이용하여 3차원으로 표시하는 모델을 제안한다.

2. 연구방법

전체적인 시스템은 Fig.1과 같이 구성되어 있으며, [12, 13]에서 제안한 방식을 참고하여 CT 의료영상에서 원하는 환자의 횡단면(Axial) 영상에서 시상 면(Sagittal)과 관상면(Coronal) 영상을 추출하고 각각의 단면 영상들에 대하여 인공지능 딥러닝 모델을 사용하여 간 영역을 분할하고, 각 단면들에서 분할된 간 마스크 영상을 통합하여 3D 볼륨으로 재구성하고, 동시에 분할된 각 단면의 간 영역에서 종양을 분할한다.

Fig. 1. The order of operation of the system that 3D visualizes the segmentation results of liver and liver cancer. Yellow area is liver and red circle is tumor.

모든 분할이 완료되면 각 단면에서 분할된 종양 결과 영상을 통합하여 하나의 3D 볼륨으로 생성한 후 간 영상의 볼륨과 전체 통합하여 홀로그램 기기에서 표시할 수 있는 동영상 데이터로 변환하여 유사 홀로그램 기기로 동영상 파일을 전송하여 가시화를 하는 방식으로 동작하는 시스템을 설계하였다.

2.1 영상 데이터

본 연구에서는 가천대학교 길병원 외과에서 획득한 CT의료영상 데이터를 사용하였다(GBIRB2020-472). 전체 72명의 환자에 대하여 획득한 횡단면 (Axial)영상과 횡단면 영상을 재구성하여 추출한 시 상면(Sagittal) 영상과 관상면(Coronal)영상을 인공지능 딥러닝 학습에 필요한데이터 셋으로 사용하였다. 모델 학습에 사용한 간 영역과 종양 영역의 마스크 영상은 전문의가 1차로 작업을 완료하고, 2차로 데이터를 다른 전문의에게 최종 확인을 받은 Fig.2 와 같은 정답 마스크 영상을 사용하였다.

Fig. 2. (a) Axial image, (b) Liver mask in axial, (c) Tumor mask in axial, (d) Sagittal image, (e) Liver mask in sagittal, (f) Tumor mask in sagittal, (g) Coronal image, (h) Liver mask in coronal, and (i) Tumor mask in coronal. Table 1. Liver Image set for deep learning by each cross section,

간 분할 학습에 사용된 데이터 셋은 Table 1에서와 같이 횡단면(Axial) 영상에서 간 영역이 포함된 2, 250 장을 획득하였으나 학습에 사용하기 부족할 것으로 판단되어 회전(-10˚~10˚)과 크기조절(-2%~2%)을 임의 조합하여 증강한 영상을 포함하여 총 9, 000장을 인공지능 딥러닝의 학습 데이터로 사용하였다.

Table 1. Liver Image set for deep learning by each cross section,

시상면(Sagittal) 영상에서는 17, 025장을, 관상면 (Coronal)영상에서는 20, 292장을 학습 데이터로 사용하였다. 학습, 검증, 테스트에 적용된 비율은 8:1:1 의 비율을 적용하였다. 횡단면 영상에서는 학습에 7, 200장을 검증 및 테스트에는 900장을 사용하였고, 시상면 영상에서는 학습에 13, 620장을 검증에 1, 702 장, 테스트에는 1, 703장을 사용하였다. 마지막으로 관상 면 영상에서는 학습에 16, 233장을 검증에 2, 029 장, 테스트에는 2, 030장을 사용하였다.

종양 영상에서도 학습에 사용할 데이터 셋이 부족하여 회전(-10˚~10˚)과 크기조절(-2%~2%)을 임의 조합하여 증강한 영상을 포함하였다. 학습, 검증, 테스트에 적용된 비율은 Table2와 같이 간 분할에 사용한 8:1:1의 비율을 동일하게 적용하였다. 횡단면영상에서는 학습에 5, 043장, 검증에는 630장, 테스트에는 631장을 사용하였고, 시상면 영상에서는 학습에 5, 452장, 검증에는 682장, 테스트에는 682장을 사용하였다. 마지막으로 관상면 영상에서는 학습에 5, 460 장, 검증에는 683장, 테스트에는 683장을 사용하였다.

Table 2. Tumor image set for deep learning by each cross section.

2.2 실험 환경

인공지능 딥러닝 모델의 학습은 다음과 같은 환경에서 실험하였다. 학습에 사용한 하이퍼 파라미터는에폭(Epoch)은 200, 학습률(LearningRate)은 0.01, 배치 크기(BatchSize)는 16, 최적화 방식(Optimi- zers)은 Adam, 손실함수(LossFunction)는 dice_co- ef_loss를 설정하여 사용하고, 20번 연속으로 성능 향상이 없을 경우 학습을 종료하게 하였다. 학습에 사용한 이미지는 512×512 크기인 입력 영상을 256× 256크기로 변경하여 사용하였으며, 프레임워크 버전은 Python 3.6.12, Tensorflow-gpu 1.15, Keras 2.3.1을 사용하고, 하드웨어 시스템은 Table3과 같이 8개의 CPU와 4개의 GPU등이 설치된 서버를 사용하였다.

Table 3. Specifications of the system used for training.

2.3 인공지능 딥러닝 분할

의료영상 분야에서 영상 분할 목적으로 제안된 완전 컨볼루션 신경망 기반 모델인 U-Net[4]을 기반으로 하고 Fig.3처럼 구현된 ResUNet[14]을 사용하여 CT영상에 횡단면(Axial), 시상면(Sagittal), 관상면 (Coronal)각각의 단면에 대하여 간과 종양 영역을 자동 분할하는 인공지능 모델을 학습하였다. ResU Net은 기존 UNet을 개선하여 더 적은 매개 변수를 사용하여 고성능의 결과를 얻도록 설계된 완전 컨볼루션 신경망(FullyConvolutionalNetwork)이다. 이모델은 잔여블록의 사용으로 인한 그라디언트의 손실이나 폭발하는 문제 없이 더 깊은 네트워크를 구현할 수 있으며, 네트워크를 쉽게 학습할 수 있다. ResUNet의 다양한 잔여 연결은 서로 다른 계층 간의 정보의 전달을 개선하여 학습하는 동한 그 라디언트의 이동을 개선하는 장점이 있다.ResUNet은 UNet 과 동일하게 인코딩, 디코딩 네트워크와 두 개의 네트워크를 연결하는 브리지로 구성된 모델이다. 인공지능 딥러닝 모델의 학습용 입력 영상으로 간 부분에 대하여 획득한 횡단면 영상을 시상면과 관상면 영상으로 변환하여 각단면에 대하여 간 영역을 분할하기 위한 인공지능 딥러닝 모델 학습을 수행하였다. 이후 각각의 단면에서 분할된 간 영역을 추출하고, 추출된 간 영역에서 종양 영역을 분할하기 위해 다시 인공지능 학습을 수행하였다.

Fig. 3. The architecture of the deep ResUNet.

2.4 3D 볼륨데이터 재구성

Fig.4와 같이 횡단면, 시상면, 관상면 각 단면에서 분할된 간 마스크 영상을 각 단면별로 3D 볼륨 데이터로 합성을 한 후 재구성된 각각의 단면별 볼륨에 대하여 평균을 구하여 최종적으로 홀로그램에 가시화할 간의 3D 볼륨 데이터로 완성한다. 동일하게 종양의 분할 마스크 영상에도 간과 같은 방식으로 3D 볼륨 데이터를 재구성한다.

Fig. 4. Reconfiguring 3D volumes from liver masks, (a) Result of liver segmentation for each section, (b) Result of liver reconstruction for each section, and (c) Average of three cross-sectional volumes.

2.5 유사홀로그램 가시화 시스템

의료영상 뷰어는 Fig.5와 같이 마이크로소프트사의 개발 프로그램인 Visual Studio에서 MFC (MicrosoftFoundationClassLibrary)를 사용하여 GUI(GraphicUserInterface)를 구성하고, 오픈 소스라이브러리인 ITK[15], VTK[16], OpenCV[17]를 DICOM파일에서 로우 데이터 접근, 2D 이미지 및 3D볼륨 표시, 그리고 영상의 전처리 및 후처리를 하는 부분에 사용하여 프로그램을 개발하였다.

뷰어 프로그램의 DICOMOPEN버튼을 클릭하여 표시할 영상이 저장된 폴더를 선택하면 횡단면, 시상 면, 관상면 영상을 각각 표시를 한다.영상의 표시가 완료되면 다음으로 DEEPLEARNING버튼을 클릭 하여 학습한 인공지능 모델을 사용하여 간과 종양의 분할을 실행한다. 실행이 완료가 되면 RENDERING 버튼을 클릭하여 각각의 단면들의 분할 결과를 통합하여 하나의 3차원 볼륨으로 렌더링 하였다.분할된 2차원 간 영상을 3차원 볼륨으로 변환하는 방식은동일한 값을 가지는 인접 픽셀들을 하나의 요소로 설정하고, 이런 요소들 중에서 최대 크기를 가진 요소만을 찾아내는 largestconnectedcomponent알고리즘을 사용하여 생성하였다. 종양 분할 결과에는 잡음과 미세영역을 제거하기 위해 침식(Erode) 및 팽창(Dilate) 알고리즘을 적용하였다. 각각의 볼륨을 통합하여 뷰어에 표시하면 3차원 볼륨이 가로 방향으로 회전을 하고, 동시에 유사 홀로그램 장치에서 사용할 수 있는 MPEG4동영상 파일을 만들기 위해 회전되는 영상을 1분 동안 실시간으로 캡처하여 HD (1280×720)화질에 맞게 크기 조절을 한 후 MPEG4 동영상으로 변환 및 파일로 저장을 한다. 이후 일본의 Vinclu사에서 개발한 Gatebox[18]기기에서 지원되는 MPEG4파일 형식으로 저장하였다. 이후 저장된 MPEG4동영상 파일을 Gatebox기기에서 사용할 수 있도록 Gatebox서버에 업로드하면 QR코드가 생성된다. 생성된 QR코드를 카메라로 촬영하여 Gatebox기기의 카메라에 인식을 시키면 자동으로 다운로드하여 홀로그램을 표시하는 순서로 동작하는 시스템이다.

Fig. 5. A 3D image visualization program for visualizing liver and liver cancer image segmentation results.

2.6 평가 방법

인공지능 딥러닝 학습 모델의 성능을 평가하는 방식으로 정답인 마스크 영상과 모델이 예측한 결과를 겹쳐서 일치하는 비율을 평가하는 그룹에 속하는 민감도(Sensitivity), 특이도(Specificity), 정확도(Accur- acy), DSC(DiceSimilarityCoefficient)의 식 (1)~ (4)등이 있다. 이는 모델의 예측 결과와 간 영역 및 간 종양 영역의 정답이미지 간의 차이를 나타낼 수 있는 지표이다. 하지만 민감도와 특이도는 정답 마스크 영역이 작을 경우에 오차가 성능에 크게 영향을받으므로 마스크 영역 크기에 민감한 단점이 있어서 이 연구의 성능 평가에서는 제외하고, 정확도와 DSC (Dice Similarity Coefficient)만을 사용하였다.

       \(\text { Sensitivity }=\frac{T P}{T P+F N}\)       (1)

\(\text { Specificity }=\frac{T N}{F P+T N}\)       (2)

\(A c c u r a c y=\frac{T P+T N}{T P+F P+F N+T N}\)       (3)

\(D S C=\frac{2 \times T P}{(T P+F P)+(T P+F N)}\)       (4)

where TP : True Positive, TN : True Negative, FP : False Positive, FN : False Negativ

3. 결과

간에 대하여 인공지능 학습할 영상 데이터는 전처리로 DICOM이미지에 윈도우값(HU : Hounsfiled Units)의 범위를 -50에서 140으로(Level:50, Width: 180)적용하였고, 히스토그램 평활화를 모든 영상에 동일하게 적용한 영상에 대하여 적용한 간분할 학습의 결과는 각 단면별로 Table4에서 보는 것과 같다. DSC값이 횡단 면에서 0.950, 시상면에서 0.898, 관상 면에서는 0.944의 성능이 나왔다.

Table 4. Deep learning result of liver segmentation.

간 분할 모델의 테스트 결과는 Fig.6처럼 횡단면, 시상면, 관상면의 결과가 각각 나온 것을 볼 수 있다. (a)의 세 번째, 네 번 째 그림과 (b)의 두 번째 그림처럼 종양의 크기가 간 영역에서 차지하는 비율이 높거나 표면에서 거리가 있을 경우에는 간 영역 분할에 영향이 없다. 그러나 (b)의 네 번째 그림에서 빨간 원으로 표시한 종양처럼 위치가 간의 표면에 존재할 경우 제대로 예측하지 못하는 경우가 존재한다는 것을 확인할 수 있다. 또한 분할 결과를 3차원 볼륨으로 재구성한 Fig.5의 (d)~(f)영상에서 사각형 영역을 비교해 보면, 각 단면들에 대한 분할 성능과 비슷하게 시상면(e)의 분할 결과를 재구성한 것이 다른 횡단면(d), 관상면(f)의 영상을 재구성한 것에 비해 볼륨의 모양이 많이 차이나는 것을 확인할 수 있다.

Fig. 6. Images for each plane, ground truth, prediction result, and overlaid image. (a) Result of axial, (b) Result of sagittal, (c) Result of coronal, (d)~(f) The 3D reconstructing the ground truth and prediction result, (d) Reconstruction of axial, (e) Reconstruction of sagittal, and (f) Reconstruction of coronal.

종양 분할의 결과는 각 단면별로 Table5에서 보는 것과 같다.DSC 값이 횡단 면에서 0.675, 시상 면에서 0.476, 관상면에서는 0.505의 성능을 기록하였으며, Fig.7의 (a)~(c)에서 세 번째 예측 결과 영상을 비교해 보면 횡단면(a)에 비해 시상면(b)과 관상면 (c)예측을 실패하는 영상이 더 많은 것이 종양의 각 단면에 대한 분할 성능과 비슷함을 확인할 수 있다.

Table 5. Deep learning result of tumor segmentation.

Fig. 7. Liver region image segmented by deep learning for each plane, ground truth, prediction result, and overlaid image. (a) Result of axial, (b) Result of sagittal, (c) Result of coronal, (d) Reconstruction of axial, (e) Reconstruction of sagittal, and (f) Reconstruction of coronal.

Fig.8과 같이 인공지능 딥러닝으로 학습한 모델로 분할된 간과 종양을 2차원의 평면이 아닌 3차원 볼륨으로 재구성한 데이터를 유사홀로그램 기기에 표시하여 입체감과 공간감 있게 간과 종양을 표시함을 볼 수 있다.

Fig. 8. (a), (b) 3D visualization by integrating liver and tumor volume in the gatebox.

4. 결론

본 연구에서는 CT영상에서 간과 종양 영역을 분할하는 방법으로 인공지능 딥러닝 방법인 ResUNet 모델로 학습하고, 그 결과를 유사홀로그램 장치를 통하여 3차원으로 가시화하는 시스템을 제안하였다. 이 시스템은 이미지 프로세싱이나 인공지능 딥러링으로 간 또는 종양을 분할하여 컴퓨터 화면에 만 표시되는 기존의 관련 연구들에 비해 분할된 결과를 3차원으로 재구성한 데이터를 유사홀로그램 기기에서도 표시를 할 수 있게 됨으로써 단순한 2차원적인 영상이 아닌 3차원과 유사한 결과물을 표시하여 입체감과 공간감을 표현할 수 있다. 또한 [10, 12]에서처럼 수술이나 진료 중에 움직임에 방해가 되는 HMD (HeadMountedDisplay)HoloLens와 같은 장비를 의료진이나 진료를 받는 환자의 몸에 추가로 장착을 할 필요가 없는 장점이 있다.

홀로그램 시스템에서 필요한 것은 이미 촬영된 환자 영상자료와 인공지능으로 학습한 딥러닝 모델을 실행할 수 있는 컴퓨터, 그리고 유사홀로그램 가시화 기기만 있으면 사용할 수 있다. 이 시스템은 의료진이나 환자와의 직접적인 신체 접촉이 없으므로 자유롭게 사용할 수 있다. 그러므로 이 논문에서 제안한 유사홀로그램은 인체에 유해한 위험이 없는 안전한 시스템이라고 할 수 있다. 또한 분할된 간 및 종양 영역만이 아닌 인공지능 딥러닝을 통해 학습할 수 있는 모든 의료영상 분야에서 분할된 영역을 3차원 볼륨으로 재구성할 수 있는데이터가 있다면 이 시스템을 통해 볼륨데이터를 입체적으로 공간 감 있게 보여줄 수 있고, 수술 전후의 간과 같은 장기의 변화를 시각적으로 관찰할 수 있다.

본 연구에서 활용한 인공지능 딥러닝의 결과를 보면 입력 영상에서 차지하는 비율이 높은 간에 대한 분할에서의 성능은 양호한 편이다.Fig.5에서 보이는 것처럼 간에 종양이 포함되어 있지 않거나, 간의 표면이 아닌 곳에 간의 내부에 종양이 존재할 경우에는 인공지능 딥러닝의 분할 성능이 우수한 것을 볼 수 있다. 그러나 간의 표면에 종양이 존재할 경우에 간 분할을 할 경우 Fig.5-(b)의 마지막 영상처럼 종양 영역이 제외되고 간의 표면이 오목하게 들어간 것처럼 분할이 되는 현상 역시 존재하였다. 그리고종양에 대한 분할 성능은 간에 비해 낮은 결과를 보여주었고, 입력 영상에서 종양이 차지하는 비율이 너무 다양하여 성능이 낮게 나온 것이라 할 수 있다. 이에 따라 종양의 크기에 따른 분할 성능을 비교하는 연구가 필요하다. 그리고 종양의 크기를 구분 없이 학습한 모델의 분할 결과의 정확도를 향상시키기 위해서는 학습에 사용할 데이터 셋의 개수가 더욱 많이 필요하며, 성능 향상에 도움이 되는 전처리 기술에 대해서도 많은 연구가 필요하다. 그리고 획득한 방대한 학습 데이터를 빠르게 처리하기 위해서는 성능이 우수하고, 처리 속도가 빠른 인공지능 딥러닝 시스템 역시 필요하다.Fig.2에 나온 간과 종양 영역에 대한정답 분할 마스크 영상의 품질이 우수하여야 하고, 입력된 횡단면(Axial) 영상과 정상 마스크 영상으로부터 우수한 품질의 시상면(Sagittal) 영상과 관상면 (Coronal)영상으로 재구성하는 알고리즘에 대한 연구 또한 수행하여야 한다.

이러한 유사홀로그램 시스템을 실시간으로 활용하기 위해서는 본 연구에서 사용한 홀로그램 기기처럼 분할한 볼륨데이터를 서버로 업로드하고 다시 기기에서 다운로드하는 방식이 아닌 인공지능 딥러닝 분할 결과를 표시할 수 있고, 인공지능 딥러닝을 통해 분할 작업을 수행한 컴퓨터와 영상 케이블로 직접 연결된 홀로그램 기기가 필요할 것이다.

향후 인공지능 딥러닝으로 간이라는 장기에서 크기가 작은 혈관의 분할과 관련된 충분한 연구를 진행한 후, 인공지능으로 분할된 간의 혈관을 기반으로 간의 8개 섹션을 자동으로 볼륨 영역으로 분할을 할 수 있는 모델을 개발할 예정이다. 이렇게 간을 자동으로 볼륨 분할 할 수 있다면 간절제술시 전체 영역에서 절제가 필요한 비율을 확인할 수 있고, 간 절제술 전후의 간 볼륨의 부피를 계산 및 비교하여 환자의 간 절제술에 관련된 연구에 사용할 수 있을 것이다.