Ensemble Learning Based on Tumor Internal and External Imaging Patch to Predict the Recurrence of Non-small Cell Lung Cancer Patients in Chest CT Image

흉부 CT 영상에서 비소세포폐암 환자의 재발 예측을 위한 종양 내외부 영상 패치 기반 앙상블 학습

Abstract

In this paper, we propose a classification model based on convolutional neural network(CNN) for predicting 2-year recurrence in non-small cell lung cancer(NSCLC) patients using preoperative chest CT images. Based on the region of interest(ROI) defined as the tumor internal and external area, the input images consist of an intratumoral patch, a peritumoral patch and a peritumoral texture patch focusing on the texture information of the peritumoral patch. Each patch is trained through AlexNet pretrained on ImageNet to explore the usefulness and performance of various patches. Additionally, ensemble learning of network trained with each patch analyzes the performance of different patch combination. Compared with all results, the ensemble model with intratumoral and peritumoral patches achieved the best performance (ACC=98.28%, Sensitivity=100%, NPV=100%).

1. 서론

전 세계적으로 폐암은 여러 종류의 암 질환 중에서 사망률이 가장 높은 암으로 종양의 조직형에 따라소세포폐암(Small Cell Lung Cancer, SCLC)과 비소세포폐암(Non-Small Cell LungCancer, NSCLC)으로 구분된다.비소세포 폐암은 전체 폐암의 84%정도를 차지하며 암세포의 크기가 작지 않은 암을 정의하며, 소세포폐암에 비해 성장 속도가 느리고, 주변 조직으로 먼저 침윤된 후에 전신으로 퍼지는 특성이 있으며 초기 진단 시 절제 수술을 통해 치료가 진행된다.이 때, 절제 수술 후에도 폐암이 재발하는 경우가 있으므로 비소세포폐암의 재발 예측은 매우 중요하다[1].

Fig.1은 흉부 CT영상에서 비소세포폐암 환자의 재발군과 비재발군 종양의 대표적 특징 영상으로 첫 번째 행과 같이 비소세포폐암의 재발군 종양은 그 크기가 크고 형태가 불규칙하다는 특징이 있으며 비재발군 종양은 그 크기가 작고 형태가 규칙적이라는 특징이 있다.그러나 Fig.1의 두번째 행과 같이 종양의 크기나 형태와 같은 시각적 특징과 관련 없이 재발하거나 하지 않는 경우가 다수 존재하기 때문에 이와 같은 한계를 극복하고자 영상에서 특징을 추출하고 이를 훈련하여 재발군을 분류하는 라디오믹스 (radiomics)를 사용한 분석 및 예측 방법이 대두되고 있다[2].

Fig. 1. Representative images of recurrent and non-recurrent tumors in chest CT images of NSCLC patients.

라디오믹스는 의료 영상에서 의미 있는 특징을 추출하여 예측 모델을 구성하는 방법이며, 조직별로 다른 정보들을 제공한다. 흉부 CT영상에서 라디오믹스를 통한 예후 예측 관련 연구는 영상에서 특징적인 사항을 수학적인 모델을 통해 추출하여 머신러닝 방법을 통해 분석하는 handcrafted라디오믹스 기법과 딥러닝을 통해 영상에서의 특징과 훈련을 자동으로 수행하는 딥러닝 라디오믹스 기법으로 나누어볼 수 있다.먼저, handcrafted라디오믹스 기법을 통한 폐암 예후 예측 관련 연구를 살펴보면 다음과 같다.Sun 등은 치료 이전의 비소세포폐암 환자의 CT영상으로부터 전체 생존 기간(Overall Survival, OS)을 예측하기 위한 최적의 방법을 탐구하기 위해 5개의 특징 선택 알고리즘과 Cox비례 위험 모델, 그래디언트부스팅 모델(Gradient boosting linear model, GB- Cox), 콕스 부스트(Cox model by like lihood based boosting, Cox Boost), 배깅 생존 트리(Bagging Survival Tree, BST), 랜덤 생존 포레스트(Random forest for survival mode, RFS), 생존 회귀 모델 (Survival Regression model, SR), 중도 절단 자료에 대한 서포트 벡터 회귀(Support Vector Regression for Censored data model, SVCR)를 포함한 8개의 머신러닝 모델을 비교 분석하였다[3].Zhang 등은 체부정위방사선치료(stereotactic body radiotherapy, SBRT)를 받은 비소세포폐암 환자의 흉부 CT영상을 이용하여 환자의 재발, 사망, 무재발생존기간을예측하는 연구를 수행하였다 [4].특히, 기존 라디오믹스 기반의 폐암 예측 연구들의 한계점인 특징 중복, 데이터의 불균형 등을 극복하기 위해 특징 선택방식, 예측 모델, 서브 샘플링(Sub-sampling)기법을 분석하였다. 이와 같은 연구들은 비소세포폐암 환자의 흉부 CT영상에서 종양 내부를 관심영역(Region of Interest, ROI)로 하여 예후를 예측하고 있지만 최근 종양 내부 정보 뿐 아니라 종양 주변부 정보를함께 사용하여 예측 모델을 제안하는 연구들이 있다. Wang등은 비소세포폐암 환자의 림프절 전이 여부를 예측하기 위해 종양의 내부와 주변부실질(pare- nchyma)조직의 특징 정보를 사용하여 라쏘(Least Absolute Shrinkage and Selection Operator, LASSO) 회귀를 사용하였다[5]. D'Antonoli 등은 ROI를 종양내부, 주변부, 종양이 포함된 폐엽 전체로 정의하여특징 정보를 추출한 후 임상 병리학적 특징들과 함께 Cox비례 위험 모델을 이용하여 재발 위험을 예측하였다[6].Lee등은 비소세포폐암 환자의 흉부 CT영상에서 종양 주변부 정보를 이용하여 2년 무재발생존기간(relapse-free survival)을 예측하였다. 종양내부로부터 영상의 밝기값, 질감, 형태에 기반한 69 개의 특징을 추출하고 종양 주변부로부터 밝기값과 질감에 기반한 58개의 특징을 추출하였으며, 특징 선택을 거친 후 서포트 벡터 머신과 랜덤 포레스트 모델을 이용하여 재발군과 비재발군을 분류하였다[7]. 하지만 handcrafted라디오믹스 연구들은 폐암 예후예측을 위해 고식적 영상 특징 정보를 추출하여 분류하는 방법을 제안하고 있어 예측 시 추출해야 하는특징을 선정하고 중요한 특징을 선별해야 하며, 이들특징에 예측 모델의 성능에 영향을 미친다는 한계가있다.

딥러닝의 대표적인 모델인 합성곱 신경망(Con- volutional Neural Network, CNN)이 영상 데이터를 활용하는 여러 분야에서 유망한 성과를 보이면서 최근 딥러닝 기반의 라디오믹스 연구들이 증가하고 있다[8]. 폐암 예후 예측을 위한 딥러닝 기반의 연구들을 살펴보면 다음과 같다. Hosny등은 방사선치료 또는 수술을 받은 비소세포폐암 환자를 다양한 집단으로 구성하고 환자의 흉부 CT영상을 이용하여 2년 이내의 생존률을 예측하였다[9]. 방사선치료를 받은 집단의 데이터 셋으로 합성곱 신경망을 학습시킨 후분류 성능을 평가한 후 이 학습된 네트워크를 수술을 받은 집단의 데이터 셋을 이용하여 전이 학습 시켜 분류 성능을 평가하였다. 또한 합성곱 신경망에 의해 추출된 특징에 대한 이해를 위해 CAM(classacti- vationmap)시각화를 적용하였다. Xu 등은 말기 비소세포폐암 환자의 치료에 따른 연속적인 CT 영상을 활용하여 환자의 생존률 및 예후를 예측하였다. 이를 위해 ImageNet기반으로 사전 학습된 ResNet과 RNN으로 이루어진 네트워크를 사용하였고, 화학 방사 요법, 삼중 복합치료를 받은 집단으로 데이터 셋을 구성하여 전자는 훈련, 검증 데이터 셋으로 사용하고, 후자는 시험 데이터 셋으로 사용하였다.Apon- pong등은 비소세포폐암 환자의 재발률 예측을 위해 다양한 특징 선택 방법을 통한 handcrafted라디오믹스 기법과 딥러닝 라디오믹스 기법을 비교하였다 [10]. Handcrafted라디오믹스 실험을 위해 LASSO, ANOVA, Chi-2특징 선택 방식을 적용하여 비교 분석하였고 인공 신경망(artificial neural network, ANN)을 분류 모델로 하였다. 또한, 딥러닝 기반의 라디오믹스 실험을 위해 ResNet50과 DenseNet121 을 이용하여 재발 여부를 분류하였다. Lee 등은 절제 수술을 받은 비소세포폐암 환자의 수술 전 흉부 CT 영상을 이용하여 2년 이내의 재발률을 예측하는 분류 방법을 제안하였다. 종양 내부 영역과 종양 주변부 영역을 관심 영역으로 설정하여 입력 영상을 .구성하고, ImageNet기반으로 사전 학습된 Alex Net을 이용하여 전이 학습을 진행하며 네트워크의 고정층 범위에 차이를 두어 입력 패치와 고정층 범위에 따른 분류 성능을 비교 분석하였다[11]. 이와 같은 연구들이 딥러닝을 기반의 다양한 방식으로 폐암 예후를 예측하며 그 유용성을 입증하고 있으나 폐암 예후에 큰 영향을 주는 종양 주변부의 정보의 효과는 분석하지 못하고 있다는 한계가 있다[12].

본 연구에서는 폐암 절제술을 받은 비소세포폐암환자의 수술 전 흉부 CT영상을 이용해 2년 이내의재발률을 예측하기 위한 합성곱 신경망 기반의 분류방법을 제안한다. 종양 내부 정보 뿐 아니라 종양 주변부 정보를 활용한 영상 패치를 제안하며, 특히 종양 주변부 패치의 경우에는 종양 내부 정보 패치에서종양 주변의 일정 영역을 추출한 패치와 해당 패치에서 종양 주변부의 질감 정보에만 집중한 패치로 나누어 제시한다. 이와 같은 세 가지 패치를 ImageNet 기반으로 사전 학습된 AlexNet을 이용하여 전이 학습 시키고 각 패치로 학습된 네트워크를 다양한 조합으로 앙상블 시켜 패치 종류와 다양한 앙상블 네트워크에 따른 분류 성능 및 유용성을 비교 분석한다.

2. 제안 방법

Fig.2는 비소세포폐암 환자의 흉부 CT 영상에서 재발률 예측을 위한 딥러닝 라디오믹스 과정을 나타낸다. 비소세포폐암 환자의 흉부 CT영상의 전처리과정을 거친 후에 종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감 패치 총 세 가지의 입력 패치를 생성하고, 각 패치를 ImageNet기반으로 사전 학습된 AlexNet을 통해 전이 학습을 실시하여 재발 여부를 분류하고 각 네트워크를 이용하여 다양한 조합으로 앙상블 학습을 실행하여 재발 여부를 분류하며 다양한 패치 및 네트워크 구성에 따른 성능을 비교분석한다.

Fig. 2. Overview of deep learning radiomics for predicting recurrence from CT images of NSCLC patients.

2.1 데이터 전처리

데이터 셋의 100명의 CT영상은 DICOM(Digital Imaging and Communications in Medicine)포맷으로 제공된다. 촬영 CT프로토콜에 따라 픽셀 강도 및 간격이 각 영상 마다 다양하기 때문에 실험을 위해 모든 CT 영상에 대한 밝기값 및 공간 정규화 (normalization)가 필요하다.밝기 값 정규화를 위해 모든 CT 영상의 창폭(window width)은 1600HU (Housefield Unit), 창수준(window level)은 -600HU 로 설정하여 폐 부분이 보다 선명하게 보여지도록하며, 공간 정규화를 위해 픽셀 간격(pixelsapcing) 은 0.54mm로 정규화한다.Fig.3은 밝기값 정규화적용 전후 예시 그림이다.영상 포맷은 사전 학습된 합성곱 신경망의 입력 데이터로 이용하기 위해서 모든 CT영상의 DICOM포맷을 PNG(Potable Net- work Graphics)포맷으로 변경하며 입력 영상의 크기 또한 변경한다.

Fig. 3. Example of intensity normalization for chest CT images of NSCLC patients.

훈련 데이터의 부족을 보완하기 위해 데이터 증강 (dataaugmentation)을 수행한다. 이 때, 각 패치의특성에 따라 변형 종류를 다르게 설정하는데, 종양내부 패치는 데이터 증강을 하지 않으며, 종양 주변부 패치는 랜덤 수평 뒤집기(random horizontal flip), 랜덤 수직 뒤집기(random vertical flip), 어파인 변환 (affinetrans formation), 종양 주변부 질감 패치는 랜덤 사이즈 재설정 크롭(random resizecrop)과 랜덤수평 뒤집기를 수행하였다.

2.2 종양 내부 및 주변부 영상 패치 생성

폐 종양 주변부의 혈관 등 실질 조직이 암 전이의 원인에 관련이 있다는 임상적 사실을 근거로 종양내부․주변부․주변부 질감 영상 패치를 포함한 총 세 가지의 입력 패치를 생성한다. 입력 데이터 준비를 위해 Fig.4와 같이 종양 내부 정보를 나타내는영역과 종양 주변부 정보를 나타내는 영역으로 구분하여 ROI를 정의하고, 이를 바탕으로 입력 영상 패치를 구성한다.

Fig, 4. Example of tumor labeling binary masks and image patches.

우선 종양 내부 영역을 ROI로 하는 영상 패치인 종양 내부 패치 생성을 위해, 각 환자의 CT 영상과 종양이 레이블링된 이진 영상을 이용하여 종양을 중심으로 160×160픽셀 크기로 크롭(crop)하여 해당 패치를 생성한다. 종양 주변부 영역을 ROI로 하는 영상패치인 종양 주변부 패치 생성을 위해 종양 경계를 기준으로 외부 15mm영역을 추출한 패치를 생성한다. 이 때, 폐실질이 아닌 영역은 패치에서 제거하기 위해 밝기값 기반의 폐 분할을 진행하는데, 밝기값임계치를 200으로 설정하여 200이상의 밝기값을 가진 픽셀은 0으로 대체한다. 또한, 모폴로지 연산 (morphological operator)을 통해 폐 내부의 종양 주변부 정보만 유지하기 위해 3×3커널과 8×8커널을 이용하여 침식(erosion)과 팽창(dilation)을 반복적으로 수행한다.종양 주변부 질감 패치는 종양 주변 15 mm영역을 추출한 종양 주변부 패치에서 5픽셀 간격을 두어 10×10크기로 샘플링 한 후 추출된 샘플들을 무작위 배치하여 160×160크기의 패치를 생성한다[14]. 종양 주변부 질감 패치는 종양 주변 15mm 영역의 질감 정보만 포함하기 때문에 종양의 크기나 모양 등의 형상 정보는 학습이 되지 않고, 종양 주변부 질감 정보만 학습되는 특징을 가지고 있다.

2.3 분류 네트워크 구조

비소세포폐암 환자의 재발 여부 분류를 위해 Image Net기반으로 사전 학습된 AlexNet을 이용하였다. AlexNet은 Fig.5와 같이 정규화 선형 유닛(ReLU), 맥스 풀링(max-pooling)을 포함한 5개의 컨볼루션층과 ReLU, 드롭아웃(dropout)을 포함한 3개의 완전연결(fully-connected) 층으로 이루어져 있다[13]. AlexNet의 완전 연결층의 가장 마지막 층은 1,000개의 노드로 이루어지는데, 본 논문에서는 재발 여부분류를 위해 2개의 노드로 변경한다.

Fig. 5. Architecture of AlexNet.

전이 학습에서 각 층의 파라미터를 고정 하거나 미세 조정할 수 있는데[15], 각 패치에 대해 가장 좋은 성능을 보인 [1,4]를 고정 층의 범위로 설정하였으며[11], 학습률은 0.003으로, 에폭은 25로 설정하였다.

앙상블 학습을 위해 각 패치로 학습된 네트워크 중 두 가지 네트워크를 앙상블한 경우와 세 가지 네트워크를 모두 앙상블한 경우로 나누어 다양한 조합의 앙상블 네트워크를 구성하였으며, 각 네트워크에서 예측된 각 클래스에 대한 확률 값을 평균 내어 최종 예측을 하는 간접 투표(soft-voting)방식을 적용하였다.

3. 실험 데이터 및 결과

3.1 실험 데이터 및 환경

본 실험을 위해 암 연구를 위한 의료 영상 공공 데이터인 TCIA(TheCancerImagingArchive)의 비소세포폐암 환자의 데이터 셋을 사용하였다.해당 데이터 셋은 폐암 절제술을 받은 편평세포암(squamous cellcarcinoma)과 선암(adenocarcinoma)환자를 포함한 비소세포폐암 환자 100명의 수술 전 흉부 CT 영상과, 폐 종양이 분할된 레이블 영상으로 이루어졌다.데이터 셋의 CT영상은 DICOM포맷으로 제공되며, 각 영상의 해상도는 512×512이고 픽셀 크기는 0.97mm이다.데이터 셋의 환자 100명 중, 재발 기준을 2년으로 설정하였을 때, 68명은 재발 환자였으며 32명은 재발하지 않은 환자였다. 종양의 크기에 따라세 그룹으로 나누었는데 종양 크기가 30mm미만이면 그룹 1으로, 종양크기가 30mm이상이고 50mm 미만이면 그룹 2로, 50mm이상이면 그룹 3로 설정했다. 재발 환자군에서 그룹별 종양 크기의 평균 및 표준편차는 그룹 1에서 25.03mm(0.0mm), 그룹 2에서 36.93mm(2.78mm), 그룹 3에서 115.31mm (34.78mm)으로 나타났다. 비재발 환자군에서 그룹별 종양 크기의 평균 및 표준편차는 그룹 1의 환자는 없었으며, 그룹 2는 38.36mm(0.88mm), 그룹 3는 108.41mm(39.29mm)로 나타났다.

Fig. 6. Tumor size box plot of recurrence and non-recurrence. (Group1: tumor size < 30 mm, Group2: 30 mm ≤ tumor size < 50 mm, Group3: 50 mm ≤ tumor size).

입력 데이터 생성을 위해 환자 한 명당 종양이 가장 크게 나타난 영상을 기준으로 상위, 하위 단면 영상까지 포함하여 총 3장의 CT슬라이스 영상을 선택하였으며, 그 중 종양이 나타나지 않은 영상 6장을 제외하고 총 294장의 데이터를 사용하였다. 데이터셋은 훈련 데이터와 시험 데이터의 비율을 8:2로 나누고, 훈련 데이터를 다시 8:2비율로 훈련 데이터와 검증 데이터로 나누어 실험을 수행하였다.

실험은 주피터 노트북(jupyter notebook)6.0.3환경에서 파이썬(python)3.8.3버전을 이용하여 실행하였으며, 파이토치(pytorch)는 1.6.0버전 라이브러리를 이용하였다.

3.2 실험 및 결과

제안한 패치의 유용성 및 패치 종류에 따른 분류성능 분석을 위해 사전 학습된 AlexNet을 이용하여 종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감 패치로 각각 학습을 진행하였다.뿐만 아니라 각 영상 패치의 다양한 조합에 따른 분류 성능 분석을 위해 각 패치로 전이 학습된 네트워크를 앙상블 시켜 실험하였다.성능 평가는 다음과 같이 정확도(accur- acy), 민감도(sensitivity), 특이도(specificity), 양성예측도(Positive Predicted Value, PPV), 음성 예측도(Negative Predicted Value, NPV)를 이용하여 측정하였다.

Table1은 실험에 사용된 네트워크 구조와 입력 영상 패치에 따른 성능 지표 비교를 나타낸다. 단일 CNN모델의 경우, 각 패치로 사전 학습된 AlexNet 을 각각 학습시킨 결과 각각의 정확도가 96.56%, 72.41%, 69.0%로 종양 내부 패치가 모든 성능 지표에 대해 가장 좋은 성능을 보였다.종양 주변부 패치와 종양 주변부 질감 패치로 학습된 결과 두 모델 모두 종양 내부 패치에 비해 전반적인 성능 및 특이도가 낮게 나타났는데, 이는 종양의 전체적인 정보를 담고 있는 종양 내부 패치에 비해 종양 주변부 정보만을 추출한 두 패치의 특성상 학습되는 정보량이 감소하였기 때문으로 분석된다.특히, 종양 주변부 질감 패치의 경우에는 종양 주변부 패치에서 유지되었던 종양의 크기 및 형태 정보가 제거되고 질감 정보만을 유지하였기 때문에 학습되는 정보량이 더욱 감소하여 전반적인 성능이 하락한 것으로 보인다.

Table 1. Comparison of performance criteria by network architecture and input image patches.

비소세포폐암의 재발 예측에 있어서 종양 주변부패치 및 종양 주변부 질감 패치의 유용성 분석을 위해 반복적인 학습을 통해 종양 내부 패치로 학습된 네트워크에서 오분류된 영상들 중 종양 주변부 패치와 종양 주변부 질감 패치로 학습된 네트워크에서 정분류한 영상들의 특성을 분석하였다. 분석 결과 종양 주변부 패치와 종양 주변부 질감 패치로 학습된두 네트워크 모두 재발했음에도 크기가 작은 종양이거나 재발하지 않았음에도 크기가 큰 종양 등 일반적인 재발 및 비 재발군 종양의 특성과는 다른 영상들을 정분류 하였고, 특히 종양 주변부 질감 정보가 풍부한 영상을 정분류하는 경향을 보였다. 따라서 종양주변부 패치와 종양 주변부 질감 패치를 통해 비소세포폐암 환자의 재발 예측 시 종양 주변부 정보에 집중하여 학습되기 때문에 종양 내부 패치에서 오분류된 영상들을 정분류 할 수 있으며 이는 종양 내부패치의 취약점을 보완하는 효과가 있다.

위 세 개의 네트워크를 이용하여 다양한 조합으로 앙상블 학습을 진행한 결과 종양 내부 패치와 종양주변부 패치의 네트워크를 앙상블 시킨 모델, 종양내부 패치와 종양 주변부 질감 패치의 네트워크를 앙상블 시킨 모델, 종양 주변부 패치와 종양 주변부질감 패치의 네트워크를 앙상블 시킨 모델의 정확도는 각각 98.28%, 72.41%, 96.55%로 종양 내부 패치와 종양 주변부 패치의 네트워크를 앙상블 시킨 모델이가장 높은 성능을 보였으며, 이는 한 개의 패치를 이용하여 학습된 네트워크 보다 높은 성능으로 나타났다. 따라서 종양 내부 패치와 종양 주변부 패치의 네트워크를 앙상블 시킨 모델과 종양 내부 패치와 종양주변부 질감 패치를 앙상블 시킨 모델이 유사하게높은 성능을 나타내는 것으로 보아 종양 내부 정보와 종양 주변부 정보를 함께 사용하여 재발 여부를 예측하였을 때 분류 성능이 보다 향상되는 것으로 분석된다.한편, 종양 주변부 패치로 학습된 네트워크의 낮은 특이도와 그로 인한 음성에 대한 최종 확률 값의낮은 신뢰도로 인해 해당 앙상블 모델의 특이도와 양성예측도가 소폭 하락한 것으로 분석된다. 또한, 종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감패치의 네트워크를 앙상블 시킨 모델의 정확도는 91.38%로 두 네트워크의 앙상블 모델에 비해 성능이하락하였다. 이는 종양 주변부 질감 패치는 종양 주변부 패치에서 질감 정보만을 유지하며 생성된 패치이기 때문에 두 패치 사이에 많은 정보가 중복되어두 네트워크의 앙상블 모델에 비해 성능이 낮아진것으로 분석된다.

4. 결론

본 논문에서는 비소세포폐암 환자들의 수술 전 흉부 CT영상과 임상 데이터를 활용하여 2년 이내 재발률을 예측하기 위한 분류 방법을 제안하였다. 종양내부 정보 뿐 아니라 종양 주변부 정보 또한 활용할 수 있는 종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감 패치로 입력 영상을 구성하고 각 패치를 사전학습된 AlexNet을 통하여 전이 학습시켜 패치의 종류와 특성에 따른 유용성 및 성능을 비교 분석하였다. 또한, 각 패치로 학습된 네트워크의 앙상블을 통해 다양한 패치의 조합에 따른 분류 성능을 평가했다.

종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감 패치로 사전 학습된 AlexNet을 각각 학습시킨 결과 종양 내부 패치가 가장 좋은 성능을 보였다. 각패치로 학습된 두 개의 네트워크를 앙상블 시켰을경우 종양 내부 패치와 종양 주변부 패치 네트워크를 앙상블 시킨 모델, 종양 내부 패치와 종양 주변부 질감 패치 네트워크를 앙상블 시킨 모델, 종양 주변부 패치와 종양 주변부 질감 패치를 앙상블 시킨 모델 모두 단일 네트워크에 비해 성능이 개선되었으며, 그중 종양 내부 패치와 종양 주변부 패치의 네트워크를 앙상블 시킨 모델이 가장 높은 성능을 나타냈다. 각패치로 학습된 세 개의 네트워크 모두를 앙상블 시킨 모델은 두 개의 네트워크를 앙상블 시킨 모델에 비해 성능이 전반적으로 하락하였으며, 이는 종양 주변부 패치와 종양 주변부 질감 패치의 사이의 정보 중복 때문이라 분석된다.

향후 연구 방향으로는, 성능 향상을 위하여 더 많은 데이터 셋을 확보하고 이를 통해 종양 주변부 패치 및 종양 주변부 질감 패치의 낮은 정확도 및 특이도를 극복하고, AlexNet이외에도 VGGNet, ResNet 등과 같은 층이 깊은 모델을 사용하여 성능을 비교분석하고자 한다.