A Study on Deep Learning Binary Classification of Prostate Pathological Images Using Multiple Image Enhancement Techniques

다양한 이미지 향상 기법을 사용한 전립선 병리영상 딥러닝 이진 분류 연구

Abstract

Deep learning technology is currently being used and applied in many different fields. Convolution neural network (CNN) is a method of artificial neural networks in deep learning, which is commonly used for analyzing different types of images through classification. In the conventional classification of histopathology images of prostate carcinomas, the rating of cancer is classified by human subjective observation. However, this approach has produced to some misdiagnosing of cancer grading. To solve this problem, CNN based classification method is proposed in this paper, to train the histological images and classify the prostate cancer grading into two classes of the benign and malignant. The CNN architecture used in this paper is based on the VGG models, which is specialized for image classification. However, color normalization was performed based on the contrast enhancement technique, and the normalized images were used for CNN training, to compare the classification results of both original and normalized images. In all cases, accuracy was over 90%, accuracy of the original was 96%, accuracy of other cases was higher, and loss was the lowest with 9%.

1. 서론

최근 인공지능 딥러닝(Deep-Learning) 또는 심층학습 분야의 발달이 활발히 이루어지고 있다[1]. 딥러닝은 머신 러닝의 한 종류로써, 머신 러닝이 여러 알고리듬을 사용하여 차원에 따라 최적화를 시도하여 오류를 최소화하거나 예측이 사실일 가능성을 극대화는 것이라면, 딥러닝은 더 나아가 심층 인공 신경망의 개념을 사용하여 영상을 인식하거나 음성, 자연어 처리를 더욱 정확하게 해주는 방식이다[2-6]. AlphaGo라는 유명한 바둑 프로그램도 딥러닝을 기반으로 만들어진 프로그램이다. 딥러닝도 다양한 종류가 존재한다[7]. 완전연결신경망(Fully Connected Neural Network, FCNN), 컨볼루션 신경망(Convolutional Neural Network, CNN), 순환신경망(Recurrent Neural Network, RNN) 등등 각 방식의 응용방법 또한 많은 개발이 되어있다[7]. 이 중 컨볼루션 신경망은 영상 분석 및 분류에 특화되어있는 방식이다[8]. 컨볼루션 신경망 이전의 딥러닝 모델은 층의 노드를 1차원적으로 배치하는 모습이지만, 컨볼루션 신경망의 경우 2차원적으로 동시에 배치되어있는 모습을 하고 있기 때문에 학습되는 데이터의 물리적 거리가 중요한 판단 기준이 되는 경우에 매우 효과적으로 적용될 수 있는 방식이다.

이러한 방식을 이용하여 본 논문에서는 전립선암세포 병리영상을 학습하여 등급분류를 시도하였다. 전 세계적으로 전립선암은 남성 5대 암 중 하나로 높은 발병률과 많은 사망자를 발생시켰다. 또한 발병률이 줄어들고 있는 다른 암들에 비해 전립선암은 발병률이 증가하는 몇 안 되는 암들 중 하나이다. 대한민국은 1999년대를 기준으로 발생자수 1,437명, 암 상대빈도 1.4%로 다른 국가들에 비해 전립선암 안전구역이었다. 하지만 식생활의 서구화, 업무 스타일의 변화 등으로 인해 발병률이 증가하여 2016년을 기준으로 발생자수 11,800명, 암 상대빈도 5.1%로 급격하게 증가하고 있는 추세이다[9]. 때문에 전립선암의 정확한 진단과 그에 맞는 적절한 치료에 많은 관심을 받게 되었다.

전립선암의 진단에는 확진을 위해 전립선의 조직을 떼어내어 현미경 검사를 시행하는 ‘전립선조직생검’이 있다[10]. 본 논문에서 사용되는 데이터는 전립선 조직생검에서 현미경으로 관찰되는 영상을 사용하였으며, 병리학자가 판단한 양성과 악성 등급의 영상을 사용하여 암의 등급을 분류해보았다.

현재 전립선암의 등급은 글리슨(Gleason)이 전립선암 세포의 경과에 따른 형태를 관찰하여 정의한 글리슨 패턴 방식을 사용하고 있다. 육안으로 조직영상을 관찰하여 등급을 나누는 방식이며, 등급은 1에서 5로 나누어져 있다[11,12], 이를 바탕으로 점수에서 1점부터 2점은 양성, 3점부터 5점은 악성으로 판단하여 연구를 진행하였다[13]. 현대 의학에서 글리슨 패턴은 수십 년째 사용되고 있는 전립선암 분류방식인 만큼 상당히 유용한 지표인 것은 사실이다. 그러나 의사들이 직접 관찰하여 판단을 내리는 과정에서 오진의 가능성이 존재한다. 실제로 조직검사 점수와 절제술 시행 시 진단 점수가 일치하는 경우는 80%이며, 오진이 발생하는 경우는 20%이다[14]. 기존의 진단 방법을 보완하기 위해 컨볼루션 신경망을 사용한 진단 방법을 연구하여 오진의 가능성을 줄이고, 알맞은 치료를 받을 수 있도록 하는 것이 이번 연구의 목적이다.

대비 향상은 원본 영상에서 특정 방식을 사용하여 원본 영상에 사용되는 화소들 간의 대비를 증가시키는 방식이다[15,16]. 화소들 간의 대비가 증가된 영상은 인간과 컴퓨터에게 인지력을 높이며, 분석 및 분류에 좋은 데이터가 된다. 연구에서 사용된 대비향상은 영상 대비 향상 (Image Adjustment, IA), 히스토그램 균일화(Histogram Equalization, HE), 그리고 대비 제한 적응 히스토그램 균일화(ContrastLimited Adaptive Histogram Equalization, CLAHE)이며, 각각의 결과와 원본 영상을 사용하여 딥러닝에 사용될 데이터를 준비하였다. 이후 딥러닝 학습 모델을 구현하여 준비한 데이터를 학습하고 시험하여 모델의 학습 손실율과 정확도를 얻어내었다. 정확도는 원본과 CLAHE이 96%로 가장 높은 정확도를 얻었으며, 손실률에서는 IA가 9%로 가장 낮은 손실률을 보여주었다.

본 논문의 구성은 다음과 같다. 2장에서 실험 데이터 및 개발 환경에 관하여 소개한 다음, 3장에서 연구에 사용된 알고리듬과 이론에 관하여 설명한다. 또한, 영상에 사용된 대비 향상 함수에 대한 정의와 데이터 학습에 사용된 컨볼루션 신경망 모델 순서로 서술한다. 그리고 4장에서는 제안한 방식의 실험 결과를 서술 및 분석하였다. 마지막으로 5장에서 결론을 맺는다.

2. 실험 데이터 및 개발 환경

2.1 실험 데이터

본 연구에서 사용된 데이터는 세브란스 대학병원 병리학과에서 실제 환자들을 대상으로 전립선조직검사를 실시하여 현미경을 사용하여 촬영된 병리 영상 300장을 제공받아 연구를 진행하였다. 제공받은 원본 영상은 Tiff 형식의 약 3만×7만 화소이다. 이 영상은 컨볼루션 신경망 학습에 사용하기에는 너무 크며, 원본 그대로 학습에 사용하면 영상의 양도 부족하였기 때문에 학습에 사용될 영상을 따로 분할하여 사용하였다.

영상을 분할하기 위해 원본인 Fig. 1(a) 영상을 512 × 512 크기의 격자로 나누고, 그 중 병리학자가 주석처리한 부분이 50%이상인 영상을 분할하여 JPG 형식의 부분 영상으로 저장하였다. Fig. 1의 (b∼e) 영상이 분할된 영상의 예시이며, Fig. 1(b)가 양성 부분의 영상이며, Fig. 1(c∼e)가 악성 부분의 영상이다. Grade 1의 경우 종양의 경계가 잘 구분이 되어있으며, Grade 2의 경우 Grade 1의 예후와 크게 다르지 않으며 밀도에 변화가 생기게 된다. 또한 글리슨 패턴 점수에서 2∼4점까지 양성으로 취급하고 있기에 양성의 경우 Grade 1과 Grade 2의 이미지로 구성하였다. Grade 3부터 불규칙적인 핵의 양상이 관측되기 시작하며, Grade 4는 핵들 간의 침습이 관측되며 핵의 크기에도 일정함을 찾을 수 없어진다. Grade 5에서는 핵들간의 패턴이 완전히 사라지고 침습으로 인한 판이 관측된다. 글리슨 패턴 점수에서 역시 5∼10점부터 악성으로 취급하고 있다. 때문에 악성의 영상들은 Grade 3, 4, 5로 구성하였다[17,18].

Fig. 1. Provided original images and actually used prostate cancer pathology images. (a) Original, (b) Grade 1 & 2, (c) Grade 3, (d) Grade 4 (e) Grade 5

Table 1. The hardware and software versions used in the study

이후 부분 영상에서 대비 향상 함수들을 적용시킨 영상들을 따로 생성하여 컨볼루션 신경망에 사용하였다. 또한 컨볼루션 신경망을 사용하여 양성과 악성을 분류하기 위해 각각의 등급에 300장의 영상들을 준비하였으며, 학습과 시험에 사용될 영상들을 각각 8 : 2의 비율로 나누어 연구를 진행하였다.

2.2 개발 및 연구 환경

본 연구를 진행하기 위해 준비한 환경은 아래 표에 명시하였다.

연구를 진행하기 전, 영상의 대비 향상 전처리 과정은 매트랩(Matlab)을 사용하여 결과를 얻어내었으며, 컨볼루션 신경망 모델의 구현 및 영상 데이터의 학습, 시험은 텐서플로우(Tensorflow–GPU)를 기반한 케라스(Keras)에 파이썬(Python)을 사용하여 구현하여 실험을 진행하였다.

3. 제안한 방법

3.1 제안한 알고리듬의 개요

본 논문에서는 사용되는 병리 영상 대비를 높이기 위해 전처리 과정을 제안하고, 전처리 과정을 거친 영상들을 CNN에 사용하는 알고리듬을 제안하였다. Fig. 2에 제안할 알고리듬의 전체적인 흐름도를 나타내었다.

Fig. 2. Flowchart for pre-processing and CNN algorithm.

먼저, 사용된 영상 향상 기법으로는 영상 대비 향상 (IA), 히스토그램 균일화(HE), 그리고 대비 제한 적응 히스토그램 균일화(CLAHE)를 사용하여 각각 변화된 결과 영상을 준비하였다. 영상 향상 기법으로 얻어낸 3가지 데이터 셋과 원본 영상 데이터 셋을 포함한 총 4가지 데이터 셋을 이용하여 준비된 CNN모델에 학습을 하였고 시험 결과를 도출하였다. 이후 도출된 결과를 비교하여 각 알고리듬의 장단점을 분석하고, 분류에 알맞은 전처리 알고리듬을 선택할 수 있도록 하였다.

3.2 영상 향상 기법

3.2.1 영상 대비 향상 (IA)

대비 향상은 영상의 명암도를 높여주는 알고리듬이다. 기본적으로 원본 데이터의 낮고 높은 화소에 데이터의 1%가 포화상태가 되도록 값을 매핑하는 방식이다. 어두운 부분을 더 어둡게, 밝은 부분은 더욱 밝게 픽셀간의 대비를 향상시켜 주는 기능이다.

3.2.2 히스토그램 균일화 (HE)

히스토그램 균일화를 사용하여 화소 강도의 비율을 퍼트리는 알고리듬이다. 기존의 히스토그램에서 기본적으로 균등분포가 균일하도록 변경시켜 대비를 향상시키는 방식이다. 너무 어두운 부분은 밝게, 너무 밝은 부분은 어둡게 만드는 기능이다.

3.2.3 대비 제한 적응 히스토그램 균일화(CLAHE)

대비 제한 적응 히스토그램 균일화는 히스토그램 균일화와는 다르게 전체 영상이 아닌 작은 영역을 분할하여 동작한다. 또한 HE의 단점이었던 잡음 또한 대비 제한 방식을 사용하여 억제하는 방식이다.

3.3 사용된 컨볼루션 신경망 모델

3.3.1 VGGNet 모델

컨볼루션 신경망은 다양한 종류의 학습 모델들이 존재한다. 그 중 VGGNet 모델이 많은 분야에서 응용 및 사용이 되고 있다. 그 이유는 다른 모델과 다른 간단한 구조와 단일 네트워크에서 좋은 성능을 보여주기 때문이다[19]. VGGNet 모델 구조로 인해 다른 모델과 차별되는 부분들이 존재한다. 첫째로 ‘깊이(Depth)’가 어떻게 영향을 주는지 연구한 학습 모델이라는 것이다. 다른 학습 모델에서는 커널 크기를 사용한 중첩 층으로 모델을 만들지만 VGGNet 모델은 사용되는 커널의 크기를 3 × 3 화소로 고정하여 층의 깊이에 중점을 둔 모델이다. 둘째로 분석에 있어 다른 모델보다 비선형적이다. 커널의 크기를 3 × 3 화소로 고정하여 중첩 층을 사용하기 때문에 2중첩은 5 × 5와 동일한 수용영역을, 3중첩은 7 × 7과 동일한 수용영역을 처리하지만 더 비선형적 분류 및 분석이 가능하게 된다[20]. 세 번째로 역전파(Back-Propagation)기능이 좋다. 층의 깊이가 깊어질수록 역전파기능이 깊이를 따라가지 못한다. 하지만 각 층에 사용되는 활성화 함수를 역전파의 기능이 뛰어난 ReLu함수로 사용하기 때문에 문제없이 역전파가 가능하다[21]. 하지만 역전파에도 한계가 있기 때문에 16 층∼19 층 이상 사용하게 되면 오히려 학습 과정에서 오류가 증가하는 모습이 관측된다. 때문에 적절한 층의 사용이 중요한 사항이 된다. 본 연구에서 사용하는 모델은 VGGNet의 이러한 구조를 응용하여 사용하였다.

3.3.2 사용된 컨볼루션 신경망 모델 구조

본 연구에 사용된 컨볼루션 신경망의 모습이다(Fig. 3). 3.3.1에서 언급한 것과 같이 2중첩 층 및 3중첩 층을 사용하여 구조를 이루고 있으며, 각 층에 사용되는 커널의 크기는 동일하게 3 × 3을 사용하고 있다. 또한 활성화 함수 역시 ReLu를 공통으로 사용하고 있는 모습이다. VGGNet의 단점으로 언급한 층의 개수도 제한하여 만들었으며, 과적합(Overfitting)을 예방하기 위해 모델의 마지막에 드롭아웃(Drop Out) 층을 사용하였다[22]. 이전 연구를 바탕으로 3중첩 층을 먼저 사용하여 넓은 영역을 학습하도록 하였으며, 그 뒤에 2중첩 층를 사용하여 세밀한부분을 학습하도록 하였다. 또한 입력 영상의 크기가 512 × 512 화소일 때, 마지막 맥스풀링(Max Pooling)층을 지난 출력 영상의 크기는 11 × 11 화소가 되도록 설정하였다. 아래의 모델을 사용하여 전립선암 병리영상을 학습하여 영상을 양성과 악성으로 분류할 수 있도록 학습하였다.

Fig. 3. CNN model applied for research based on VGGNet model.

4. 실험 결과 및 고찰

4.1 대비 향상 변환 결과

아래 (Fig. 4)에 각 대비 향상된 영상과 각 영상의 히스토그램을 볼 수 있다. 예시 영상으로는 양성 영상과 악성 영상(각각 등급 3, 등급 4, 등급 5)을 변환하였으며, 대비 향상의 예시는 원본, IA, CLAHE, HE 순서로 정렬하였다.

Fig. 4. Observe the original image, after contrast enhancement and the changes in each image. (a) Original and each contrast enhancement result, (b) Each histogram of images, Graph X-axis : Pixel intensity and Y-axis : Pixel counting.

글리슨 패턴의 경우 세포 핵의 양상을 기반으로 등급을 나누며, 점수를 부여하는 방식을 사용하고 있다. 대표적 양상으로는 세포 핵의 크기, 색, 밀도, 침습 등이 있다. 이로보아 세포 핵의 특징을 뚜렷이 나타낼 수 있는 방식을 찾았으며, 세포 핵과 배경과의 대비를 증가 시키는 방식을 선정하였다. 원본의 영상은 전체적으로 밝은 강도의 화소들이 많이 분포하고 있는 모습이며, IA 결과 영상은 원본 영상과 비교했을 때 히스토그램 분포의 양상은 비슷하지만 어둡고 밝은 부분이 증가되어 원본보다 대비가 벌려져 있는 모습이다. CLAHE의 경우 결과 영상으로만 보았을 때 IA 보다 어두운 부분이 증가 되어있는 것이 관찰되며, 히스토그램을 보았을 때 많은 부분이 어두운 명도(Intensity)부분으로 변경되어있는 것을 볼 수 있다. HE의 경우 CLAHE와는 다르게 대비한계(Contrast Limited)가 적용되지 않아 다른 결과들보다 많은 부분이 어두운 강도로 변경된 것을 볼 수 있는데, 히스토그램을 보았을 때도 어두운 부분으로 상당량의 화소들이 변경된 것을 볼 수 있다.

4.2 CNN 학습 결과

아래 Fig. 5는 3.3.2에서 소개한 모델을 사용하여 학습 및 검증한 과정을 기록한 그래프이다. 각 그래프에서 노란 선과 파란 선은 학습 중 손실도과 정확도를 의미하며, 붉은 선과 초록 선은 검증 단계의 손실도와 정확도를 의미한다.

Fig. 5. CNN training and validation steps , Graph X-axis : Epoch, Y-axis : Loss & Accuracy, (a) Original, (b) IA, (c) CLAHE, and (d) HE.​​​​​​​

아래 Table 2는 학습에서 900에서 1000 에포크(epoch) 사이의 손실도와 정확도 범위, 그리고 시험에서의 손실도와 정확도를 표현하고 있다. 

결과 Fig. 5를 보면 전체적으로 학습 손실도와 정확도는 각각 0%과 100%로 수렴해가는 모습이기에 의도한 대로 학습 과정이 진행되고 있다고 판단할 수 있다. 하지만 검증단계에서의 손실도가 많이 변동되는 문제가 발생한 것을 볼 수 있다. 학습에서의 손실도는 CLAHE가 가장 변동이 적으며, 정확도는 원본이 가장 높은 구간까지 올라갔다. 그리고 시험에서의 손실도는 IA가 9.03%로 가장 낮았으며, 정확도는 원본과 CLAHE가 96.67%로 가장 높은 값까지 올라갔다. 이것으로 미루어보아 원본 데이터는 학습 정확도와 시험 정확도가 높으며 IA 데이터는 원만한 학습과 낮은 시험 손실도, CLAHE 데이터는 낮은 학습손실도와 높은 시험 정확도, HE 데이터는 상대적으로 다른 데이터보다 좋지 못한 결과를 얻게 된다는 것을 알 수 있었다.

Table 2. The performance for proposed algorithm and conventional algorithms

(a) Original data set result, (b) IA data set result, (c) CLAHE data set result, and (d) HE data set result.​​​​​​​

아래 Table 3은 다른 연구들과 본 연구에서 제시한 모델의 결과 비교표이다. 표에 소개되는 논문들은 모두 전립선 암과 관련된 논문들이며, 본 연구와 마찬가지로 양성과 악성을 분류하는 논문으로 구성하였다. C. Kim과 S. Bhattacharjee 연구의 경우, 질감특성을 사용하여 SVM 분류를 하여 얻은 결과로 84.1%와 88.7%를 얻었으며, G. Nir의 경우 다양한 종류의 분류기를 사용한 것 중 딥러닝 방식으로 91.9%의 결과를 얻었다. 또한 D. Albashish의 경우 본인들이 개발한 Esemble Machine Learning 모델을 사용하여 분류 정확도가 97.9%인 결과를 얻어내었다. 본 연구에서 제시한 모델을 사용하였을 때 가장 높은 정확도는 96.7%로, D. Albashish의 연구의 정확도에는 약간 못 미치는 결과가 나왔지만 다른 연구의 정확도보다는 확실히 높은 결과를 얻은 것을 볼 수 있다.

Table 3. Literature Review Table​​​​​​​

5. 결론

본 논문에서는 대비 향상된 전립선암 병리영상을 사용하여 컨볼루션 신경망으로 사용된 영상을 양성과 악성으로 분류해보았다. 이전 연구를 기반으로 컨볼루션 신경망 모델을 보안하여 사용하였는데 전보다 향상된 학습 양상을 관측할 수 있었다. 대비도 또한 향상된 데이터 셋의 결과로 각각의 특징을 가지고 있는 것을 알 수 있었다. 하지만 검증 단계에서 손실(Loss)이 갑자기 치솟는 현상이 여전히 문제가 되고있다. 또한 부족한 데이터의 문제 또한 해결되지 못하였다. 이 후 연구에서는 데이터의 다양성을 높이고, ‘Skip-Connection’ 기능을 사용하여 학습 및 검증단계에서 튀는 손실도를 해결할 수 있을 것으로 본다[28,29]. 또한 양성과 악성 분류에서 연구를 그치는 것이 아닌 이번 연구를 기반으로 삼아 악성 단계에서의 분류를 더욱 세분화할 수 있도록 연구를 진행해 볼 것이다.