Using 3D Deep Convolutional Neural Network with MRI Biomarker patch Images for Alzheimer's Disease Diagnosis

치매 진단을 위한 MRI 바이오마커 패치 영상 기반 3차원 심층합성곱신경망 분류 기술

Abstract

The Alzheimer's disease (AD) is a neurodegenerative disease commonly found in the elderly individuals. It is one of the most common forms of dementia; patients with AD suffer from a degradation of cognitive abilities over time. To correctly diagnose AD, compuated-aided system equipped with automatic classification algorithm is of great importance. In this paper, we propose a novel deep learning based classification algorithm that takes advantage of MRI biomarker images including brain areas of hippocampus and cerebrospinal fluid for the purpose of improving the AD classification performance. In particular, we develop a new approach that effectively applies MRI biomarker patch images as input to 3D Deep Convolution Neural Network. To integrate multiple classification results from multiple biomarker patch images, we proposed the effective confidence score fusion that combine classification scores generated from soft-max layer. Experimental results show that AD classification performance can be considerably enhanced by using our proposed approach. Compared to the conventional AD classification approach relying on entire MRI input, our proposed method can improve AD classification performance of up to 10.57% thanks to using biomarker patch images. Moreover, the proposed method can attain better or comparable AD classification performances, compared to state-of-the-art methods.

1. 서론

치매 질환은(Alzheimer’s Disease)은 65세 이상의 노인들에게 발생하는 가장 흔한 신경퇴행성 질환으로[1], 신경세포가 줄어들어 인지 기능에 저하가 오는 신경퇴행성 질환이다. 치매는 인지 기능의 저하를 야기하여 개인의 사회생활 및 독립적인 생활을 어렵게 한다. 치매는 다양한 질환으로 발생하는데 알츠하이머와 같은 혈관성 치매가 큰 비중을 차지한다. 우리나라의 65세 이상 노인 중 치매 환자는 약 8.2%(약 42만명 추정)으로 20년마다 치매 환자 수가 2배씩 증가하고 있다. 2027년에는 치매 노인이 100만명을 넘을 것으로 예상된다[2]. 치매 질환을 예방하기 위해서는 치매를 조기에 진단하여 신경 퇴행을 막는 것이 중요하다.

치매 질환 단계는 정상상태(Normal Control, NC), 경도인지장애(Mild Cognitive Impairment, MCI), 치매(Alzheimer’s Disease, AD) 3가지 단계로 분류된다. 치매 진단에서 중요한 부분은 경도인지장애 단계를 빠르게 파악하는 것이 중요하다. 치매 진단에는 다양한 영상 기술을 사용하는데 자기공명영상(MRI) 과 양전자배출단층촬영(PET) 기법이 주로 쓰인다[3]. 정상상태와 치매는 MRI 뇌 영상에서 뇌 피질의 수축 및 뇌심실의 확장의 차이가 뚜렷하게 나타나 전체적인 뇌 영상을 보고 진단을 내리기에 수월하나, 경도인지장애 상태의 경우 정상 뇌와 치매 상태의 뇌의 경계에 있어 뇌 영상 전체를 주목하여 진단하긴 보다 치매 진단의 바이오마커(biomarker)에 주목하여 조기에 진단해야 한다[4]. 치매의 초기 단계인 경도인지장애 환자와 치매 환자에게서 일반적으로 뇌 손실이 일어나며 특히 해마 손실이 가속된다. 뇌척수액은 뇌 단백질 공급원으로, 치매 질병 진행과 함께 단백질 공급의 변화가 관찰되어 뇌척수액은 치매 초기 단계에 매우 민감한 영향을 미친다. 따라서 뇌척수액과 해마는 치매 진단의 중요한 바이오마커로 사용된다[5,6]. [7]은 해마와 뇌척수액을 바이오마커로 사용한 연구로 Faster R-CNN을 이용하여 MRI 영상에서 해마와 뇌척수액을 검출하고 검출된 해마와 뇌척수액을 치매 단계 2진 분류에 사용하였다. 따라서 본 연구에서도 MRI 영상의 해마와 뇌척수액을 치매 진단의 바이오마커로 하여 딥러닝 네트워크에 입력 정보로 활용한다. 본 논문에서 활용한 바이오마커 패치의 예제를 Fig. 1에서 볼 수 있다.

Fig. 1. Example of Hippocampus and CSF as bio-markers in original MRI images.

최근 딥러닝 기술 중 하나인 심층합성곱신경망 (Deep Convolutional Neural Network, DCNN)은 영상 분류 및 인식에 활용되어 획기적인 성능을 보이고 있다. 의료영상처리 분야에서도 심층합성곱신경망 기술이 병변 검사를 위한 검출, 분류, 인식에 활발하게 적용되고있는 상황이다. 특히 최근 연구에서는 3차원 입력 기반 심층합성곱신경망(3D Deep Convolutional Neural Network, 3D-CNN) 기술이 2차원 입력 기반 심층합성곱신경망(2D Deep Convolutional Neural Network, 2D-CNN) 기술보다 MRI 영상 분류에서 더욱 우수한 성능을 보이고있다. MRI 영상 기반 치매 단계 2진분류, 3진분류를 위한 3차원 심층 합성곱신경망 연구 중 하나인 [8]은 sparse autoemcoder와 합성곱신경망(Convolutional Neural Network, CNN)을 결합한 네트워크를 사용하여 2차원 합성곱신경망 보다 3차원 합성곱신경망에서 더 높은 분류 성능을 보임을 입증하였다(2D-CNN: 85.53%, 3D-CNN: 89.47%).

3차원 심층합성곱신경망을 이용한 또 다른 연구는[4] 모델의 매개변수를 활용한 end-to-end 학습 구조를 제안하였다. 위 논문은 3차원 합성곱신경망의 입력으로 NC와 AD 데이터를 사용해 2진 분류에 가장 적합한 모델을 선택하고 파인튜닝(fine-tuning) 된 모델을 전이(transfer)하여 AD, MCI, NC 클래스에 대한 3진 분류 모델에 사용한다. [4]에 따르면 처음부터 세 개의 클래스를 기준으로 훈련하는 방법과 비교한 결과 파인튜닝 된 모델을 전이한 경우에 분류성능이 더 좋았다. 하지만 위의 제안방법은 3진 분류를 위해 두 번의 학습 과정이 필요하다.

치매 바이오마커는 신경병리학의 근본적인 특징을 검출하고 신경병리학적으로 확인된 사례에서 검증되어야한다. 그리고 치매 검출에 대한 민감도는 80% 이상, 다른 디멘티아(dem entia)를 구별하는 특이성은 80% 이상이어야 한다[9]. [10]은 치매의 바이오마커로써 뇌척수액을 사용하였을 때 95%민감도와 83%의 특이성을 나타냈다. 이는 뇌척수액이 치매로 진행되는 강력하고 독립적인 위험 지표라는 것을 알 수 있다. 위와 같은 연구결과는 조기 치매 상태인 경도인지장애 단계 분류문제에 뇌척수액 바이오마커를 이용하면 경도인지장애 단계의 분류문제의 어려움을 보완할 수 있다.

따라서 본 논문에서는 치매 진단에 중요한 생물학적 지표인 해마와 뇌척수액을 이용해 치매의 단계를 3단계로 분류하여 치매 질환의 조기진단을 돕는 바이오마커 패치 기반 3차원 심층합성곱신경망 분류 기술을 제안한다. 해마와 뇌척수액을 바이오마커로 하여 심층합성곱신경망 입력으로 활용하면 경도인지장애 단계 분류문제의 어려움을 해결할 수 있으며, 치매 단계 3진 분류 성능을 높일 수 있다. 전처리 과정을 거친 MRI 영상에서 해마와 뇌척수액 패치를 잘라내어 3차원 심층합성곱신경망에 입력으로 사용하고, 분류 신뢰도 값 결합(confidence score fusion) 을 통해 분류 성능을 높였다. 제안방법의 유효성을 검증하기 위해 MRI 영상기반 치매 진단 평가에 전 세계적으로 가장 많이 활용되고 있는 데이터 집합인 ADNI(Alzheimer‘s Disease Neuroimaging Initiative, ADNI) 데이터 집합을 활용하였다. 제안하는 바이오마커를 입력으로 활용할 경우 MRI 영상 전체를 심층합성곱신경망에 입력으로 활용하는 기존 방법에 비해 대략 10%에 분류 성능의 향상이 있음을 확인하였다.

2. 제안 방법

제안한 바이오마커 패치 기반 3차원 심층합성곱 신경망 기반 치매 진단 기술은 Fig. 2에서 제시한 것과 같이 크게 두 단계로 구성된다. 첫 번째 단계는 데이터의 전처리(Pre-processing) 과정으로 MRI 데이터를 SPM12[11] S/W를 이용해 정규화한 후, Free Surfer S/W[12]를 이용해 MRI 슬라이스 영상(slice image)내에서 바이오마커에 해당하는 해마와 뇌척수액의 위치 좌표에 대한 정보를 획득한다. 정규화된 영상의 바이오마커 위치 좌표 결과를 기반으로 해마와 뇌척수액에 해당하는 패치 영상들을 추출할 수 있다. 두 번째 단계에서는 MRI 영상에서 추출된 좌, 우 해마와 뇌척수액에 해당하는 패치 영상을 3차원 심층합성곱신경망 입력으로 활용하기 위해 3차원 영상 데이터로 형태로 구성한다. 좌, 우 해마와 뇌척수액에 대응되는 세 개의 3차원 심층합성곱신경망을 구성하고 분류 신뢰도 값 결합을 이용해 입력 바이오 마커 패치의 치매 단계를 최종적으로 분류한다. 이어지는 다음 절들에서 데이터 전처리, 3차원 심층합성 곱신경망 구성, 분류 신뢰도 값 결합을 통한 분류 과정에 대해 상세하게 설명한다.

Fig. 2. Overall framwork of our proposed MRI biomarker patch based 3D Deep Convolution Neural Network for Alzheimer’s disease diagnosis. In MRI data pre-processing stage, MRI images are normalized and reconstructed with bio-marker hippocampus and CSF patches in normalized MRI images. Use biomarker patch as input to 3D Deep Convolution Neural Network. The final classification performance is obtained by combining the scores obtained through each network.

2.1 MRI 데이터 전처리

Fig. 3과 같이 SPM12 S/W를 통해 깊이가 K로 정규화된 MRI 영상을S = [S ⁽¹⁾,S ⁽²⁾, ...S ⁽ⁱ⁾, ... ,S ^(j),... , S ^(K)]라 한다. FreeSurfer S/W를 통해 해마 영역을 확인할 수 있고 해마가 나타나는 프레임의 집합을 S _{LH, RH} = [S ⁽ⁱ⁾, ... , S ^(j)]라 한다. 이때 i는 해마가 처음 포착되는 프레임의 색인(index)이고 j는 해마가 마지막으로 포착되는 프레임의 색인이다. 그리고 뇌척수액 영역도 위와 같은 방법으로 확인하여 뇌척수액이 나타나는 프레임의 집합을 S _CSF = [S ⁽ⁱ⁾, ... , S ^(j)]라하고, 이때 i는 뇌척수액이 처음 포착되는 프레임의 색인이고 j는 뇌척수액이 마지막으로 포착되는 프레임의 색인이다. 샘플링된 프레임 집합을 바이오마커 패치 프레임 으로 재구성하기 위하여 바이오마커의 중심좌표 기준으로 각 바이오마커들이 충분히 포함될 수 있도록 패치를 구성하였다. 위와 같이 구성된 바이오마커 패치 프레임 집합을 NS _CSF , NS _LH , NS _RH라 한다.

Fig. 3. Visualized example of creating patch image sequences from MRI image sequence; there are three types of patch image sequences named left hippocampus, CSF, right hippocampus.

2.2 3차원 심층합성곱신경망의 구조

2차원 심층합성곱신경망은 다층 인공신경망으로 영상과 같이 각 데이터 차원 간 기하학적 연관성을 가지는 데이터를 효과적으로 인식하기 위해 제안되었다[13]. 2차원 심층합성곱신경망의 연산은 2차원 합성곱(2D convolution)연산과 2차원 통합(2D pooling)연산으로, 2차원 공간에서 수행된다. 3차원 심층 합성곱신경망은 시공간적 정보를 모델링하여 3차원 합성곱(3D convolution)연산과 3차원 통합(3D pooling)연산으로 3차원 공간에서 연산을 수행한다. Fig. 4의 (a)에서 보인 것 같이 2D 합성곱은 입력으로 다중개의 영상이 들어가도 채널 정보로 인식해 하나의 영상만을 생성해내지만, Fig. 4의 (b)에서 보인 것 같이 3D 합성곱은 시공간적 정보를 보존하여 볼륨 형태의 결과를 생성해낸다. 3차원 심층합성곱신경망은 3차원 합성곱 계층(3D convolution layer)과 3차원 통합 계층(3D pooling layer), 이를 완전 연결하는 완전 연결 계층(fully-connected layer)을 쌓아 신경망을 구성한다.

Fig. 4. (a) 2D convolution operations on multiple frames, (b) 3D convolution operations on video. 2D conversion produces only one image because it is recognized as channel information even if several images are applied, but 3D conversion produces a volume form.

3차원 합성곱 계층에서 입력으로 전체 영상이 들어오면 합성곱(convolution) 연산을 통해 특징 맵 (feature map)을 얻는다. 3차원 통합 계층은 3차원 합성곱 계층에서 얻어낸 특징 맵을 바탕으로 차원에 대해 다운샘플링(downsampling)을 수행해 차원 축소와 입력 공간의 추상화를 통해 약한 특징은 무시하고 강한 특징을 추출해낸다. 완전 연결 계층은 앞서 설명한 두 가지 계층의 반복을 통해 얻은 특징을 이용하여 분류문제에서 클래스 점수를 나타낸다. 마지막으로 분류 결과를 얻기 위해 softmax-loss 계층[14]을 사용한다. 합성곱 계층과 완전 연결 계층의 모수(parameter)들은 각 영상에 대한 클래스 점수가 해당 영상의 레이블과 같아지도록 역전파(backpropagation) 알고리즘을 사용하여 경사하강법 (gradient descent)으로 가중치를 찾도록 학습된다. 이러한 반복 학습을 통해 분류 정확도를 높이는 특징 맵을 도출한다.

2.3 3차원 심층합성곱신경망 파인튜닝(Fine-tuning)

가중치의 업데이트는 무작위로 초기화된 값으로 시작한다[13]. 그러나 무작위로 가중치를 초기화하 는 경우 local minimum에 빠지게 될 가능성이 있다. 따라서 동일한 아키텍처를 가진 사전 훈련된 심층합 성곱신경망의 가중치로 합성곱 계층의 가중치를 초 기화하여 합성곱신경망을 훈련 시키는 것을 사전 학 습이라 한다[15]. 제안한 3차원 심층합성곱신경망은 사전 학습된(pre-trained) 신경망인 C3D 신경망[16] 을 사용하여 파인튜닝을 수행한다. C3D 신경망은 8 개의 합성곱 계층과 5개의 통합계층, 2개의 완전 연 결 계층으로 구성되어있으며, 1.1백만 개의 비디오, 487개의 부류로 구성된 Sport-1M 데이터베이스[17] 를 이용해 사전 학습된 신경망 모델이다[16]. 완전 연결 계층의 가중치가 초기화 되면 네트워크는 마지 막 계층만 튜닝하여 심층합성곱신경망의 모든 계층 이 역전파알고리즘을 통해 모든 계층별로 미세 조정 될 수 있다[18].

따라서 C3D 네트워크의 파인튜닝을 위해 마지막 완전 연결 계층을 3개의 부류(AD, MCI, NC)의 완전 연결 계층으로 재구성하였다. [17]로부터 생성된 심층합성곱신경망의 필터 가중치는 MRI 데이터베이 스로 재학습을 통해 파인 튜닝되어 치매 진단을 위한 특징들을 보다 잘 반영할 수 있게 된다.

2.4 패치 입력 3D-CNN 학습 및 분류신뢰도 결합 기반 분류

정규화된 패치 비디오 시퀀스는 C3D신경망 학습 의 입력으로 사용되며, 3차원 심층합성곱신경망은 치매 단계의 수만큼 분류 신뢰도를 출력한다. 분류 신뢰도를 얻기 위해 3차원 심층합성곱신 경망의 마 지막 완전연결계층은 소프트맥스 계층(softmax layer)에 연결된다. 연결된 소프트맥스 계층은 이전 계층인 완전연결 계층 노드의 특징 맵 \(\boldsymbol{h}_{m}=\left\{h_{m}^{(1)}, h_{m}^{(2)}, \ldots, h_{m}^{(H)}\right\}\)와 해당 가중치

\(W_{m}=\left[\begin{array}{cccc} W_{m}^{(1,1)} & \cdots & W_{m}^{(1, Z)} \\ & \ddots & & \\ \vdots & W_{m}^{(i, z)} & \vdots \\ & & \ddots & \\ W_{m}^{(H, 1)} & \cdots & W_{m}^{(H, Z)} \end{array}\right]\)를 활용한다.

m= LH, CSF, RH(LH: Left Hippocampus, CSF: Cerebrospinal fluid, RH: Right Hippocampus)패치 시퀀스에 대해 z(0:AD, 1:MCI, 2:NC)로 분류되는 MRI 패치 영상의 특징맵(feature map)  \(\mathrm{f}_{m}^{z}\)은 다음과 같이 표현된다.

\(\mathrm{f}_{m}^{z}=\sum_{i=1}^{H} h_{m}^{(i)} W_{m}^{(i, z)} \text { for } z \in\{1,2, \ldots, Z\}\)       (1)

여기서 H는 완전 연결 계층 노드의 개수이다. 수식 (1)에  \(\mathrm{f}_{m}^{z}\)를 이용하여 소프트맥스 계층에 의한 확률 P(c_z |NS_m )를 얻을 수 있고 수식은 다음과 같다.

\(\mathrm{P}\left(c_{z} \mid N S_{m}\right)=\frac{\exp \left(\mathrm{f}_{m}^{z}\right)}{\sum_{z=1}^{Z} \exp \left(\mathrm{f}_{m}^{z}\right)}\)       (2)

여기서 Z는 분류 클래스 라벨 개수이고, P(c_z |NS_m )는 m = LH, CSF, RH일 때 패치 시퀀스가 z(z=0: AD, z=1:MCI, z=2:NC)로 식별될 확률을 나타낸다. 결과적으로 각 패치의 분류 신뢰도 값 f_m = [P(c₁|NS_m ),P(c₂|NS_m ), ... , P(c_Z |NS_m )]^T이 출력된다.

가중치 w가 주어질 때 패치 시퀀스 NS_m 에 대한 부류를 예측하는 3차원 심층합성곱신경망의 결과인 f_m = {\(\mathrm{f}_{m}^{1}, \mathrm{f}_{m}^{2}, \ldots, \mathrm{f}_{m}^{Z}\)}, fm∈ℝ^Z을 도출하는 함수를 f(NS_m ,w)으로 정의한다. 시퀀스 NS_m 에 대한 심층합성곱신경망의 손실함수 L은 수식 (3)으로 정의된다.

\(L\left(N S_{m}, \mathbf{w}\right)=\frac{1}{Z} \sum_{i=1}^{Z} l\left(f\left(N S_{m}, \mathbf{w}\right), \hat{c}_{i}\right)\)       (3)

여기서 f(NS_m ,w)는 가중치 w가 주어질 때 분류 신뢰도를 예측하는 함수의 결과로, z(z=0: AD, z=1:MCI, z=2:NC)에 따라 3가지의 분류 신뢰도를 구할 수 있다. \(\hat{c}_{i}\) 은 i 번째 패치의 실제 라벨(Ground-truth)이며, l(\(\hat{c}_{}\),\(\hat{c}_{i}\))은 예측한 라벨과 실제 라벨 \(\hat{c}_{i}\)의 차이를 계산하는 손실함수로, 소프트맥스 손실 함수 l로 정의한다[19]. 수식 (1)과 (2)를 이용해 얻은 분류 신뢰도는 수식 (4)를 이용해 바이오마커들의 평균 분류 신뢰도를 얻을 수 있고, 수식 (5)에 따라 최종 분류되는 라벨 \(\hat{T}_{}\)을 결정한다.

\(T=\frac{1}{M} \sum_{m=1}^{M} f_{m}\)       (4)

\(\hat{T}_{}\)=argmax(T)       (5)

본 논문에서 제안하는 3차원 합성 신경망의 네트워크 구조는 Table 1과 같이 8개의 합성곱계층과 5개의 통합 계층 그리고 3개의 완전연결계층으로 설계되었다.

Table 1. Structure of 3D deep convolutional neural network for fine-tuning

It consists of eight 3D convolution layers, five Pooling layers and three Fully connected layers

3. 실험 및 분석

3.1 실험환경

본 논문에서는 뇌 MRI 공공데이터인 Alzheimer‘s Disease Neuroimaging Initiative(ADNI)[12] 데이터베이스를 사용하였다. ADNI 데이터는 치매 관련 연구에 사용되는 데이터베이스로 의사의 치매 진단이 포함된 데이터이다. ADNI 데이터는 18세에서 96세 사이의 6,000명 이상의 피험자로 구성되어 있고, 본 연구에서는 65세에서 96세 사이의 629명의 피실험자로 구성되었다. 실험에 사용된 피실험자의 데이터 구성은 AD, MCI, NC로 이루어져 있으며, 피실험자의 수(Num. of Subject), 나이(Age), 성별(Gender)에 균형 잡힌 데이터로 구성되어있다(Table 2 참고).

Table 2. Summary of Participant demographics as well as mini-mental state examination (MMSE)​​​​​​​

MRI 영상은 사람의 뇌의 크기가 다르고, 찍는 환경이 동일하지 않기 때문에 영상의 정규화가 필요하다. 정규화 과정에는 SPM12 [11] S/W 프로그램을 사용한다. 정규화된 MRI 영상으로부터 해마와 뇌척수액 바이오마커들을 검출하고 추출하기 위해 Free Surfer[12] S/W를 사용한다. Fig. 5의 (a), (b)에서 정규화되기 전과 후의 MRI 영상을 볼 수 있다. 정규화된 MRI 영상에서 해마와 뇌척수액의 위치를 확인하기 위해 FreeSurfer S/W를 이용하고 이를 통해 확인한 해마와 뇌척수액의 위치는 Fig. 5의 (c), (d)에서 시각화하여 보여준다. 정규화된 영상은 깊이가 64이며 40∼49번째 프레임에서 뇌척수액 영역이 나타나는 것을 확인할 수 있고, 26∼35번째 프레임에서 해마 영역이 나타나는 것을 확인할 수 있다. 확인된 위치 정보를 토대로 좌, 우 해마와 뇌척수액에 해당하는 10장의 프레임 시퀀스를 각각 16×16, 32×32의 크기로 패치 시퀀스를 재구성하였다.

Fig. 5. Visualized example for describing pre-processing of MRI Images. (a) MRI image before normalization. (b) Normalized MRI image using SPM12[11]. (c) CSF biomarkers detected using FreeSurfer[12]. (d) Hippocampus biomarkers detected using FreeSurfer.​​​​​​​

학습 파라미터는 학습 속도(learning rate) 0.0001, 가중치 감소(weight decay) 0.0005, 모멘텀(momentum) 0.9, 배치크기(batch size) 16, 에포크(epoch) 1000으로 구성되었다. 실험에 사용된 영상의 일부는 Fig. 3에서 볼 수 있다.

3.2 ADNI 데이터베이스 활용 실험 및 분석

본 연구에서는 제안 방법의 성능 비교를 위하여 ADNI 데이터베이스 기반으로 하는 치매 3진 분류 연구[5, 8, 21-24]들을 참고하였다. ADNI 데이터베이스를 활용하여 실험한 연구들은 MRI 데이터셋의 구성이 서로 다르다. MRI 데이터 선택 기준이 명확하게 정립되어있지 않기 때문이다[20]. 이러한 사실에도 불구하고, 대부분의 치매 진단 연구에 ADNI 데이터베이스에서 MRI 데이터 집합을 실험에 활용한다. 본 연구에서도 ADNI 데이터베이스에서 MRI 데이터셋을 구성하였고, 전체 영상을 입력으로 넣었을 경우와 바이오마커 패치를 입력으로 넣었을 경우를 비교하였으며, 공정한 비교를 위하여 3.1절에서 설명한 것과 같은 동일한 환경을 이용하였다.

실험은 치매 vs 경도인지장애 vs 정상의 경우를 분류하는 3진 분류로 바이오마커 패치를 이용하지 않고 MRI 전체 영상을 이용한 경우와 해마, 뇌척수액 바이오마커 패치를 이용하여 분류하였을 경우의 실험 결과를 Table 3에 제시하였다. 바이오마커 패치 를 이용한 경우 MRI 전체 영상을 이용한 결과에 비해 최소 3.25%, 최대 9.75% 높은 분류 성능을 보였다.분류 성능을 높이기 위하여 네트워크의 소프트맥스 계층을 통해 추출한 세 가지 바이오마커의 분류 신뢰도 값을 결합하는 방식을 제안하였고, 이는 바이오마커 패치의 분류 신뢰도를 Majority voting한 경우에 비해 0.81% 증가 되었음을 Table 4에 제시하였다.

Table 3. Comparison of classification performance between the case of using patch images and whole images​​​​​​​

Table 4. Effectiveness of improving classification performance when using our proposed confidence score fusion​​​​​​​

Table 5는 세 가지 바이오마커 패치의 클래스 분류 성능으로 뇌척수액이 좌, 우 해마에 비해 정상상태와 경도인지장애 분류에 강인한 것을 볼 수 있었다. 우측 해마의 경우 경도인지장애 분류에 비교적 약한 모습을 볼 수 있었다(MCI:66.66%). 좌측 해마는 치매 분류에 강한 모습을 볼 수 있었고(AD:100%) Table 3의 결과와 유사하게 단일 패치로 성능 비교를 하였을 때 우측해마에 비해 높은 분류 성능을 보였다. 또한 세 가지 바이오마커의 결합 성능의 우수성을 검증하기 위하여 두 가지 바이오마커의 결합을 통한 분류 성능과의 비교실험을 하였다(Table 6 참고). 우측해마와 뇌척수액을 결합한 경우 86.8%, 좌측해마와 뇌척수액을 결합한 경우 84.55% 그리고 우측해마와 좌측해마를 결합한 경우 82.92%의 분류 성능을 보였다. 좌측 해마는 우측 해마에 비해 안정적인 분류 성능을 보이지만 오분류(mis-classification) MRI 데이터의 경우가 뇌척수액과 유사한 경향이 있어 뇌척수액과 좌측해마를 결합하는 경우는 큰 개선이 일어나지 않았다. 반면 우측해마가 경도인지장애 분류문제에서 약한 부분을 뇌척수액이 보강해주는 효과(complementary effect)를 통해 우측해마와 뇌척수액을 결합할 때 가장 높은 분류 성능을 보였다(86.8%). 위와 같은 실험을 통해 뇌척수액이 정상상태와 경도인지장애에 강인하다는 장점과 해마가 치매에 강인하다는 장점을 알 수 있었다. 또한 Table 5와 6에서 제시한 실험 결과는 참고문헌[26]에서 뇌척수액이 경도인지장애의 바이오마커로써 사용 가능하다는 논증과 일치한다. 따라서 위와 같은 바이오 마커 패치의 장점을 활용하여 세 가지 바이오마커를 모두 결합한 경우 두 가지 패치를 결합한 경우보다 최소 1% 최대 4.88% 높은 분류 성능을 보였다.

Table 5. Comparison of AD classification performances with respect to different biomarker patch images.​​​​​​​

Table 6. Demonstrating our proposed approach of combining three different kinds of biomarker patch images​​​​​​​

본 연구에서는 제안한 방법의 우수성을 검증하기 위해 ADNI 데이터베이스를 활용한 치매, 경도인지장애, 정상 상태에 대한 3진 분류 결과들을 보고한 기존 방법들과 비교하였다. Table 7에 보인 바와 같이 제안한 방법의 3진 분류성능은 87.8%을 달성하였다. 참고문헌 [5,22-24,27-29]에서 제시한 3진 분류 성능에 비해 각각 0.65%, 27.6%, 34%, 9.6%, 18.9%, 31.7%, 0.1%, 4.6% 향상되어 최소 0.1%, 최대 34% 향상되었음을 알 수 있었으며 참고문헌 [8,21]에서 제시한 3진 분류 성능과 비교하였을 때 최대 1.67% 차이로 근소한 차이를 보였다. 또한 본 연구에서 제안한 방법은 이미지 분류 문제에 강인한 기존 인공신경망인 AlexNet, ResNet, CafeNet, GoogleNet을 기반으로 치매 분류에 사용한 연구[27-29]와 비교하여 더 높은 분류 성능을 보임을 입증하였다.

Table 7. Comparison of other state-of-the-art Alzheimer’s disease classification methods using MRI data​​​​​​​

The ‘-’ mark of a network architecture is its own network​​​​​​​

실험에 사용한 하드웨어의 구성은 다음과 같다. CPU는 Intel(R) Core(TM) i7-6850K CPU @ 3.60 GHz, RAM은 삼성전자 DDR4 16G PC4-19200 8개, GPU는 NVIDIA 지포스 GTX Titan Xp Galactic Empire D5X 12GB이다. 위와 같은 환경에서 실험하였을 때 제안 방법의 실행시간을 평가 한 결과 평균적으로 하나의 MRI 데이터당 분류 실행시간은 0.0542초이다. 이와 같은 실행시간은 참고문헌[25]의 내용을 고려할 때 제안방법이 치매 진단지원시스템 (Computer Aided System, CAD)의 진단 알고리즘으로 사용되는데 실행시간 측면에서 문제가 없을 것으로 사료된다.

또한 해마와 뇌척수액의 바이오마커로써의 강인함을 검증하기 위하여 해마와 뇌척수액의 중심좌표를 1픽셀 단위로 8픽셀까지 이동시켜 데이터를 재구성하여 실험하였다. Fig. 6에서 1픽셀 단위로 이동시킨 바이오마커패치 예시를 볼 수 있다. Table 8은 이동시킨 픽셀 데이터의 3진 분류 성능으로 바이오마커를 충분히 포함하지 않을 경우 성능이 저하됨을 알 수 있었다. 7픽셀 이상 움직일 경우 성능 감소폭이 커지는 것을 알 수 있었다. 7픽셀 이상 움직인 패치 영상은 해마와 뇌척수액이 충분히 포함되지 않는 것을 Fig. 6에서 확인할 수 있다. 이러한 결과는 해마와 뇌척수액이 뇌 MRI영상의 다른 영역에 비해 치매 질환에 강인하다는 것을 의미한다. 하지만 본 연구에서는 훈련과정에 고정 된 위치의 바이오마커를 사용하였고 바이오마커의 위치가 변화 된 테스트 영상은 성능에 민감한 것을 알 수 있었다. 이를 해결하기 위하여 후속 연구에서는 데이터확장기법(Data Augmentation)중 하나인 Ground Truth의 위치를 변화시킨 바이오마커 패치 영상을 생성하고 이를 훈련에 사용하여 바이오마커의 위치 변화에도 강인한 네트워크를 훈련할 예정이다.

Fig. 6. Image of moving biomarker patches by 1 pixel Each biomarker patch was randomly moved from 1 to 8 pixels.​​​​​​​

Table 8. Accuracy according to pixel shifting unit of biomarker patches​​​​​​​

4. 결론

치매 질환은 조기에 발견하여 치료하는 것이 중요하다. 치매 진단을 위해서는 MRI 영상의 분석이 주가 되며, 특히 치매 초기 상태인 경도인지장애에서는 뇌척수액이 영향을 미치고, 치매 진행에 있어 해마의 수축이 두드러진다. 본 논문에서는 치매 진단에 주요 지표가 되는 해마와 뇌척수액의 패치 영상을 입력으로 하는 3차원 심층합성곱신경망 분류 기술을 제안하여 치매, 경도인지장애, 정상을 분류하는 방법을 제안하였다. 또한 다중개의 바이오마커 패치 영상들로부터 획득한 분류 신뢰도 값 결합을 통해 최종 분류 성능을 향상시켰다. 치매 진단의 주요 지표로 삼은 해마와 뇌척수액 바이오마커 패치를 사용하여 학습하는 경우 기존 분류 방법에 사용되는 MRI 영상 전체를 학습시키는 경우보다 최소3.25%, 최대9.75% 높은 분류 성능을 보였으며, 분류 신뢰도 값 결합을 이용한 최종 분류 성능은 각각의 패치를 이용한 분류 성능에 비해 최소 1.63%, 최대 8.13%가 향상됨을 보였다. 또한 각 바이오마커의 클래스 분류 성능을 비교하여 치매의 바이오마커로 사용한 뇌척수액이 치매의 초기 상태인 경도인지장애의 주요 지표가 되며, 해마가 치매 질환의 전반적인 지표가 됨을 실험을 통해 확인하였다.

현재 제안한 방법은 세 가지 바이오마커인 좌, 우 해마와 뇌척수액의 분류 신뢰도 값을 결합할 때 동일한 가중치를 주었다. 실험을 통해 밝혀진 뇌척수액이 치매 초기 단계인 경도인지장애 분류에 강인하다는 점과 좌측 해마가 치매 분류에 강인하다는 점을 이용하여 분류 신뢰도 값을 결합할 때 클래스 분류 성능에 따라 가중치를 차등하여 분류 성능을 고도화하는 연구를 수행할 것이다. ADNI 데이터베이스는 치매 진단 전문의 검토에 의해 만들어진 데이터베이스이고 치매 진단 분류연구에서 가장 많이 활용되고 있는 신뢰성 높은 MRI 데이터베이스이다. 제안 방법의 검증을 위해, 향후 연구에서는 국내 치매 전문의와의 협력 연구를 통해 제안 방법 및 실험 결과가 치매 진단에 있어 임상학적으로 의사들을 보조할 수 있는지 검증 및 평가를 수행할 계획이다.