Detecting Boundary of Erythema Using Deep Learning

딥러닝을 활용한 피부 발적의 경계 판별

Abstract

Skin prick test is widely used in diagnosing allergic sensitization to common inhalant or food allergens, in which positivities are manually determined by calculating the areas or mean diameters of wheals and erythemas provoked by allergens pricked into patients' skin. In this work, we propose a segmentation algorithm over U-Net, one of the FCN models of deep learning, to help us more objectively grasp the erythema boundaries. The performance of the model is analyzed by comparing the results of automatic segmentation of the test data to U-Net with the results of manual segmentation. As a result, the average Dice coefficient value was 94.93%, the average precision and sensitivity value was 95.19% and 95.24% respectively. We find that the proposed algorithm effectively discriminates the skin's erythema boundaries. We expect this algorithm to play an auxiliary role in skin prick test in real clinical trials in the future.

1. 서론

2018 국민 영양통계에 따르면, 최근 10년간 알레르기로 인한 비염, 아토피 등의 만성 질환 비율이 2배 이상 증가하는 추세이다[1]. 알레르기가 심한 경우 혈압 저하와 호흡 곤란이 동반될 수도 있기에, 원인 물질이 무엇인지 알고 피하는 것이 중요하다[2]. 일반적으로 알레르기 검사에는 피부 단자시험(Skin prick test)이 많이 사용되며, 이는 항원 액을 피부에 도포 후 란셋이나 주사바늘로 항원과 피부를 동시에 단자 하여 항원을 표피 밑에 침투시켜, 항원특이 IgE 항체와 반응하는지 확인하는 방법이다. 알레르기 양성 여부는 주로 육안을 통해 붉은 부분인 발적 (Erythema)과 그 안에 부풀어 오른 팽진(Wheal)의면적이나 평균직경을 측정해 판별한다[3,4]. 그러나 이러한 방식은, 발적의 경계 구분의 모호함으로 인해 주관적인 견해가 판별에 영향을 줄 수밖에 없는 단점이 있다. 따라서 시각적으로 경계를 판단하는 기존의 방식보다 객관적인 검사 방법이 연구되었다.

K. Wardell 등은 도플러 효과를 이용해 피부 표면의 혈액 흐름의 변화를 감지하는 것으로 발적을 측정하는 방법을 제안했으나, 하나의 이미지를 저장할 때마다 수 분의 시간이 걸리기 때문에 기존의 검사보다 신속한 결과를 내지 못한다는 단점이 있다[5].

Dennis R. Ownby는 미리 제작한 측정표와 반응 부위를 비교하여 판단하는 방법을 제안했으나, 데이터를 처리할 때 시각적인 주관이 들어갔기에 객관화를 이루었다고 보기에는 어렵다[6]. 이에 피부 단자시험을 시행한 피부를 촬영한 후 컴퓨터의 영상 처리기술을 활용하여 진단 방식을 자동화하고 객관화하는 연구가 시행된 바 있다[7].

Mark Nischik 등은 CIELAB을 통해 발적 부분을 RGB 값으로 나타낸 후, 특정한 알고리즘을 이용 해발 적의 경계를 감지하고 자동화하여 판독 시간을 줄였다. 하지만, 컴퓨터에 넣을 데이터를 만드는 과정에서 정확한 픽셀 값을 얻기 위해 투명한 판을 피부 위에 올린 후 직접 경계를 그리는 방법은 연구자의 시각적 주관이 들어갈 수 있기 때문에 완전한 객관화를 이루었다고 보기에는 어렵다[8].

이명구 등은 히스토그램 균일화(Histogram Equal- ization)를 통해 데이터를 전처리하고 픽셀값을 특정 알고리즘으로 계산하여 반응 부위의 경계를 판별하는 방법을 제안했다[9]. 고전적 방법인 영상처리 기술뿐만 아니라, 인공지능 기법 중 기계 학습을 활용한 영상 진단 연구 또한 진행되었는데[10], 채영문 등은 퍼지 이론(Fuzzy Logic)을 도입해 경계의 모호한 픽셀값을 처리했으며, 처리된 값을 컴퓨터의 인공신경망(Artificial Neural Network, ANN)을 통해 학습 시켜 검사의 자동화가 이뤄지는 방법을 제안하여 앞선 연구보다 시간을 단축하도록 했다[11]. 앞서 언급된 두 연구 모두 경계 판별을 하기 위해 윤곽 주변의 픽셀값을 알고리즘을 통해 전처리하였다. 데이터를 전처리하는 경우, 학습 데이터의 일정 잡음을 무시하여 경계 판별의 정확성(accuracy)이 떨어지는 단점이 있으며, 기존의 전통적인 영상처리 방법 및 패턴 인식 기반의 기계학습 방법은 특징 추출의 모든 과정에서 연구자가 직접 개입하여 조정해야 하므로, 모든 경우의 영상을 정확하게 나누는 것에 한계가 있다. 또한, 의료 데이터의 특성상 적은 양의 사진을 가지고 학습했기에 과적합(overfitting)의 가능성이 커진다[12], 고전적인 영상처리 방식과 기계 학습의 알고리즘은 개발자의 경험과 직관에 크게 의존하기에, 더 다양한 상황과 데이터의 변형 등을 전부 고려하기 힘들다. 이는 기계학습의 한계로 여겨지며, 실제 임상에 적용되지 못했다[13]. 딥러닝 기술의 등장은 이러한 상황에 변화를 이끌었다.

딥러닝은 ANN을 토대로 설계되었으며, 드랍아웃 (Dropout)과 사전학습(Pretraining) 기법을 통해 기존의 과적합 문제를 극복하였다[14,15]. 다양한 딥러닝 분야에서, 최근에는 이미지에서 특징을 추출하고, 그 패턴을 파악하는데 특화된 인공지능 알고리즘인 합성 곱 신경망(Convolutional Neural Network, CNN) 이 이미지 인식에서 높은 성능을 보인다[16,17]. 또한, CNN에 추가로 위치 정보를 파악하도록 개선한 모델인 FCN(Fully Convolutional Networks)이 여러 분야에서 활용되고 있다[18].

이에 본 연구에서는 소형 그래픽 처리 장치(Gra- phics Processing Unit, GPU)장치가 내장된 Jetson Nano (NVIDIA, Santa Clara, CA, USA) 하드웨어를 기반으로 하여, FCN의 일종인 U-Net으로 영상의 분할에 의한 영역의 크기를 자동으로 판별하게 하여 알레르기 발적의 경계를 도출하였다. 이를 통해, 기존의 방법보다 신속하고 객관적인 방법으로 임상에 유용하게 사용될 수 있는지를 논의하고자 하였다.

2. 연구방법

2.1 데이터와 학습환경

본 연구에서는 소형 컴퓨터 기기에 발적의 경계를 판별하는 딥러닝 모델을 구현하기 위해 NVIDIA Jetson Nano를 사용했으며, 이는 128-core Maxwell 그래픽 처리 장치와 4GB의 메모리로 구성되었다. U- Net 모델은 Ubuntu 18.0.4 운영체제에서 Python 3.6.9와 Keras 2.4.3을 통해 구현되었다. 영상 이미지와 발적의 경계를 판별한 결과값은 LED(Light- emitting Diode) 모니터를 통해 송출된다.

Fig. 1은 본 연구의 전체적인 흐름도이다. 발적이 일어난 피부 사진을 마련한 뒤, 일정 크기로 변환하여 data로 만들었고, Jetson Nano에서 U-Net을 사용해 학습하였다. 그 후, 학습을 마친 딥러닝 모델에 훈련 데이터(Test data)을 이용해 발적의 경계를 판별하도록 하였다.

Fig. 1. The entire process of determining the boundary of erythema using U-Net.

본 연구에서는 실험 데이터로 가천대길병원에서 피부 단자시험을 진행한 서로 다른 환자들의 피부 부위를 촬영한 사진 20장을 수집하였다. 제공받은 데이터를 512×512 크기로 변환하였다.

그 후, 이 데이터를 전문가가 Fig. 2와 같이 ImageJ (version 1.53e, National Institutes of Health, Be- thesda, MD, USA) 프로그램을 통해 발적의 외곽 경계를 판별하여 그린 ROI(Region of Interest) 파일로 만들어 딥러닝 모델에 적용할 데이터를 구성하였다.

Fig. 2. Comparison of external boundaries of erythema. (a) Original Training Image and (b) ROI image.

2.2 하드웨어

본 연구에서 수행한 모든 과제는 Jetson Nano에서 Jupyter Notebook을 이용하여 진행하였다. Fig. 3은 Jetson Nano와 연구 흐름의 상관관계를 나타내는 그림이다. 512×512 크기로 변환한 학습 데이터를 U- Net 모델로 학습하였고, 그 중 가장 성능이 뛰어난 모델을 내장하였다. 그 후, 시험 이미지 셋(Test Image Set)에 딥러닝 모델이 예측한 발적의 경계를 표시하도록 하였고, 그 결과를 Jetson Nano에 256 ×256 크기의 jpg 파일로 저장하도록 하였다. 모든 진행 상황은 LED 모니터로 표현하였다.

Fig. 3. Correlation between Jetson Nano and research flow.

2.3 Deep Learning Model Architecture

본 연구에서 사용한 U-Net은 FCN (Fully-Con- volutional Network)을 기반으로 하였다. CNN은 Fully connected layer로 인해 1차원적인 정보만 도출할 수 있었던 반면, FCN은 Fully-convolutional layer를 활용하여 2차원의 위치 정보를 보존함으로써 영상 분할(Image Segmentation)에서 강점을 보인다[19]. 또한, FCN에 확장된 개념인 Up-sampling 과 Skip Architecture을 적용한 모델로, 의료 이미지의 특성상 data가 얼마 없다는 단점을 보완하기에 효과적이다.

Fig. 4는 본 연구에서 사용한 U-Net 모델로, U자 대칭 형태로 수축 단계(Contracting Path)와 팽창 단계(Expanding Path)가 설계되어 있다. 각 수축 단계

Fig. 4. The architecture of U-Net.

(Contracting Step)마다 2×2 Max-pooling 연산을 수행하였다. 그리고 각 확장 단계(Expanding Step)마다 2×2 Up-convolution을 수행하였고, 수축 단계에서 Convolution 연산으로 줄어든 크기만큼 크롭 (Crop)하여 Concatenation을 진행하였다. 또한, 모든 단계에서 ReLU 연산이 포함된 3×3 Convolution을 두 차례씩 수행하였다.

본 연구에서는 부족한 영상의 수를 보충하기 위해, 데이터 증식(Data Augmentation) 기법을 사용하였다. 하나의 훈련 영상 당 최대 30°의 각도 변형과 상하/좌우 반전, 30%의 이동(Shift) 및 줌(Zoom) 기능을 주었다. 훈련 영상(Training Data)와 검증 영상 (Validation Data),

테스트 영상(Test Data)의 비는 7:1:2로 설정했다. 학습은 배치 사이즈(batch size)를 32로, 초기 학습률 (Learning Rate)을 0.001로, 반복횟수(epochs) 100으로 설계하여 U-Net 모델에 적용하였으며, 15번의 반복 횟수 동안 학습의 진전이 없을 시 학습을 중단하는 early stopping 기법을 적용하였다. 이 모델의 손실함수(loss function)는 dice coefficient loss func- tion을 사용하였으며, 최적화 기법으로는 Adam op- timizer를 사용하였다[20].

2.4 Evaluation Metrics

본 연구에서는 U-net의 발적 경계 판별 성능을 평가하기 위해 Dice Similarity coefficient(DSC), precision, recall을 사용하여 의료진의 판별 영역과 딥러닝의 예측 영역의 넓이를 비교 분석하였다.

\(D_{S C}=\frac{2 T P}{(T P+F P)+(T P+F N)}\)       (1)

\(\text { Precision }=\frac{T P}{T F+F P}\)       (2)

\(\text { Recall }=\frac{T P}{T F+F N}\)       (3)

Dice Similarity Coefficient는 이미지 등에서 정답 이미지와 예측 이미지 간의 일치 정도를 정량적으로 산출하기 위해서 사용하는 지표이며, 수식에서 TP 는 진양성(True Positive), FP는 위양성(False Posi- tive), TN은 위양성(True Negative), FN은 위음성 (False Negative)을 의미한다. 이때 정답으로 설정한 영역과 딥러닝 모델이 예측한 영역의 넓이가 완전히 같다면 1, 완전히 다르면 0의 값이 도출된다[21]. Precision은 정밀도로 불리며, 딥러닝 모델이 예측한 영역 중에 실제 정답 영역과 일치했는지 판단하는 척도이다. Recall은 민감도라고 불리며, 실제 정답 영역 중 딥러닝 모델이 정답 영역이라고 예측한 비율을 나타내는 통계 방법이다[22].

3. 결과

본 연구에서는 Jetson Nano에 U-Net 딥러닝 모델을 내장하고, 피부의 발적 경계를 자동으로 판별하여 피부 단자 시험에 보조적으로 사용될 수 있도록 고안하였다. 20장이라는 한정된 데이터 양에서 인공지능 모델의 성능을 측정하고, 과적합을 막기 위해서 데이터를 5분할하여 5겹 교차 검증(5-fold Cross Valida- tion)을 진행하였다. 또한, 각 모델의 성능 평가를 위해 Dice coefficient와 정밀도, 민감도를 계산하여 Table 1에 도시하였다.

Table 1. Result of 5-fold Cross Validation.

교차 검증하여 확률을 계산했을 때, 평균 Dice coefficient 값은 94.93%, 평균 정밀도와 민감도 값은 각각 95.19%, 95.24%라는 결과를 보였다. 또한 전문가가 측정한 발적의 경계와 딥러닝 모델이 예측한발적의 경계가 어느 정도의 차이가 있을지 판단하는 척도로 블랜드-앨트먼 차트(Bland-Altman Plot)을적용하여 면적을 측정하였다. 모든 테스트 데이터셋 (Test data set)을 그래프로 도시한 결과는 Fig. 5와 같이 나타났다. x축은 딥러닝의 예측 면적과 정답 면적의 평균이며, y축은 두 면적의 차이를 말한다. 딥러닝의 예측 영역 대부분이 각 면적 차이의 평균에서 1.96의 표준편차 안에 위치하여 좋은 동등성(com- parability)을 보이지만, 예측해야 하는 발적의 면적이 컸을 때, 표준편차를 넘어서는 경우가 있기에, 본 모델은 판별해야 하는 발적의 면적이 작을수록 더 정확하게 예측하는 것을 알 수 있다. 본 연구에서는 테스트 데이터(test data)에 발적의 경계를 판별한 결과를 전문가의 판별 결과와 비교하여 Fig. 6에 나타내었다.

Fig. 5. Comparison of measurement area of deep learning prediction area using Bland-Altman Plot.

Fig. 6. Result image measured by U-Net model. (a) Original Image, (b) Original Mask, and (c) Predicted Mask from U-Net.

4. 결론 및 토의

본 연구에서는, 알레르겐 감작 여부 진단에 사용되는 피부 단자시험의 결과값을 확인하는 데 그 정확성을 높이고 비전문가도 쉽게 판별할 수 있도록 인공지능 모델을 활용한 경계 판별 방법을 제안하였다. 적은 의료 데이터와 Medical segmentation에 맞춰 U-Net 모델을 사용하였고. 알레르기 판별을 위해 발적의 경계를 예측하도록 U-Net을 사용하는 딥러닝 모델을 학습하였다. 그리고 경계를 판단하려는 부위를 카메라로 촬영했을 때, 실시간으로 그 결과가 모니터에 도출되도록 Jetson Nano에 프로그래밍하였다. 학습 결과, 평균 Dice coefficient 값은 94.93%, 평균 정밀도와 민감도 값은 각각 95.19%, 95.24%라는 결과를 보였다. 딥러닝의 성능은 다음과 같은 사항을 해결한다면 더욱 개선될 것으로 보인다. 우선, 제공된 20개의 데이터보다 더 많은 수의 데이터와 사례가 필요하다. 또한, 기존 U-Net에서 향상된 모델로 RMDRC U-Net(Residual Multi-Dilated Recurrent Convolutional U-Net)이 제안되었는데, 이는 Residual Recurrent Convolutional Block과 Residual Multi-Dilated Convolutional Block을 삽입하여 성능을 개선한 모델이다[23,24]. 이는 기존 모델과 비교하면 정확도는 높지만, 연산량이 많다는 단점이 있어 Jetson Nano에 적용하지 않았다. 만약 Jetson Nano 에 추가적인 메모리를 장착하여 개선된 모델로 학습한다면 정확도가 더 높아질 것이다.

결론적으로, 본 연구에서 제안한 인공지능을 이용해 알레르기로 인한 피부 발적의 경계 판별의 방법은, 그 정확성과 신속함을 고려했을 때, 임상적으로 피부 단자검사를 보조할 유용한 수단으로 사용될 가능성을 보였다고 판단하였다. 향후 원근 변환(Linear scaling) 등의 기술을 도입하여, 팽진의 경계, 팽 진과 발적의 면적의 비율을 인공지능을 통해 바로 계산하여 알레르기 항원을 가졌는지 아닌지를 비전문가도 판독하는 방법을 연구하고자 한다. 또한, Jetson nano와 같이 소형기기뿐만 아니라 스마트폰과 연동할 수 있는 기술을 활용해, 시간과 장소에 구애받지 않고 피부 병변을 촬영하여 알레르기 판별 여부를 신속하게 알 수 있는 방법을 연구하고자 한다.