Deep Learning-based Pes Planus Classification Model Using Transfer Learning

Abstract

This study proposes a deep learning-based flat foot classification methodology using transfer learning. We used a transfer learning with VGG16 pre-trained model and a data augmentation technique to generate a model with high predictive accuracy from a total of 176 image data consisting of 88 flat feet and 88 normal feet. To evaluate the performance of the proposed model, we performed an experiment comparing the prediction accuracy of the basic CNN-based model and the prediction model derived through the proposed methodology. In the case of the basic CNN model, the training accuracy was 77.27%, the validation accuracy was 61.36%, and the test accuracy was 59.09%. Meanwhile, in the case of our proposed model, the training accuracy was 94.32%, the validation accuracy was 86.36%, and the test accuracy was 84.09%, indicating that the accuracy of our model was significantly higher than that of the basic CNN model.

본 연구는 기존 편평발 측정을 위해 사용되던 다양한 방법의 한계를 보완할 수 있는 새로운 측정 방법으로 전이학습을 적용한 딥러닝 기반 편평발 분류 방법론을 제안한다. 편평발 88장, 정상발 88장으로 이루어진 총 176장의 이미지 데이터를 활용하여, 적은 데이터로도 우수한 예측 모델을 생성할 수 있는 데이터 증폭 기술과 사전학습 모델인 VGG16 구조를 활용하는 전이학습 기술을 적용하여 제안 모델의 학습을 진행하였다. 제안 모델의 우수성을 확인하기 위하여 기본 CNN 기반 모델과 제안 방법론의 예측 정확도를 비교하는 실험을 수행하였다. 기본 CNN 모델의 경우 훈련 정확도는 77.27%, 검증 정확도는 61.36%, 그리고 시험 정확도는 59.09%로 나타났으며, 제안 모델의 경우 훈련 정확도는 94.32%, 검증 정확도는 86.36%, 그리고 시험 정확도는 84.09%로 나타나 기본 CNN 모델에 비해 제안 모델의 정확도가 큰 폭으로 향상된 것을 확인하였다.

I. Introduction

발은 신체가 움직일 때 일어나는 지면과의 충격을 흡수하고 분산시킨다. 이러한 완충 역할을 위해 발바닥의 뼈들은 활같이 휘어진 아치를 형성함으로써, 발과 지면 사이에 공간을 만들어 보행 및 점프 동작 시 체중을 분산 시켜 몸을 보호한다. 그런데 발의 아치가 비정상적으로 낮아지거나 높아지면 충격을 원활하게 분산시키지 못 해발의 피로감이 증가하게 되고, 장시간 걷거나 서는 동작 등을 취할 때 통증을 느껴 일상생활 및 운동 활동에 불편을 끼친다. 일반적으로 정상발의 아치 높이는 2.3cm 정도이며, 정상보다 아치가 낮으면 편평발(편평족, Pes Planus, Flat Foot), 높으면 오목발(요족, Pes Cavus, Claw Foot)로 분류한다[1]. 특히 일반적으로 평발로 알려진 편평발의 경우, 전 세계 인구의 약 5%가 이에 해당하는 것으로 보고될 정도로 일반적인 질환이다[2].

편평발은 발의 안쪽 세로 활(Medial Longitudinal Arch, MLA)이 비정상적으로 편평하게 낮아지거나 사라진 상태를 뜻한다[3]. 아치가 낮아짐으로 인해 체중 부하를 분산시키지 못하는 상태가 지속되면 신경종, 발가락가쪽휨증, 엄지 건막류, 피부각화증, 안쪽 정강이 스트레스 증후군, 비특이적 무릎 통증, 발바닥 근막염, 발 허리통증, 아킬레스건염 등이 발생할 수 있다. 정상발과 편 평발의 차이는 을 통해 확인할 수 있다.

Table 1. Normal Foot and Flat Foot

경미한 편평발은 대부분 통증이나 손상이 없어 인지하지 못하고 방치하는 경우가 많다. 이렇게 편평발을 제대로 관리하지 않은 상태에서 체중 증가 및 노화가 지속되면 발의 아치 유지를 돕던 힘줄과 근육, 그리고 인대가 퇴화하게 된다. 이로 인해 아치가 더욱 내려앉으며 발볼은 넓어지고, 정상발(Normal Foot)에 비해 중족부와 바닥이 접하는 면적이 넓어져서 보행 장애를 일으키게 된다[4].

편평발에서 파생한 불균형과 보행 장애는 정상 자세를 유지하는 것을 방해하여 신체 각 분절을 틀어지게 만든다. 이는 일상 움직임의 불안정성을 높여 갖가지 부상을 초래하는 요인이 된다[5]. 특히 신체를 전문적으로 사용해야 하는 운동선수에게 편평발은 치명적인 부상과 경기력 저하 원인으로 작용할 수 있기 때문에, 편평발의 부작용은 꾸준히 관심을 갖고 관리해야 할 신체 구조적 변형이라고 할 수 있다.

편평발은 선천성으로 발생하는 강직성 편평발(Rigid Flat Foot)과 과체중, 하지 부상 등에 의한 후천성 요인으로 발생하는 유연성 편평발(Flexible Flat Foot)로 구분된다. 편평발이 발생하는 정확한 원인은 파악하기 어렵지만, 편평발의 심각성 및 예방에 관한 논의는 의료, 체육, 의류, 보조기 등 다양한 분야에서 활발하게 이루어지고 있다[6-7].

편평발의 예방과 관리에 있어서 발병 유무를 판단하는 측정의 시기와 정확성의 중요성은 아무리 강조해도 지나치지 않다. 편평발을 측정하여 조기에 발견할 수 있다면, 보행 장애와 신체 불균형에 의한 각 관절의 퇴행 등을 조기에 예방하고 관리할 수 있게 된다. 또한, 대부분 후천적으로 10세 전까지 발의 안쪽 세로활의 높이가 형성되기 때문에, 형성 전에 알맞은 처방을 실시하면 과체중, 균형장애 등을 사전에 예방할 수 있다.

이러한 필요에 기인하여 의료, 체육, 의류, 보조기 등 다양한 분야에서 효과적인 편평발 관리를 위해 편평발을측정하기 위한 다양한 방법들이 고안되어 왔다. 이와 관련된 연구로 노년 여성의 발 유형을 분류하기 위해 풋 스캐너를 활용하여 발의 형태를 측정한 연구[8], 편 평발로 인해 발생하는 피로를 감소시켜주는 전용 인솔 제작을 위해 3D 스캐닝을 실시하여 평발을 측정한 연구[1], 또 한편 평발을 지닌 노인이 계단 하강 보행 시 아치를 지지하는 인솔 종류에 따라 족저압력과 균형성이 어떤 차이가 있는지 평가하기 위해 정적 평형성 측정기(Gaitview AFA-50)를 활용하여 평발 유무를 측정한 연구[9] 등을 대표적인 예로 들 수 있다. 그 외에도 편평발의 영향으로 발생하는 부상이나 생체 역학적 손실을 측정하고, 편 평발로 인한 부작용을 완화시키기 위한 재활 장비를 고안하는 등의 연구에 편평발 측정이 사용되고 있다.

기존 편평발 측정 방법은 크게 2가지로 구분된다. 첫 번째는 전문적인 장비를 통해 발의 형태를 측정한 후 그 상태를 전문가가 판별하는 방법이다. 이 경우 MRI 촬영을 통해 발바닥을 이루는 뼈와 관절의 각도로 편평발을 판별하거나, 3D 풋 스캐너를 활용하여 발의 형태를 측정하는 방법을 사용한다[10]. 고가의 장비를 활용하는 만큼 편평발 여부를 비교적 정확하게 판단할 수 있으며 일관된 기준으로 측정이 가능하다. 그러나 방사선 기계, 풋 스캐너 등의 고가 장비를 환자가 직접 구비하기는 매우 어렵기 때문에, 정기적으로 관리가 필요한 중증 이상의 편평발 환자에겐 주기적 측정을 위해 상당한 비용과 시간이 소요된다.

편평발을 측정하는 두 번째 방법은 발의 형태를 측정하여 편평발 여부를 구분하는 방법으로, 고가의 장비를 사용하지 않더라도 편평발 측정이 가능하다는 장점을 갖는다. 세부적으로는 잉크를 묻힌 발을 도화지 위에 올려놓고 발바닥 지문을 찍어 중족부의 형태를 분석하는 방법, 체중부하 전후에 따라 발의 안쪽 세로활 상단에 위치하는 주상골의 하강 길이를 각각 측정한 후 그 값을 차감한 수치를 기반으로 편평발 정도를 분류하는 주상골 하강검사(Navicular Drop Test) 방법, 또한 안쪽 세로 활이 낮아졌을 때 발꿈치 뼈(Calcaneal)의 각도도 달라진다는 사실에 착안하여 체중부하 전후의 각도를 차감한 수치를 기반으로 편평발 정도를 분류하는 RCSP(Resting Calcaneal Stance Position) 방법[11] 등이 있다. 이러한 방법들은 고가의 측정 장비가 불필요하다는 점에서 장점을 갖지만, 발의 형태를 분별하기 위해 관련 전문 지식 및 경험이 필요하다는 요구사항을 갖는다. 또한 측정 시 측 정자의 경험과 주관이 측정 결과에 영향을 미칠 수 있기 때문에 측정 결과의 일관성이 보장되지 않을 수 있다.

이렇듯 편평발 측정을 위해서는 측정 환경을 구축하거나 전문 지식을 갖춰야 하기 때문에, 일반인들이 기존 방법을 통해 편평발과 정상발을 스스로 분류하기는 매우 어렵다. 따라서 본 연구에서는 일반인도 환경과 측정 지식에 구애받지 않고 손쉽게 편평발과 정상발을 판별할 수 있는 딥러닝 기반 편평발 분류 모델을 제안하고자 한다. 구체적으로 본 연구는 직접 촬영 및 크롤링(Crawling)을 통해 편평발과 정상발 이미지를 수집하고, 수집한 이미지에 대한 CNN(Convolutional Neural Network, 합성곱 신경망) 기반 학습을 통해 편평발 분류 모델을 구축하고자 한다. 또한 분류 모델이 안정적인 성능을 나타내기 위해서는 충분한 수량의 학습 이미지 확보가 필요하므로, 최근 딥러닝 분야에서 학습 데이터 부족의 한계를 극복하기 위해 널리 사용되는 데이터 증폭(Data Augmentation) 기술과 전이학습(Transfer Learning) 기술을 CNN 모델에 적용한 방법론을 제안한다.

II. Related Research

1. Deep Learning

머신러닝의 한 분야인 딥러닝은 자연어 처리, 이미지인식 등 다양한 비정형 데이터를 처리하는 데 있어 기존의 일반적인 머신러닝 알고리즘보다 뛰어난 성능을 보이며, 연속된 층(Layer)에서 점진적으로 의미 있는 표현을 배우는 특성으로 인해 층 기반 표현 학습(Layered Representations Learning) 또는 계층적(Hierarchical) 표현 학습으로 불리기도 한다. 딥러닝의 데이터 학습은 기존 일반 머신러닝의 접근 방법과 달리, 각 층을 통과할 때마다 점진적으로 더 복잡한 표현을 만들고 형성된 점진적 표현을 공동으로 학습한다[12].

딥러닝은 머신러닝의 중요한 단계인 특성 (Feature) 추출을 완전히 자동화함으로써 많은 문제 해결에 있어서 높은 성능을 보이고 있다. 즉 한 번에 모든 특성을 학습하기 때문에, 단계별 작업을 하나의 엔드-투-엔드 (End-To-End) 딥러닝 모델로 대체할 수 있다. 또한 모든 표현 층의 특성을 동시에 학습할 수 있으므로, 모델이 내부 특성에 맞춰질 때 이와 관련된 다른 특성들도 자동으로 변화에 적응하게 된다[13].

최근 딥러닝의 발전으로 다양한 분야의 문제 해결이 가능하게 되었으며, 가장 큰 성과를 보인 대표적인 분야로 이미치 처리 분야를 들 수 있다. 구체적으로 다량의 이미지 데이터에 대한 학습을 통해 모델을 구축하고, 이를 적용하여 이미지 분류(Classification), 객체 추출(Object Detection), 개체 분리(Instance Segmentation) 등을 수행하는 시도가 활발하게 이루어지고 있다[14].

2. CNN(Convolutional Neural Network)

합성곱 신경망(CNN, Convolutional Neural Network)은 이미지 분류에 사용되는 가장 대표적인 딥러닝 알고리즘으로, 1989년 우편물에 쓰인 손글씨 숫자 이미지를 인식하기 위해 LeNet-5가 논문으로 발표되며 처음 소개 되었다[15]. 기본 CNN의 구조는 과 같다. 구체적으로 CNN은 이미지에 필터링 기법을 적용하는 합성곱 계층, 그리고 이미지의 국소적인 부분들을 하나의 대표적인 스칼라 값으로 변환하여 이미지의 크기를 줄이는 풀링 계층이 완전 연결 계층 이전에 추가된 구조로 이루어져 있다[16]. 즉 원본 이미지에 필터링 기법을 적용한 뒤, 결과 이미지에 대해 분류 작업이 수행된다.

Fig. 1. Architecture of Convolutional Neural Network

3. Data Augmentation

전술한 바와 같이 학습 데이터가 부족한 경우 모델의 학습이 충분히 이루어지지 못하게 되며, 이는 모델 성능의 저하로 이어지게 된다. 이러한 문제의 해결을 위한 방법 중 가장 대표적인 것으로 데이터 증폭(Data Augmentation) 기술을 들 수 있다. 기본적으로 데이터 증폭은 학습 데이터의 변형을 통해 추가 데이터를 생성하는 일련의 과정을 의미하며, 데이터의 변형을 위한 다양한 기법들이 고안되어 왔다[17].

데이터 증폭은 일차적으로 데이터 수의 증가를 목적으로 수행되지만, 부가적으로 모델의 과대적합(Overfitting) 발생을 방지하는 효과도 가져올 수 있다. 과대적합은 학습 데이터의 수가 너무 적어서 학습 데이터에만 지나치게 적응된 모델이 형성되는 경우를 의미하며, 학습이 완료된 모델을 새로운 데이터에 적용할 때 일반화가 이루어지지 않아 결과적으로 정확도가 낮게 나타나는 부작용을 야기한다. 데이터 증폭을 통해 데이터를 많이 생성하면, 학습 과정에서 모델이 더욱 다양한 데이터의 여러 측면을 학습할 수 있으므로 과대적합 방지에도 도움을 줄 수 있다.

다양한 데이터 증폭 방법 중 본 연구에서는 이미지에 랜덤 변환을 적용하는 방식을 채택하였다. 이미지 랜덤변환은 와 같이 다양한 기법을 통해 구현될 수 있으며, 본 연구에서는

에 소개된 다양한 기법을 모두 적용한 데이터 증폭을 통해 충분한 수의 데이터셋을 확보하였다.

Table 2. Data Augmentation Techniques

4. Transfer Learning

신경망 학습은 많은 양의 데이터를 필요로 하기 때문에, 데이터가 충분히 확보되지 않았을 경우 학습이 제대로 이루어지지 않는다. 또한 많은 양의 데이터를 확보한 경우라도, 방대한 데이터에 대한 학습 과정은 많은 시간과 비용을 필요로 하게 된다. 전이학습(Transfer Learning)은 이러한 한계를 극복하기 위해 고안된 방법으로, 충분한 양의 데이터로부터 사전학습 (Pre-Training)된 모델의 학습 가중치를 추출하여 소량의 새로운 도메인 데이터 학습을 통해 파라미터를 미세조정(Fine Tuning)하는 방식으로 진행된다[18]. 즉 전이학습은 기존의 풍부한 데이터를 바탕으로 일반성을 학습한 모델의 일부 계층을 재사용함으로써 모델의 학습 속도를 높이고 분류 성능을 높이는 기술로, 짧은 시간에 높은 정확도를 갖는 딥러닝 기반 분류 모델을 구축하기 위해 최근 활발하게 적용되고 있는 기술이다.

이미지 딥러닝의 전이학습에는 Xception, Inception V3, ResNet50, VGG19, MobileNet, 그리고 VGG16 등 다양한 사전학습 모델[12]이 사용되며, 본 연구에서는 Karen Simonyan과 Andrew Ziserman이 2014년에 개발한 VGG16 모델을 사용하여 전이학습을 수행한다. VGG16 모델은 기존의 기본 CNN 구조와 비슷한 형태의 구조로 되어 있어 적용이 편리하므로, VGG16을 활용한 전이학습은 최근 이미지 분류 분야에서 성능 향상을 위해 활발하게 사용되고 있다. VGG16의 전체 구조는 아래 와 같다. 전체적으로 합성곱 계층 13개와 3개의 완전 연결 계층이 깊게 쌓여 있는 구조로, 총 2만 개 이상의 클래스와 14, 714, 688장의 이미지로 구성되어 있는 ImageNet 데이터셋을 사용하여 훈련되었다.

Fig. 2. Architecture of VGG16

III. Proposed Method & Experiment

본 연구의 모델 학습에 필요한 이미지 데이터는 기본적으로 실제 발에 대한 직접 촬영을 통해 수집하였다. 수집한 데이터 중 시각적으로 편평발과 정상발이 뚜렷하게 구분 가능한 이미지 138장을 선별하였으며, 이 가운데 정상 발 이미지는 88장, 편평발 이미지는 50장으로 나타났다. 138장의 이미지는 딥러닝 학습을 위해 필요한 충분한 수의 데이터가 아니며, 딥러닝 기반 모델에서 학습 데이터의 부족은 모델 성능의 저하를 야기하게 된다. 하지만 학습을 위해 필요한 양질의 데이터를 획득하는 것은 일반적으로 매우 어려우며, 이로 인해 데이터의 부족을 극복하여 우수한 모델을 개발할 수 있는 방안에 대한 다양한 연구가 이루어져 왔다. 본 연구에서는 이러한 방안 중 전이학습과 데이터 증폭을 적용하고자 하며, 이에 대해서는 이후 절에서 상세히 소개한다.

다만 수집한 138장의 이미지 중 정상발에 비해 편 평발의 이미지 수가 상대적으로 부족한 것으로 나타났으며, 이러한 불균형을 보완하기 위해 구글(Google), 네이버 (Naver) 등의 포털에서 “편평발” 키워드를 사용하여 검색한 결과 이미지를 수집하는 크롤링(Crawling)을 통해 38장의 편평발 이미지를 추가하였다. 이러한 방식으로 구축한 데이터셋의 구성은 <Table 3>와 같다.

Table 3. Specification of Image Data Set

본 연구에서 제안하는 모델의 학습을 위한 전체 구조는 와 같고, 모델 구축에 실제로 적용된 실험 환경은 와 같다.

Table 4. Experimental EnvironmentFig. 3. Classification Model with Data Augmentation and Transfer Learning

하드웨어는 외부 HPC(High Performance Computing) 지원 사업에서 제공받은 Tesla V100 32G GPU를 사용하였으며, 소프트웨어는 Python 3.7.7, Tensorflow 1.15.0, Keras 2.4.3 등을 실험 환경으로 구성한 후 연구를 진행하였다.

우선 전체 데이터를 훈련용 데이터(Train Data), 검증용 데이터(Validation Data), 시험용 데이터(Test Data) 로 분할하였으며, 그 비율은 모델 학습을 위한 데이터셋분할에 자주 사용되는 2:1:1의 비율을 채택하였다. 각 레이블별 훈련용, 검증용, 시험용 데이터셋의 구성은 와 같다.

Table 5. Partitioning Data Sets

에서 상단은 데이터 증폭 전, 하단은 데이터 증폭 후의 데이터셋 구성을 나타낸다. 학습에 필요한 원본 훈련 데이터 88개에 대해

에 소개된 다양한 이미지 증폭 방식을 적용하여 와 같이 증폭된 이미지를 획득하였으며, 그 결과 총 1, 100개의 이미지를 훈련에 사용하였다.

Fig. 4. Results of Image Data Augmentation

데이터 증폭을 통해 획득한 데이터를 사전학습 모델 VGG 16의 가중치가 적용된 CNN 구조의 완전 연결 네트워크에 입력하여 미세조정을 수행한다. 이러한 과정을 통해 학습한 모델의 훈련 정확도와 검증 정확도를 확인한다. 또한 제안 방법론에서 채택한 데이터 증폭과 전이학습 방법론의 효과를 평가하기 위해 기본 CNN 학습만을 진행한 모델에 대해서도 훈련 정확도와 검증 정확도를 측정한다. 즉 기본 CNN 모델을 기준(Base) 모델로 채택하여, 기준모델 대비 제안 모델의 편평발 예측 정확도의 성능 향상 여부를 평가하고자 한다. 또한 보다 정확한 평가를 위해훈련과 검증 과정에 사용되지 않은 별도의 데이터에 대해 테스트 정확도를 측정하여 두 모델의 성능을 비교한다.

IV. Experiment Result

기준 모델인 기본 CNN 모델의 훈련 정확도와 검증 정확도는 와 같다. 그림에서 훈련 정확도는 에폭 (Epochs)이 진행될수록 점차 높아지는 양상을 보이는 것으로 보아 학습이 적합하게 이루어졌음을 알 수 있으며, 실험 결과 훈련 정확도는 최대 77.27%, 그리고 검증 정확도는 최대 61.36%로 나타남을 확인하였다.

Fig. 5. Train and Validation Accuracy of the Base Model

한편 데이터 증폭과 전이학습을 적용한 제안 방법론의 훈련 및 검증 정확도는 과 같다. 실험 결과 훈련정확도는 94.32%, 그리고 검증 정확도는 86.36%로, 기준 모델 대비 정확도 측면의 성능 향상이 나타남을 확인하였다.

Fig. 6. Train and Validation Accuracy of the Proposed Model

와 의 두 실험에서 전체 에폭에 걸쳐 나타난 훈련 정확도와 검증 정확도의 최대값을 과 에 요약하였다. 또한 두 모델의 정확도를 보다 객관적으로 평가하기 위해 훈련 및 검증 과정에 사용되지 않은 별도의 데이터에 대해 테스트 정확도를 측정하였으며, 이 결과 또한

와 에 함께 제시하였다. 실험 결과 제안 모델의 편평발 분류 정확도가 기준 모델에 비해 테스트 데이터셋 기준 25%p 향상된 것으로 나타났다.

Table 6. Accuracy Comparison

Fig. 7. Comparison of Learning Accuracy

V. Conclusions

본 연구에서는 편평발로 인해 발생하는 다양한 부작용을 최소화하기 위해, 편평발과 정상발을 분류하는 딥러닝 기반 모델을 구축하는 연구를 진행하였다. 특히 편평발과정상발 이미지의 부족에 따른 모델 성능 저하를 극복하기 위하여, 이미지에 대한 다양한 변형을 통해 학습 이미지를 증폭하는 데이터 증폭 기술, 그리고 대량의 데이터에 대해 사전에 학습이 이루어진 VGG16 사전학습 모델을 사용하는 전이학습을 적용하여 정확도가 높은 분류 모델을 구축하였다.

편평발과 정상발 데이터셋을 활용하여 기준으로 삼은 기본 CNN 모델과 제안 모델의 편평발 예측 정확도를 비교한 결과, 기본 CNN 모델은 검증 정확도와 시험 정확도가 각각 61.36%, 59.09%로 나타난 반면 제안 모델의 검증 정확도와 시험 정확도는 각각 86.36%와 84.09%로 나타나 분류 정확도가 큰 폭으로 향상되는 것을 확인할 수 있었다.

전이학습을 적용하여 모델의 성능을 향상시킨 실험 결과는 신체 부위 및 동작들을 구분하는 다양한 분야의 응용에서 적용될 수 있다. 즉 방대한 데이터가 확보된 특정 영역의 데이터셋에 대해 사전학습을 수행한 뒤, 소량의데이터셋만 준비된 다른 분야에 사전학습 모델을 적용하는 전이학습을 수행하여 궁극적으로 목표 분야 예측 모델의 성능을 향상시킬 수 있을 것이다. 또한 딥러닝을 적용하여 편평발 예측을 시도하였다는 점, 그리고 편평발을분류하는 실험에 있어 소량의 데이터셋으로도 전이학습과 데이터 증폭을 통해 비교적 우수한 성능을 갖는 모델을 구축했다는 점이 이 논문의 학술적 기여로 인정받을 수 있을 것이다.

본 연구의 한계는 다음과 같다. 가장 큰 한계는 실험데이터 수의 부족에 있다. 사람의 신체 부위인 발 데이터를 확보하는 것이 어려웠기 때문에, 매우 적은 수인 176 장의 데이터만으로 딥러닝 학습을 실시하였다. 향후 추가 노력을 통해 원본 데이터 자체의 수를 증가시킴으로써 궁극적으로 최종 모델의 성능을 높일 수 있을 것으로 기대한다. 두 번째 한계는 직접 촬영한 이미지 데이터와 크롤링을 통해 수집한 데이터간 화질, 각도 등에서 데이터의 질적 차이가 존재할 수 있다는 것이다. 후속 연구에서는 데이터의 질적 차이가 분류 모델의 성능 저하를 야기하지 않도록 보다 엄밀한 전처리가 수행될 필요가 있다.