Non-alcoholic Fatty Liver Disease Classification using Gray Level Co-Ocurrence Matrix and Artificial Neural Network on Non-alcoholic Fatty Liver Ultrasound Images

비알콜성 지방간 초음파 영상에 GLCM과 인공신경망을 적용한 비알콜성 지방간 질환 분류

Abstract

Non-alcoholic fatty liver disease is an independent risk factor for the development of cardiovascular disease, diabetes, hypertension, and kidney disease, and the clinical importance of non-alcoholic fatty liver disease has recently been increasing. In this study, we aim to extract feature values by applying GLCM, a texture analysis method, to ultrasound images of patients with non-alcoholic fatty liver disease. By applying an artificial neural network model using extracted feature values, we would like to classify the degree of fat deposition in non-alcoholic fatty liver into normal liver, mild fatty liver, moderate fatty liver, and severe fatty liver. As a result of applying the GLCM algorithm, the parameters Autocorrelation, Sum of squares, Sum average, and sum variance showed a tendency for the average value of the feature values to increase as it progressed from mild fatty liver to moderate fatty liver to severe fatty liver. The four parameters of Autocorrelation, Sum of squares, Sum average, and sum variance extracted by applying the GLCM algorithm to ultrasound images of non-alcoholic fatty liver disease were applied as inputs to the artificial neural network model. The classification accuracy was evaluated by applying the GLCM algorithm to the ultrasound images of non-alcoholic fatty liver disease and applying the extracted images to an artificial neural network, showing a high accuracy of 92.5%. Through these results, we would like to present the results of this study as basic data when conducting a texture analysis GLCM study on ultrasound images of patients with non-alcoholic fatty liver disease.

비알콜성 지방간은 심혈관계 질환, 당뇨병, 고혈압 및 신장질환의 발생에 있어 독립적인 위험인자에 해당하며, 최근에는 비알콜성 지방간에 대한 임상적 중요성이 증가하고 있다. 본 연구에서는 비알콜성 지방간 환자의 초음파영상에 대하여 질감분석 방법인 GLCM을 적용하여 특징값을 추출하고자 한다. 추출된 특징값들을 이용한 인공신경망 모델의 적용을 통하여 비알콜성 지방간의 지방침착 정도를 정상 간(normal), 경도 지방간(mild), 중등도 지방간(moderate), 중증 지방간(severe)으로 분류를 하고자 한다. GLCM알고리듬 적용 결과 Autocorrelation, Sum of squares, Sum average, Sum variance 파라미터 값들은 경도 지방간, 중등도 지방간을 거쳐 중증 지방간으로 갈수록 특징값의 평균값이 증가하는 경향성을 나타내었다. 인공신경망 모델의 입력은 비알콜성 지방간질환의 초음파영상에 GLCM 알고리듬을 적용하여 추출한 Autocorrelation, Sum of squares, Sum average, Sum variance의 4개의 파라미터들을 인공신경망 모델의 입력값으로 적용하였다. 비알콜성 지방간질환의 초음파영상에 GLCM 알고리듬을 적용하여 추출한 영상을 인공신경망에 적용하여 분류 정확도를 평가한 결과 92.5%의 높은 정확도를 나타내었다. 이러한 결과를 통하여 비알콜성 지방간 환자의 초음파 영상에 대한 질감 분석 GLCM 연구 시 본 연구의 결과를 기초자료로 제시를 하고자 한다.

Ⅰ. INTRODUCTION

비알콜성 지방간질환(non-alcoholic fatty liver disease)은 만성 간 질환 중에서 가장 흔한 질병이다^[1]. 또한 제 2당형 당뇨병, 비만 및 대사증후근과 밀접한 관계가 있다고 알려져 있다^[1]. 비알콜성 지방간질환은 간 내에 중성 지방이 많이 축적되어 있는 상태로 단순 지방증에서부터 비알콜성 지방간염, 간경변증까지를 포함한다^[1]. 비알콜성 지방간은 심혈관계 질환, 당뇨병, 고혈압 및 신장질환의 발생에 있어 독립적인 위험인자에 해당한다^[2]. 최근에는 비알콜성 지방간에 대한 임상적 중요성이 증가하고 있다^[2]. 그리고 비알콜성 지방간질환을 동반하는 경우 관상동맥질환 및 뇌혈관질환의 유병률이 높다^[2]. 그와 더불어 심혈관질환으로 인한 사망률이 높다고도 알려져 있다^[2]. 비알콜성 지방간의 유무는 뇌졸중, 심근경색증과 같은 심혈관계질환의 전 단계인 대사증후군을 예측할 수 있는 좋은 지표가 될 수 있다^[3]. 비만인 사람의 약 60~80%가 비알콜성 지방간을 동반한다. 비알콜성 지방간 환자의 약 25~40%는 비알코올 지방간염으로 진행된다고 알려져 있다^[3]. 그리고 비알콜성 지방간염 환자의 약 5~18%는 간경변증으로 진행한다^[4]. 비알코올 지방간이 진행되어 발생한 간경변증 환자의 경우 간세포암종의 연간 누적발생률은 약 2.6%로 추정이 된다^[4]. 그러므로 비알콜성 지방간은 일반적인 지방간보다도 정확한 진단 및 조기 치료가 중요하다^[5]. 비알콜성 지방간의 중등도 이상에서는 비알콜성 지방간에 대한 임상적 진단과 치료의 중요성이 강조되고 있다^[5]. 일반적인 지방간 분류는 지방 침착의 정도에 따라 경도(Grade 1), 증등도(Grade 2), 중증(Grade 3)의 세 등급으로 구분하고 있다^[5]. 비알콜성 지방간질환의 진단은 주로 초음파 검사로 진단한다^[6]. 초음파검사는 일차적인 선별검사법으로 구조적인 이상과 다양한 국소 질환을 실시간으로 진단할 수 있으며^[6], 지방간이나 만성 간염 환자의 추적 검사에 용이하다^[6]. 이러한 초음파 영상에서 공간적 특성을 강조하여 특징점을 추출하는 GLCM (Gray Level Co-Ocurrence Matrix) 알고리듬은 현재 픽셀과 주변 픽셀의 밝기 값 사이의 상관관계를 이용하여 초음파 영상 분석에 널리 사용되고 있다^[7]. 최근에는 의료영상에 인공지능 모델을 적용하여 정확하고 빠른 결과들을 도출해내고 있다^[8]. 인공신경망(Artificial neural network)은 생물학적 뉴런의 기능을 기반으로 하며, 의료영상 분석에 많이 적용되고 있는 모델이다^[8]. 인공신경망은 입력 정보를 기반으로 패턴을 학습하여 학습된 정보를 기반으로 새로 입력되는 정보를 예측할 수 있다^[9].

본 연구에서는 비알콜성 지방간 환자의 초음파 영상에 대하여 질감분석 방법인 GLCM을 적용하여 특징값을 추출하고자 한다. 추출된 특징값들을 이용한 인공신경망 모델의 적용을 통하여 비알콜 성지방간의 지방침착 정도를 정상 간(normal), 경도 지방간(mild), 중등도 지방간(moderate), 중증 지방간(severe)으로 분류를 하고자 한다. 그리고 비알콜성 지방간 환자의 초음파 영상에 대한 질감 분석 GLCM 연구 시 본 연구의 결과를 기초자료로 제시하고자 한다.

Ⅱ. MATERIAL AND METHODS

1. 연구대상

2015년 10월부터 2016년 4월까지 부산 W병원 검진센터에서 복부 초음파 검사를 시행한 40∼60대 남성을 연구대상으로 선정하였다. 연구대상자 중 만성 간질환 환자와 특이질환 치료자는 연구대상에서 제외하였으며, 비알콜성 지방간질환으로 진단된 복부 초음파 영상을 최종 데이터로 획득하였다. 최종적으로 획득한 복부 초음파 영상들은 내과 전문의 1명과 영상의학 전문의 1명이 간의 지방침착을 판독한 결과를 바탕으로 정상군 100증례, 경증 비알콜성 지방간(Grade 1) 100증례, 중등도 비알콜성 지방간(Grade 2) 100증례, 중증 비알콜성 지방간(Grade 3) 100증례로 분류를 하였다. 후향적 분석 방법으로 연구를 진행하였으며, 초음파 검사 장비는 Logiq P9(GE, USA)를 이용하였다. GLCM 알고리듬 적용과 인공신경망 모델의 구현은 MATLAB 2016a(Math Works Inc, USA)을 이용하였다.

2. 연구방법

획득한 비알콜성 지방간질환에 대한 초음파 영상은 간 실질의 지방침착정도에 따라 정상(normal), 경도(Grade 1), 증등도(Grade 2), 중증(Grade 3)으로 분류하였다. 그리고 50 × 50의 ROI를 설정하여 초음파 영상을 분석하였다. Fig. 1과 같다.

Fig. 1. Image of Liver ultrasonography.

최종적으로 획득한 복부 초음파 영상에 히스토그램 평활화와 범위필터의 전처리 과정을 수행하였다. 히스토그램 평활화는 영상에서 명암의 분포를 균일하게 함으로써 영상의 질을 향상 시키며^[10], 범위필터는 영상의 경계부분을 부각시켜 노이즈 감소 효과를 가져 올 수 있다^[10]. 전처리가 수행된 복부 초음파 영상에 GLCM 알고리듬을 적용하여 특징 파라미터들을 추출하였다. 인공신경망은 10개의 hidden layer 층을 가진 인공신경망 모델로 구성하였고 출력은 간 실질의 지방침착 정도에 따라 정상(normal), 경도(Grade 1), 증등도(Grade 2), 중증(Grade 3)의 4종류로 분류되도록 설계하였다.

2.1. GLCM 알고리듬

GLCM 알고리듬은 이웃하는 화소들간의 상호 관계를 분석함으로써 영상의 질감 특징을 얻을 수 있다^[9]. GLCM은 원 영상에서 해당 그레이 레벨쌍의 출현 횟수를 기본으로 한다. 즉, M × N 크기의 영상에서 거리(d )와 방향(φ)에 의하여 픽셀(i, j)가 갖는 그레이레벨에 해당하는 화소쌍이 얼마나 자주 나타나는가를 표시하는 빈도수 매트릭스 P[i, j]를 갖는다^[7]. 통계적 질감 분석을 위하여 원영상으로부터 얻어진 P[i, j]를 이용하여 4가지 특징값을 구한다. GLCM P[i, j]는 변위 벡터 d= (dx, dy)에 의하여 정의된다^[7]. 본 논문에서는 0°, 45°, 90°, 135°의 4가지 방향의 변위벡터의 평균값을 사용하였다. 비알콜성 지방간질환 초음파영상에서 GLCM 알고리듬을 이용하여 추출한 특징값들은 Autocorrelation, Sum of squares, Sum average, Sum variance이다. GLCM 알고리듬은 원 영상을 이용하지 않고 특징값들을 이용함으로써 불필요한 정보를 제거하여 계산량을 줄이며, 효과적으로 영상을 분석할 수 있다^[7]. Autocorrelation은 GLCM 행렬요소의 유사도 측정 및 그레이 영상의 상관관계를 반영하고^[9], Sum of squares는 각 픽셀값과 편차를 제곱하여 합산한 값이다^[9]. Sum average는 GLCM 의 변환 메트릭스의 높고 낮은 그레이 레벨의 평균의 합이며^[9], Sum variance는 평균과 픽셀의 최소값의 차이를 나타낸다^[9].

Table 1은 추출된 특징 파라미터들의 식을 나타내었다.

Table 1. Parameter of GLCM algorithm

2.2. 인공 신경망(Artificial neural network)

Fig. 3은 본 연구에 사용된 인공신경망의 흐름도를 나타내었다. 비알콜성 지방간질환의 초음파 영상에서 ROI를 선택하여 GLCM 알고리듬을 적용 후 특징점 파라미터들을 검출하였다. GLCM 알고리듬 적용 후 비알콜성 지방간질환을 잘 검출 할 수 있는 4개의 특징파라미터값들을 인공신경망의 입력으로 사용하였다. 4개의 입력값들은 10개의 은닉층을 거쳐 출력층은 Normal, Mild, Moderate, Severe의 4종류로 분류하였다. 전체 영상 중 Training 영상 70%, Validation 영상 15%, Testing 영상 15%로 설정하여 분석하였다.

Ⅲ. RESULT

1. GLCM 분석 결과

Table 2는 비알콜성 지방간질환 초음파영상에 GLCM 알고리듬을 적용하여 추출된 특징 파라미터의 결과값이다.

Table 2. Validation modeling accuracy result

Autocorrelation의 결과값은 정상 간에서 경도 지방간, 중등도 지방간을 거쳐 중증 지방간으로 갈수록 특징값의 평균값이 증가하는 경향성을 나타내었다. Sum of squares, Sum average, Sum variance의 결과값들 또한 경도 지방간, 중등도 지방간을 거쳐 중증 지방간으로 갈수록 특징값의 평균값이 증가하는 경향성을 나타내었다. 분석에 이용되는 모든 파라미터들이 정상 간에서 경도 지방간, 중등도 지방간을 거쳐 중증 지방간으로 갈수록 특징값의 평균값이 증가하는 경향이 있지만 각 파라미터들 별로 증가하는 양상은 다르게 나타났다.

2. 인공신경망 분석 결과

본 연구에서는 비알콜성 지방간질환의 초음파영상에 GLCM 알고리듬을 적용하여 추출한 Autocorrelation, Sum of squares, Sum average, sum variance의 4개의 파라미터들을 인공신경망 모델의 입력값으로 적용하였다.

Fig. 2는 인공신경망을 이용하여 전체 400개의 영상데이터 중에서 280개의 영상데이터를 이용하여 분석한 Training Confusion Matrix를 나타낸 것이며, 연구결과 Training의 결과값은 93.6%를 나타내었다.

Fig. 2. The result of Training Confusion Matrix.

Fig. 3은 인공신경망을 이용하여 전체 400개의 영상데이터 중에서 60개의 영상데이터를 이용하여 분석한 Validation Confusion Matrix를 나타내었으며, 연구결과 Validation 결과값은 95%를 나타내었다.

Fig. 3. The result of validation Confusion Matrix.

Fig. 4는 인공신경망을 이용하여 전체 400개의 영상데이터 중에서 Training 영상데이터 280개, Validation 영상데이터 60개, Testing 영상데이터 60개의 영상데이터로 설정하여 분석한 결과를 나타낸 것이다. 연구결과 정상 간초음파영상의 경우 87%의 정확도, 경도 지방간영상의 경우 99%의 정확도, 중등도 지방간영상의 경우 90%의 정확도, 중증지방간영상의 경우 94%의 정확도를 나타내었다. 이러한 결과를 바탕으로 비알콜성 지방간질환의 초음파영상에 GLCM 알고리듬을 적용하여 추출한 영상을 인공신경망에 적용하여 분류 정확도를 평가한 결과 92.5%의 높은 정확도를 나타내었다.

Fig. 4. The result of All Confusion Matrix.

Fig. 5는 Training 데이터를 분석한 결과에 대한 ROC 곡선이다. Fig. 6은 Validation 데이터를 분석한 결과에 대한 ROC 곡선이며, Fig. 7은 전체 데이터를 분석한 결과에 대한 ROC 곡선이다.

Fig. 5. The result of Training ROC curve.

Fig. 6. The result of Validation ROC curve.

Fig. 7. The result of total data ROC curve.

Table 3은 ROC 곡선에 대한 AUC 결과를 나타내었다.

Table 3. AUC of the results

연구결과 Training 데이터를 분석한 AUC 결과값은 경증 지방간의 경우 0.9581의 가장 높은 AUC 결과값을 나타내었으며, Validation 데이터를 분석한 AUC 결과값은 중등도 지방간의 경우 0.9750의 가장 높은 AUC 결과값을 나타내었다. 그리고 전체데이터를 분석한 AUC 결과값은 정상 간의 경우 0.9612의 가장 높은 AUC 결과값을 나타내었다.

Ⅳ. DISCUSSION

비만으로 인하여 발생하는 비알콜성 지방간은 알콜의 섭취없이 간의 지방변성, 염증세포 침윤, 간세포괴사 등이 동반되어 발현이 되며 정확한 발생기전은 아직 불분명하다^[11]. 우리나라의 비알콜성 지방간질환의 유병률은 정상체중 및 과체중의 경우 비알콜성 지방간질환의 유병률은 약 11.7%이며^[1], 비만인 경우 비알콜성 지방간질환의 유병률은 약 19%이다^[1].

비알콜성 지방간질환이 있는 경우 비만 여부와 상관없이 대사증후군 및 제2형 당뇨병 발생의 위험성이 증가하며^[12], 한국인의 경우 비알콜성 지방간질환은 제2형 당뇨병 발생의 독립적인 위험인자에 해당한다^[12]. 그리고 비알콜성 지방간질환은 관상동맥질환과 뇌혈관질환의 유병률 증가 및 간세포암 등의 유병률을 증가시키는 원인이 되기도 한다^[13]. 특히 유방암 환자에게 비알콜성 지방간질환이 동반되는 경우 외과적 수술을 시행하였음에도 불구하고 유방암의 재발률이 유의하게 증가하였다^[13].

이러한 위험성으로 인하여 비알콜성 지방간질환은 정확한 진단이 필요하며, 정확한 진단을 하기 위해서는 조직생검을 시행해야 한다^[14]. 복부 초음파검사의 경우 간 질환의 선별검사로 시행될 뿐만 아니라 조직생검의 1차 검사로서도 시행이 된다^[14]. 비알콜성 지방간질환에 대한 복부 초음파 검사는 비침습적으로 반복검사가 가능하다는 장점이 있으며, 복부 초음파 검사로 획득한 간 실질에 대한 지방침착을 평가한 결과가 조직생검 결과와 유의하다는 결과가 보고되었다^[14].

최근에는 초음파 검사로 획득한 비알콜성 지방간질환 영상에 다양한 알고리듬을 적용하여 비알콜성 지방간질환을 분석하고 있다. 2021년도에 보고된 Amporn은 기계학습(machine learning)을 적용하여 비알콜성 지방간질병을 분류하고자 하였다. 연구결과 비알콜성 지방간질병의 분류 정확도는 71.1%의 결과를 나타내었다^[15]. 2023년도에 보고된 Farkhondeh는 비알콜올성 지방간질병을 분류하기 위해 다양한 기계학습방법들을 적용하여 분류 정확도를 비교 분석하였다^[16].

본 연구는 비알콜성 지방간 질환의 초음파 영상에 대한 분류를 위하여 인공신경망을 적용하여 연구를 진행하였으나, 최근의 분류 정확도 성능평가에서 우수한 성능을 나타내고 있는 컨볼루션 신경망(Convolutional Neural Network)을 적용하지 못한 제한점을 가지고 있다고 판단된다. 향 후 컨볼루션 신경망을 적용한 딥러닝을 이용하여 비알콜성 지방간 질환의 초음파 영상에 대한 추가연구를 진행하도록 하겠다.

V. CONCLUSION

본 연구에서는 비알콜성 지방간질환 초음파영상에 GLCM 알고리듬을 적용하여 추출한 영상데이터를 인공신경망에 추가적으로 적용하여 간 실질의 지방침착 정도에 따른 정상 간, 경도 지방간, 중등도 지방간, 중증 지방간으로 분류를 하고자 하였다. 그 결과 비알콜성 지방간질환에 대한 비알콜성 지방간질환 초음파영상의 분류 정확도는 92.5%를 나타내었다. 이러한 결과를 통하여 비알콜성 지방간질환의 초음파영상에 GLCM 알고리듬을 적용한 후 추출한 영상에 인공신경망을 추가적으로 적용한다면 비알콜성 지방간질환에 대한 비알콜성 지방간 질환 초음파영상의 분류 정확도는 증가한다는 것을 확인하였다. 그러나 전체 400개의 간 초음파 영상 데이터는 인공신경망을을 적용하기에 적은 데이터 수라고 판단이 된다. 이러한 이유로 향후 유사 연구 시 많은 양의 데이터 수집은 분류 정확도를 높이기 위한 필수조건이라고 판단된다. 뿐만 아니라 비알콜성 지방간질환의 지방침착에 따른 초음파 영상의 분류에 대한 정확성을 더욱 높이기 위해서는 다양한 기계학습기법을 적용한 연구가 필요할 것으로 사료된다.