Performance Evaluation of YOLOv5s for Brain Hemorrhage Detection Using Computed Tomography Images

전산화단층영상 기반 뇌출혈 검출을 위한 YOLOv5s 성능 평가

Abstract

Brain computed tomography (CT) is useful for brain lesion diagnosis, such as brain hemorrhage, due to non-invasive methodology, 3-dimensional image provision, low radiation dose. However, there has been numerous misdiagnosis owing to a lack of radiologist and heavy workload. Recently, object detection technologies based on artificial intelligence have been developed in order to overcome the limitations of traditional diagnosis. In this study, the applicability of a deep learning-based YOLOv5s model was evaluated for brain hemorrhage detection using brain CT images. Also, the effect of hyperparameters in the trained YOLOv5s model was analyzed. The YOLOv5s model consisted of backbone, neck and output modules. The trained model was able to detect a region of brain hemorrhage and provide the information of the region. The YOLOv5s model was trained with various activation functions, optimizer functions, loss functions and epochs, and the performance of the trained model was evaluated in terms of brain hemorrhage detection accuracy and training time. The results showed that the trained YOLOv5s model is able to provide a bounding box for a region of brain hemorrhage and the accuracy of the corresponding box. The performance of the YOLOv5s model was improved by using the mish activation function, the stochastic gradient descent (SGD) optimizer function and the completed intersection over union (CIoU) loss function. Also, the accuracy and training time of the YOLOv5s model increased with the number of epochs. Therefore, the YOLOv5s model is suitable for brain hemorrhage detection using brain CT images, and the performance of the model can be maximized by using appropriate hyperparameters.

뇌 전산화단층촬영은 비침습성, 3차원 영상 제공, 저방사선량 등의 장점 때문에 뇌출혈과 같은 질병 진단을 위해 시행된다. 하지만 뇌 전산화단층영상 판독을 위한 전문의의 인력 공급 부족 및 막대한 업무량으로 인해 수많은 판독 오류 및 오진이 발생하고 있다. 이와 같은 문제를 해결하기 위해 객체 검출을 위한 다양한 인공지능 기술이 개발되고 있다. 본 연구에서는 뇌 전산화단층영상으로부터 뇌출혈 검출을 위한 딥러닝 기반 YOLOv5s 모델의 적용 가능성을 확인하였다. 또한 YOLOv5s 모델 학습 시 초매개변수를 변화시켜 학습된 모델의 성능을 평가하였다. YOLOv5s 모델은 backbone, neck 및 output 모듈로 구성하였고, 입력 CT 영상 내 뇌출혈로 의심되는 부위를 검출하여 출력할 수 있도록 하였다. YOLOv5s 모델 학습 시 활성화함수, 최적화함수, 손실함수 및 학습 횟수를 변화시켰고, 학습된 모델의 뇌출혈 검출 정확도 및 학습 시간을 측정하였다. 연구결과 학습된 YOLOv5s 모델은 뇌출혈로 의심되는 부위에 대한 경계 박스 및 해당 경계박스에 대한 정확도를 출력할 수 있음을 확인하였다. Mish 활성화함수, stochastic gradient descent 최적화함수 및 completed intersection over union 손실함수 적용 시 YOLOv5s 모델의 뇌출혈 검출 정확도 향상 및 학습 시간이 단축되는 결과를 확인하였다. 또한 YOLOv5s 모델의 뇌출혈 검출 정확도 및 학습 시간은 학습 횟수에 비례하여 증가하는 결과를 확인하였다. 따라서 YOLOv5s 모델은 뇌 전산화단층영상을 이용한 뇌출혈 검출을 위해 활용할 수 있으며, 최적의 초매개변수 적용을 통해 성능을 향상 시킬 수 있다.

Ⅰ. INTRODUCTION

뇌졸중은 우리나라 단일 질환 사망 원인 중 3위를 차지하고 있으며 발병한 뇌졸중의 20%는 뇌출혈에 의하여 발생한다^[1]. 뇌출혈은 30 ~ 50%의 매우 높은 사망률을 초래하기 때문에 발병 후 수시간 이내에 신속한 진단을 통한 조치가 이루어져야 한다. 뇌출혈 진단 방법 중 뇌 전산화단층촬영(Computed Tomography; CT)은 비침습적으로 피사체의 3차원 단층 영상을 제공할 수 있고, 타 부위 촬영에 비해 방사선량이 낮으며 진단을 위한 정보를 신속하게 전달할 수 있기 때문에 진단학적 가치가 높은 방법이다^[2].

뇌 CT 영상을 이용하여 뇌출혈 진단의 정확도를 향상시키기 위해서 다양한 경험과 높은 숙련도를 갖추고 있는 영상판독 전문의가 필수적이다. 하지만 개별 전문의에게 할당되는 막대한 업무량과 인력 공급 부족에 의해 수많은 판독 오류 및 오진이 발생할 수 있다^[3-5]. 이와 같은 문제를 해결하기 위해 최근 컴퓨터 비전 및 의료영상 분야에서 객체검출(object detection)을 위한 다양한 인공지능 기술이 개발되고 있다^{[6, 7]}. 대표적으로 딥러닝(deep learning) 기반 콘볼루션 신경망(convolutional neural network; CNN) 알고리즘은 CT 영상에서 질병으로 의심되는 부위를 검출하고, 해당 부위를 중심으로 경계 박스(bounding box)를 표시하여 진단을 위한 정보를 제공할 수 있다. 하지만 기존 딥러닝 기반 CNN 알고리즘은 처리 시간이 느리기 때문에 실시간으로 질병을 검출하는 데 한계가 있고, 질병 검출의 정확도가 저하되는 단점이 있다^[8-10]. 이에 반해 최근 개발된 YOLOv5s(you only look once version 5 small)^[11] 모델은 bottleneck CSP 층 및 잔차 연결 (skip connection) 함수를 사용하여 객체 검출의 속도 및 정확도를 향상시켰다.

본 연구에서는 기존 딥러닝 기반 CNN 알고리즘의 단점을 해결할 수 있는 YOLOv5s 모델을 이용하여 뇌 CT 영상 기반 뇌출혈 검출을 시행하고 그 성능을 평가하고자 한다. 딥러닝 기반 모델 학습에 필요한 초매개 변수(hyperparameter)는 학습률 (learning rate), 최적화함수(optimizer function), 활성화 함수(activation function), 손실함수(loss function), 학습 횟수(epoch) 등이 있으며 학습된 모델의 성능을 결정한다^{[12, 13]}. 따라서 초매개 변수 변경을 통해 학습 모델의 성능을 최적화할 수 있으며, 검출하고자 하는 객체 또는 질병의 특성에 따라 적절한 초 매개변수를 적용해야 한다. 본 연구에서는 YOLOv5s 모델을 이용한 뇌출혈 진단 시 초 매개변수가 미치는 영향을 평가하기 위해 활성화함수, 최적화 함수, 손실함수 및 학습횟수를 변화시켜 모델을 학습시켰다. 학습된 모델의 성능을 평가하기 위해 뇌출혈 검출의 정확도 및 일치도를 측정하였다.

Ⅱ. MATERIAL AND METHODS

1.데이터 준비

YOLOv5s 모델의 학습 및 테스트를 위해 Kaggle 뇌출혈 CT 영상 데이터 셋을 이용하였다^[14]. 데이터셋 중배열 크기가 416 × 416인 80장의 영상을 무작위 선택하고 flip, crop, shear 등의 증대 (augmentation)^[15]를 통해 학습 및 테스트를 위한 데이터를 증가시켰다. 증가된 데이터 중 210장의 영상 및 뇌출혈 부위에 대한 경계박스 정보(위치, 가로 및 세로크기)가 YOLOv5s 모델 학습을 위해 사용되었고, 모델 학습에 사용되지 않은 30장의 영상이 YOLOv5s 모델 테스트를 위해 사용되었다.

2. YOLOv5s 모델 구성

본 연구에서 사용한 YOLOv5s 모델의 구조는 Fig. 1과 같이 backbone, neck 및 output 모듈로 구성되어 있다. Backbone 모듈은 입력영상의 특징 (feature)을 추출하는 부분으로 3 × 3 kernel 크기를 갖는 4개의 콘볼루션 층, 3개의 bottleneck cross stage partial(CSP) 층 및 1개의 spatial pyramid pooling(SPP) 층으로 구성되어 있다. Bottleneck CSP 층은 입력값에 대한 콘볼루션 함수 적용 시 잔차연결을 이용하여 입력값의 일부를 출력값으로 반환하는 기능을 하며, SPP 층은 크기가 서로 다른 kernel을 이용하여 입력값의 다양한 특징을 추출하는 기능을 한다^[11]. Neck 모듈은 backbone 모듈로부터 받은 입력값을 원래 크기로 복원하는 기능을 하며, backbone 모듈에서 미처 추출하지 못한 입력값의 특징을 추출하는 기능을 한다. 본 연구에서 사용한 neck 모듈은 5개의 bottleneck CSP 층, 1 × 1과 3 × 3 kernel 크기를 갖는 4개의 콘볼루션 층, 입력값의 크기를 2배 복원하는 2개의 up-sampling 층, 잔차 연결을 위한 4개의 concatenate 층으로 구성되어 있다^[11]. 그리고 output 모듈에서는 neck 모듈의 마지막 3개의 bottleneck CSP 층으로부터 획득한 데이터를 이용하여 CT 영상내 뇌출혈로 의심되는 부위에 대한경계 박스를 표시한다.

Fig. 1. Architecture of YOLOv5s.

3. YOLOv5s 모델 학습 및 초매개 변수 설정

본 연구에서는 YOLOv5s 모델 학습 시 활성화 함수의 영향을 평가하기 위해서 Eq. (1) - (4)와 같은 sigmoid linear unit(SiLU), hardswish, leaky rectified linear unit(ReLU) 및 mish 함수를 사용하였다^[16-18]. (1)

\(\operatorname{SiL} U(x)=x \times\left(1+e^{-x}\right)^{-1}\)       (1)

\(\text { Hardswish }(x)= \begin{cases}0 & \text { if } x \leq-3 \\ x & \text { if } x \geq+3 \\ x \times \frac{(x+3)}{6} & \text { otherwise }\end{cases}\)       (2)

\(\text { LeakyReLU }(x)= \begin{cases}x & x>0 \\ 0.1 \times x & x \leq 0\end{cases}\)       (3)

\(\operatorname{Mish}(x)=x \times \tanh \left(\ln \left(1+e^{x}\right)\right)\)       (4)

x는 입력 영상의 복셀값을 나타낸다. YOLOv5s 모델 학습 시 최적화 함수의 영향을 평가하기 위해서 Eq. (5), (6)과 같은 stochastic gradient descent(SGD) 및 Eq. (7) - (9)와 같은 adaptive moment estimation(Adam)을 사용하였다^{[19, 20]}.

\(S G D: \theta_{t}=\theta_{t-1}-v_{t}\)       (5)

\(v_{t}=\gamma v_{t-1}+\eta \nabla J\left(\theta_{t-1}\right)\)       (6)

\(\text { Adam }: \theta_{t}=\theta_{t-1}-\frac{\eta}{\sqrt{\frac{\nu_{t}}{1-\beta_{2}}+\epsilon}} \times \frac{m_{t}}{1-\beta_{1}}\)       (7)

\(m_{t}=m_{t-1} \beta_{1}+\left(1-\beta_{1}\right) \times \nabla J\left(\theta_{t-1}\right)\)       (8)

\(\nu_{t}=\nu_{t-1} \beta_{2}+\left(1-\beta_{2}\right) \times\left(\nabla J\left(\theta_{t-1}\right)\right)^{2}\)       (9)

θ_t는 t번째 반복 횟수에서 YOLOv5s 모델 형성을 위한 가중상수이고, υ_t는 가중상수 보정계수, γ은 0.937로 설정된 momentum 상수, η은 1 × 10^-3으로설정된 학습률(learning rate), ∇J((cid:2)_t-1)은 가중상수 사이의 gradient, m_t는 가중상수기울기의 지수평균, ν_t는 가중상수 기울기의 제곱값 지수평균이다. (cid:3)₁, (cid:3)₂ 및 ε은 Adam 함수 최적화를 위해 사용하는 상수이고, 본 연구에서는 각각 0.9, 0.999 및 1 × 10^-8으로 설정하였다. YOLOv5s 모델 학습 시 손실함수에 따른 영향을 평가하기 위해서 Eq. (10), (11) 과 같은 completed intersection over union(CIoU) 및 generalized IoU(GIoU)을 사용하였다^[21].

\(\begin{aligned} C I o U=& \frac{a(A) \cap a(B)}{a(A) \cup a(B)}+\frac{k^{2}(A, B)}{p^{2}(C)} \\ &+\omega \delta(A, B) \end{aligned}\)       (10)

\(\begin{aligned} \text { GIo } U=& \frac{a(A) \cap a(B)}{a(A) \cup a(B)} \\ &-\frac{|a(C) /(a(A) \cap a(B))|}{|a(C)|} \end{aligned}\)       (11)

a(A), a(B) 및 a(C)는 각각 뇌출혈 부위에 대한 경계 박스 면적, YOLOv5s 모델에 의해 예측된 경계 박스의 면적, A와 B를 모두 포함할 수 있는 최소경계 박스의 면적을 나타낸다. k(A, B) 및 p(C)는 각각 A와 B 경계박스 중심간 거리, C 경계 박스의대각 길이를 나타낸다. δ(A, B) 및 ω는 각각 A와 B 경계 박스 비율의 일치성과 보정계수를 나타낸다. YOLOv5s 모델 학습 시 반복 횟수에 따른 영향을 평가하기 위해서 100, 300 및 500번의 반복 학습을 진행하였다.

특정 초매개 변수 변화에 따른 YOLOv5s 모델 성능 평가시 다른 세 가지 초매개 변수에 의한 영향을 배제하기 위해서 표준값을 유지하였다. 본 연구에서 설정한 활성화함수, 최적화 함수, 손실함 수 및 학습 횟수의 표준값은 각각 SiLU, SGD, CIoU 함수 및 300번이다. 본 연구에서 YOLOv5s 모델 학습 시이용한 초매개 변수를 Table 1에 정리하였다.

Table 1. Hyperparameters used for training the YOLOv5s model. Standards are marked with *

Google사의 Colaboratory 환경에서 Python과 Pytorch library를 이용하여 YOLOv5s 모델 학습을 진행하였으며, 개별 학습 전런타임 재설정을 통해 이전 학습에서 이용한 데이터 및 로컬 변수의 영향을 배제시켰다.

4.뇌출혈 검출정확도 및 속도 분석

YOLOv5s 모델의 뇌출혈 검출정확도 및 효율을 분석하기 위해 테스트 영상의 출력값에 대한 IoU와 average precision(AP)을 계산하고, 모델 학습에 소요되는 시간을 측정하였다. Eq. (12)를 통해 IoU를계산하였으며, IoU 문턱값을 0.7로 설정하여 예측된 경계박스의 정확도가 70% 이상인 결과에 대해서만 출력 영상에 표시되도록 하였다.

\(I o U=\frac{a(A) \cap a(B)}{a(A) \cup a(B)}\)       (12)

AP는 객체 검출 알고리즘의 성능을 평가할 수 있는 지표로 정밀도(precision)-재현율(recall) 그래프 아래에 포함된 면적으로 계산할 수 있으며, 계산 값이 클수록 해당 알고리즘의 객체검출 정확도가 우수함을 나타낸다^[22]. 본 연구에서는 IoU 문턱값 0.7 을 기준으로 Eq. (13), (14)와 같이 뇌출혈 검출에 대한 정밀도 및 재현율을 계산하였고, 이를 통해 AP를 평가하였다.

\(\text { Precision }=\frac{\text { True Positive }}{(\text { True Positive }+\text { False Positive })}\)       (13)

\(\text { Recall }=\frac{\text { True Positive }}{(\text { True Positive }+\text { False Negative })}\)       (14)

Ⅲ. RESULT

1.활성화함수의 영향

Fig. 2와 3은 활성화함수 변화에 따라 학습된 YOLOv5s 모델로부터 획득한 CT 영상 및 IoU, AP, 학습 시간 측정값을 보여준다.

Fig. 2. CT images obtained from the YOLOv5s models, which were trained with (a) SiLU, (b) Hardswish, (c) LeakyReLU and (d) Mish activation functions. Red bounding boxes and IoU values are also observable in each CT image.

Fig. 3. (a) IoU, (b) AP and (c) training time for the YOLOv5s models trained with the various activation functions.

획득한 각 CT 영상에서 YOLOv5s 모델에 의해 뇌출혈 부위로 예측된 부분에 대한 경계박스 및 해당 경계박스에 대한 IoU 측정값을 확인할 수 있다. 활성화함수 SiLU, hardswish, leaky ReLU 및 mish에 대하여 IoU는 각각 0.79, 0.83, 0.81 및 0.86, AP는 각각 0.83, 0.84, 0.84 및 0.85, 학습시간은 각각 684, 676, 644 및 646초로 측정되었다.

2. 최적화함수의 영향

Fig. 4와 5는 최적화 함수 변화에 따라 학습된 YOLOv5s 모델로부터 획득한 CT 영상, 뇌출혈 검출 정확도 및 학습시간을 보여준다.

Fig. 4. CT images obtained from the YOLOv5s models, which were trained with (a) SGD and (b) Adam optimizer functions. Red bounding boxes and IoU values are also observable in each CT image.

Fig. 5. (a) IoU, (b) AP and (c) training time for the YOLOv5s models trained with the different optimizer functions.

SGD 및 Adam 최적화 함수를 사용하였을 경우 IoU는 각각 0.79 및 0.76, AP는 각각 0.83 및 0.77, 학습 시간은 각각 684 및 745초로 측정되었다. 즉, Adam 함수에 비해 SGD 함수로 학습된 YOLOv5s 모델의 IoU 및 AP가 1.04 및 1.08배 증가했으며 학습 시간은 0.92배 빠른 것으로 측정되었다.

3.손실함수의 영향

Fig. 6과 7는 손실함수 변화에 따라 학습된 YOLOv5s 모델로부터 획득한 CT 영상, 뇌출혈 검출 정확도 및 학습시간을 보여준다.

Fig. 6. CT images obtained from the YOLOv5s models, which were trained with (a) CIoU and (b) GIoU loss functions. Red bounding boxes and IoU values are also observable in each CT image.

Fig. 7. (a) IoU, (b) AP and (c) training time for the YOLOv5s models trained with the different loss functions.

CIoU 손실함수를 사용하여 학습된 YOLOv5s 모델의 IoU 및 AP는 각각 0.79 및 0.83으로 GIoU 손실함수로 학습된 모델에 비해 1.10 및 1.09배 높게 측정되었다. CIoU 및 GIoU 손실함수를 사용하였을경우 학습시간은 각각 684 및 682초로 유사한 결과를 보였다.

4.학습 횟수의 영향

Fig. 8과 9는 학습횟수에 따른 YOLOv5s 모델로부터 획득한 CT 영상, 뇌출혈 검출정확도 및 학습 시간을 보여준다.

Fig. 8. CT images obtained from the YOLOv5s models, which were trained with (a) 100, (b) 300 and (b) 500 epochs. Red bounding boxes and IoU values are also observable in each CT image.

Fig. 9. (a) IoU, (b) AP and (c) training time for the YOLOv5s models trained with the different number of epochs.

학습횟수가 증가함에 따라 IoU, AP 및 학습 시간은 지속적으로 증가하였다. 학습횟수가 100번에서 500번으로 변화하였을 때 IoU는 0.81에서 0.95로 약 1.17배 증가, AP는 0.79에서 0.85로 1.08배 증가, 학습 시간은 223초에서 1103초로 4.95배 증가하였다.

Ⅳ. DISCUSSION

본 연구에서는 뇌 CT 영상과 YOLOv5s 모델을 이용하여 뇌출혈 검출을 시행하였고, YOLOv5s 모델 학습 시 활성화함수, 최적화 함수, 손실함수 및 학습 횟수에 변화에 따른 성능평가를 통해 초 매개변수가 미치는 영향을 분석하였다.

학습된 YOLOv5s 모델은 CT 영상에서 뇌출혈 부위로 예측된 부분에 대한 경계박스를 표시할 수 있으며 IoU 측정값을 표기하여 해당 경계 박스의 정확도 정보를 제공할 수 있다. 본 연구에서 학습된 YOLOv5s 모델의 최대 IoU 및 AP는 각각 0.95 및 0.85로 측정되었다. Mohiyuddin et. al.^[23]과 Li et. al.^[24]은 각각 유방암 및 COVID-19 검출을 위해 YOLOv5 모델을 사용하였고 약 0.89와 0.61 AP 측정값을 보고하였다. 이를 통해 YOLOv5 모델을 이용한 타 연구의 객체검출 정확도와 본 연구의 결과가 대등한 수준임을 확인할 수 있다. 이와 같은 결과를 통해 본 연구에서 사용한 YOLOv5s 모델은 뇌출혈 검출을 위해 활용될 수 있으며 진단을 위해 유용한 정보를 제공할 수 있다.

YOLOv5s 모델 학습 시 타 활성화함수에 비해 mish 함수를 사용하였을 경우 IoU 및 AP 측정값이 가장 높았고, leaky ReLU 및 mish 함수를 사용하였을 경우 모델 학습이 가장 빠르게 진행되었다. 이와 같은 결과는 mish 활성화함수를 이용하여 학습된 YOLOv5s 모델이 뇌출혈 검출정확도 및 학습효율을 향상시킬 수 있음을 보여준다. SGD 및 Adam 최적화 함수 중 SGD 함수를 이용하여 학습된 YOLOv5s 모델의 IoU는 1.04배 증가, AP는 1.08배 증가, 학습 시간은 0.92배 감소하였다. 이와 같은 결과는 YOLOv5s 모델 학습 시 뇌출혈 검출의 정확도 및 학습효율 향상을 위해 SGD 최적화 함수를 사용하는 것이 적절함을 보여준다. CIoU 및 GIoU 손실함수 사용에 따른 학습시간 차이는 미미했으며 CIoU로 학습된 YOLOv5s 모델의 IoU 및 AP가 1.10 및 1.09배 증가하였다. 따라서 두 가지 손실함수 중 CIoU 함수가 YOLOv5s 모델의 뇌출혈 검출정확도를 향상시킬 수 있다. 일반적으로 딥러닝 기반 모델의 성능은 일정 범위 내에서 학습횟수 증가에 따라 향상된다고 보고되고 있다^{[12, 13]}. 본 연구에서 이용한 YOLOv5s 모델의 뇌출혈 검출 정확도 역시 학습 횟수가 증가함에 따라 지속적으로 증가하는 결과를 보였고 최대 IoU는 0.95, 최대 AP는 0.85로 측정되었다. 이에 반해 학습시간은 학습 횟수 증가와 함께 선형적으로 증가되는 결과를 확인하였다. 따라서 뇌출혈 검출을 위한 YOLOv5s 모델학습 시 검출의 정확도뿐만 아니라 학습시간의 효율성도 고려하여 학습횟수를 설정하는 것이 필요하다.

본 연구를 통해 YOLOv5s 모델 학습 시 최적의 초 매개변수 적용을 통해 뇌출혈 검출의 정확도 및 학습 효율을 향상시킬 수 있음을 확인하였다. 본연구에서 사용된 초매개 변수 뿐만 아니라 학습 데이터 양, 학습률, 각 모듈 내층의 개수 및 구조 등과 같은 학습 변수의 영향을 추가로 분석한다면 뇌출혈 검출을 위한 YOLOv5s 모델의 성능을 더욱향상시킬 수 있을 것이다. 또한 기존 딥러닝 기반 CNN 알고리즘과의 객체 검출 시간 비교를 통해 YOLOv5s 모델의 성능을 입증할 수 있을 것이다.

Ⅴ. CONCLUSION

본 연구에서는 뇌 CT 영상으로부터 뇌출혈 검출을 위한 YOLOv5s 모델의 적용 가능성을 확인하였다. 또한 YOLOv5s 모델 학습시 초매개 변수 사용에 따른 영향을 분석하여 뇌출혈 검출정확도 및 학습 효율 향상을 위한 최적의 초매개 변수를 제시하였다. 결론적으로 본 연구의 결과는 CT 영상을 이용한 딥러닝 기반 질병 검출 모델 개발을 위해 활용될 수 있을 것으로 생각된다.