Comparative Analysis of YOLOv8 Object Detection Model Performance in Fire Detection in Traditional Markets Using Thermal Cameras

열화상 카메라를 이용한 전통시장 화재 감지에서 YOLOv8 객체 탐지 모델의 성능 비교 분석

Abstract

Traditional markets, formed naturally, often feature aged buildings and facilities that are susceptible to fire. However, the lack of adequate fire detection systems in these markets can easily lead to large-scale fires upon ignition. Therefore, this study was conducted with the aim of detecting fires in traditional markets, utilizing thermal imaging cameras for data collection and the YOLOv8 model for object detection experiments. Data were collected in the night markets within traditional markets of xx city and by simulating fire scenarios. A comparative analysis of the Nano and XL models of YOLOv8 revealed that the XL model is more effective in detecting fires. The XL model not only demonstrated higher accuracy in correctly identifying flames but also tended to miss fewer fires compared to the Nano model. In the case of objects other than flames, the XL model showed superior performance over the Nano model. Taking all these factors into account, it is anticipated that with further data collection and improvement in model performance, a suitable fire detection system for traditional markets can be developed.

Ⅰ. 서론

전통시장은 건물이 밀집되어 있고, 통로에 다량의 물건이 적재되어 있는 등 시장이 가지고 있는 고유한 구조적 특성으로 인해 화재에 취약하다[1]. 이 외에도 노후화된 전선, 연소가 쉬운 자재로 구성된 점포 등으로 인해 화재 발생 시 피해가 확대될 수 있다. 또한, 전통시장의 구조적 특성은 소화용수가 발화점에 도달하는 것을 어렵게 하여 화재 진압에 장시간이 소요되는 원인이 된다[2]. 이러한 구조적 특성은 초기 화재 진압에 필요한 골든 타임을 놓치기 쉽게 만든다.

2013년부터 2022년까지의 화재 통계에 따르면, 일반 화재의 경우 평균적으로 화재 1건당 약 1,580만원의 재산 피해가 발생하는 반면, 전통시장에서는 1건당 약 2억 7,250만원의 피해가 발생하여 일반 화재에 비해 약 17배 높은 것으로 나타났다[3]. 이에 따라, 전통시장 내에서 화재를 초기에 감지하고 화재 발생 시 즉시 상인 또는 인근 소방서에 알릴 수 있는 시스템의 필요성이 대두되고 있다.

전통시장 현대화 사업의 일환으로 일부 시장에 화재감지기가 설치되었으나, 잦은 오작동으로 인해 그 효용성이 떨어지고 있다. 이에 따라, 오작동을 줄이고 화재를 신속하게 감지할 수 있는 개선된 시스템의 개발이 요구된다. 본 연구에서는 열화상 카메라를 활용하여 데이터를 수집하고, 인공지능을 이용하여 화재를 감지하고자 한다. 열화상 카메라는 온도 정보를 제공하며, 시간, 불빛 유무에 관계없이 촬영 가능하므로 화재 감지에 적합하다. 본 연구에서는 화재 감지에 널리 사용되는 YOLO 모델을 채택하였으며, 최신버전인 YOLOv8을 사용하여 화재 감지 가능성을 탐구하였다.

Ⅱ. 이론적 배경

2.1 전통시장의 정의

전통시장은 자연적으로 형성되거나 사회적, 경제적 필요에 의해 조성된 장소로, 상품과 용역의 거래가 상호 신뢰를 바탕으로 주로 전통적인 방식으로 이루어진다[4]. 전통시장은 상품과 용역의 거래 방식이 전통적인 특성을 가진다는 점에서 다른 시장과 구별된다.

통계청의 자료에 따르면, 전통시장은 상가건물형, 노점형, 장옥형, 상가주택복합형 등으로 분류될 수 있다[5]. 상가건물형은 독립된 상점들이 한 건물 안에 위치하는 형태이며, 노점형은 길거리의 노점상들로 구성된다. 장옥형은 일정한 건물이 없이 특정 장소에서 상품이나 서비스가 제공되며, 상가주택복합형은 집합건물로 구성된 시장을 의미한다. 전국적으로는 총 1,408개의 전통시장이 있으며, 이 중 상가건물형이 49%, 상가주택복합형이 41.5%, 장옥형이 8.2%, 노점형이 1.3%를 차지한다.

2.2 전통시장의 화재 위험성

전통시장의 화재 위험도는 주로 골목형과 건물형으로 구분되며, 건물형은 상가건물형 전통시장을, 골목형은 나머지 유형을 의미한다[6]. 건물형 전통시장은 도로의 적재물, 불법 주차 등으로 인해 화재가 빠르게 확산되고 소방차의 접근이 어려워 화재에 취약하다[6]. 전국적으로 상가건물형이 49%로 많은 전통시장이 화재 위험에 노출되어 있다.

소방청의 통계에 따르면, 2018년 8월 1일부터 2023년 7월 31일까지의 5년간 판매시설 화재 건수는 상가빌딩이 1,838회, 기타 판매시설이 1,117회, 상점가가 701회, 할인점이 588회, 전통시장이 283회로 나타났다[7]. 전통시장의 경우 화재 발생 건당 재산 피해가 약 2억 9,479만 7천 원으로 판매시설 화재 발생 건당 재산 피해액이 가장 높았다. 이러한 통계는 전통시장에서 화재를 신속하게 감지하는 시스템의 필요성을 강조한다.

또한, 전통시장 내 설치된 화재 감지 시스템은 다른 요인으로 인해 오작동하며, 화재 알람 시스템과 연결되지 않아 효과적인 경보 전달이 어렵다는 문제가 지적되었다[8]. 따라서 전통적인 화재감지기가 아닌 오작동을 줄이고 화재를 정확하게 감지할 수 있는 시스템이 필요하다.

2014년부터 2018년까지 전통시장에서 발생한 화재 중 약 46.6%가 야간에 발생했다는 점을 고려할 때, 화재 감지 시스템은 야간에도 효과적으로 작동할 수 있어야 한다[9].

2.3 인공지능을 이용한 화재 감지 연구

화재 감지기의 오작동 문제를 해결하기 위한 방안으로 인공지능 기반의 영상 분석을 통한 화재 감지연구가 활발히 이루어지고 있다. 이러한 연구는 크게 두 가지 접근 방식으로 구분될 수 있다. 첫 번째는 영상 속 장면을 분석하여 화재 여부를 판단하는 방식이며, 두 번째는 영상에서 불꽃이나 연기를 감지하여 화재를 인지하는 방식이다.

전자의 경우, 대부분의 연구에서는 CNN(Convolutiona-l Neural Network) 모델이 주로 사용되고 있으며 CNN을 활용한 화재 감지 연구는 CNN 모델이 주목받기 시작한 이후로 꾸준히 진행되어 왔다. 최근에는 다양한 데이터셋과 상황에 맞춰 CNN 모델을 수정하고 비교하는 연구가 많아지고 있다. 예를 들어, 빠른 화재 감지를 위해 후보 영역을 식별하고 CNN을 사용하여 화재 및 연기 감지 시간을 단축하는 연구[10], 산불 감지를 위해 특화된 FireNet 모델을 개발하는 연구[11], RGB 이미지와 열화상 이미지를 결합한 데이터를 활용하는 연구 등이 있다. 특히, 열화상 이미지는 조기 화재 진압 로봇이나 드론을 통해 수집된 데이터를 활용하는 연구에서 중요하게 다루어지고 있다[12, 13]. 또한, PIR 센서를 이용해 불꽃의 움직임을 감지하고 CNN 모델로 화재 상황을 인식하는 연구[14]도 진행되고 있다.

YOLO 모델을 이용한 불꽃과 연기 감지 연구는 주로 YOLOv3나 YOLOv4 모델을 기반으로 하며, 이 모델들을 그대로 사용하거나 일부 수정하여 적용하는 경우가 많다. 일반적인 화재 상황에 대한 데이터를 수집하여 YOLOv3 모델을 적용하는 연구[15], YOLO 모델을 수정하여 적용하는 연구[16, 17], 센서와 결합하여 진행하는 연구[18] 등이 있다. 또한, HSV 색상공간을 활용하여 화재 범위를 정의하고 YOLOv4 모델을 적용하는 연구[19]나 YOLOv4를 이용한 화재 경보 시스템 구현 연구[20], 실제 환경에서 YOLOv5를 적용하여 화재 감지기와 비교하는 연구[21], YOLO 이외의 모델을 사용하는 연구[22] 등도 진행되고 있다.

이처럼 다양한 기법과 모델을 적용하여 빠르고 정확한 화재 탐지를 하기 위한 연구들이 진행되고 있다. 각 연구들은 화재 발생 환경의 특성과 사용한 모델의 특성을 고려하여 진행하고 있으나 대부분 연구에서 일반 카메라로 촬영된 이미지를 활용하고 있다. 본 연구는 이러한 배경을 바탕으로, 전통시장 내 화재를 신속하게 감지하기 위해 온도 측정이 가능한 열화상 카메라를 이용하여 인공지능 기반의 접근 방법을 탐구하고자 한다.

Ⅲ. 연구 방법

3.1 데이터 수집

열화상 카메라로 촬영된 화재 데이터 셋이 공개적으로 존재하지 않아, 화재 상황을 재현하여 데이터를 직접 수집하였다. 데이터 수집은 두 가지 다른 환경에서 이루어졌다. 첫 번째는 ㅇㅇ시에 위치한 전통시장의 야시장에서 이루어졌으며, 두 번째는 야외에 화원을 설치하여 진행되었다. 이 두 상황에서 데이터 수집 시 다음과 같은 요소들을 고려했다.

• 야간에 화재 발생 빈도가 높기 때문에 야간에도 효과적으로 화재를 감지할 수 있어야 함

• 시장 내부의 사람, 조명 등 화원이 아닌 다른 요소들이 포함되어야 함

• 전통시장의 특성을 반영하여 가까운 거리와 먼 거리 모두를 직선으로 촬영해야 함

본 연구에서 사용된 열화상 카메라는 FLIR사의 C3-X 모델이며, 이 카메라의 IR(적외선) 해상도는 128 X 96이다. 이 카메라는 두 가지 온도 범위를 측정할 수 있는데, 화재 감지에 적합한 0 ~ 300도 범위를 선택하여 촬영을 진행하였다.

3.2 데이터 셋 분류

열화상 카메라를 사용하여 총 1,500장의 열화상 이미지를 수집했다. 이 중에서도 이미지 내에서 상대적으로 온도가 높게 촬영된(이미지 상 흰색 ~ 노란색 부분) 부분의 객체들을 분석하였다. 시장 환경에서 온도가 높게 측정된 물체들은 불꽃뿐만 아니라 전구의 빛, 가열 중인 조리기구, 그리고 간판을 확인할 수 있었다. 특히, 간판의 경우 야시장의 특징으로 인해 온도가 높게 측정되었다. 시장 내에서 사람들의 이목을 집중하기 위해 토치를 사용하여 불꽃 쇼를 자주 볼 수 있었는데, 해당 불로 인해 간판이 과열되어 온도가 높게 측정되었다.

<표 1> 수집된 열화상 이미지와 온도가 높은 물체의 예시

이에 따라, 이미지에서 인식해야 할 객체 클래스를 불꽃(fire), 불빛(light), 조리기구(utensil), 간판(board)으로 정하고, 어노테이션(annotation) 작업을 진행했다. 어노테이션을 할 때, 열화상 이미지만으로는 객체를 구분하기 어려워 일반 사진을 참조하며 정확한 결과를 얻을 수 있도록 작업을 수행했다. 불빛, 조리기구, 간판에서 높은 온도가 감지된 사례는 <표 1>에서 확인할 수 있다.

어노테이션 이후 모델 학습을 위해 데이터 셋을 훈련(train), 검증(validation), 테스트(test)로 나누었다. 각 비율은 0.75 : 0.2 : 0.05로 나누었으며 전체 파일에서 랜덤하게 각 데이터 셋으로 분류하였다. 데이터 셋 구성은 <표 2>와 같다.

<표 2> 데이터 셋 분류 결과

3.3 모델 선택

화재 감지 분야의 대다수 연구에서는 YOLO(You Only Look Once) 모델이 활용되었다. YOLO는 2-Stage detector 모델로, 먼저 객체의 위치를 파악하는 bounding box를 찾고, 그 후에 해당 객체를 분류하는 과정으로 구성되어 있다[23]. YOLO는 빠른 추론 시간과 높은 분류 정확도를 자랑하며, YOLOv1이 처음 발표된 이후로 다양한 버전으로 개발되고 있다.

대부분의 연구에서는 YOLOv4 또는 YOLOv5 모델이 주로 사용되었다. 그러나 <그림 1>의 최신 YOLO 모델들과의 이전 모델의 성능 비교를 살펴보면, YOLOv8은 동일한 성능 수준에서 더 적은 파라미터를 가지고 있음을 확인할 수 있고, 이는 추론 시간이 단축될 수 있다[24]. 또한, YOLOv8을 소개하는 문서에서는 YOLOv5와 YOLOv8 모델을 비교했을 때, YOLOv8이 더 높은 mAP(mean Average Precision)를 보여주는 것으로 나타났다[25]. 이에 따라 본 연구에서는 YOLO 모델 중 성능이 우수한 것으로 평가받는 YOLOv8 모델을 선택하였다. YOLO 모델은 버전별로 다양한 크기와 파라미터 수를 가진 모델이 존재하는데, 본 연구에서는 파라미터 수가 가장 적은 Nano 모델과 가장 많은 Extra Large(XL) 모델을 선택하여 그 성능을 비교하였다.

<그림 1> YOLO 모델들의 성능 비교 그래프[24]

3.4 모델 훈련 및 평가지표

본 연구에서는 구축한 데이터 셋을 활용하여 YOLOv8 모델을 학습시켰다. 모델 학습을 위해 Colab Pro+ 버전을 사용하였으며, 학습에는 V100 GPU를 선택했다. 학습 과정에서는 epoch를 1,000으로 설정하고, 나머지 파라미터는 YOLOv8의 기본 설정값을 그대로 사용하였다.

두 모델 간의 성능 비교를 위해 테스트 데이터 셋을 이용하여 모델의 성능을 평가했다. 성능 평가에는 널리 사용되는 mAP(mean Average Precision) 지표를 사용했으며, 이는 모든 클래스에 대한 평균값과 각 클래스별 측정값을 기반으로 성능을 비교했다. mAP는 바운딩 박스의 IoU(Intersection Over Union) 값이 설정된 임계값(threshold) 이하일 경우 FP(False Positive)로, 임계값 이상일 경우 TP(True Positive)로 분류하여 모든 이미지에 대한 값을 계산한다. FP, TP뿐만 아니라 FN(False Negative)도 계산하여 각 이미지별 정밀도(precision)와 재현율(recall)값을 산출한다. 이후 PR(Precision-Recall) 곡선을 그리고, 이 곡선 아래 면적을 계산하여 AP(Average Precision)를 구한 후, 모든 클래스에 대해 평균을 내어 mAP를 도출한다. 따라서 mAP 값을 통해 객체 탐지의 정확성을 평가할 수 있다.

mAP 값은 IoU 임계값에 따라 바운딩 박스의 정확성을 얼마나 엄격하게 평가할지 결정한다. 본 연구에서는 IoU 임계값이 0.5인 mAP50을 사용하여 각 모델의 성능을 비교하고자 한다. 또한, 각 클래스 별로 정확도를 비교하기 위해 confusion matrix와 PR 곡선을 이용하여 성능을 비교하고자 한다.

Ⅳ. 실험 결과

본 연구에서 YOLOv8 Nano 모델과 XL 모델을 테스트 데이터 셋에 적용했을 때의 모델의 성능은 <표 3>에서 확인할 수 있다. Nano 모델은 mAP50 기준으로 0.681의 성능을 보였고, XL 모델은 0.702 성능을 보여 XL 모델의 성능이 더 우수한 것으로 나타났다. 그러나 세부 클래스 별로 값을 비교해 보면 대부분 XL 모델의 성능이 좋았으나, 불꽃 클래스의 경우 Nano 모델이 더 나은 성능을 보였다.

모델 성능을 더 자세히 분석하기 위해 Nano 모델의 confusion matrix는 <그림 2>에서, XL 모델은 <그림 3>에서 확인할 수 있다. 각 모델의 confusion matrix를 살펴보면, 행렬의 색상이 유사한 것을 확인할 수 있다. 그러나 세부 수치를 비교하면 다른 오브젝트를 불꽃으로 오탐지한 케이스가 Nano 모델의 경우 8건, XL 모델의 경우 6건으로 XL 모델이 오탐지하는 경우가 적은 것을 확인할 수 있다. 하지만 반대로 불꽃을 배경이나 기타 클래스로 미탐지하는 경우는 Nano 모델이 9건, XL 모델이 11건으로 Nano 모델이 더 나은 결과를 보이는 것을 알 수 있다.

<표 3> 모델 성능 비교(mAP50 기준)

불꽃 외에도 다른 클래스들과 비교해 보면 Nano 모델의 오탐지 건수는 총 255건, XL 모델은 242건이다. 또한 미탐지 건수는 Nano 모델이 252건, XL 모델이 243건이다. 불꽃을 제외한 나머지 클래스에서는 XL 모델이 좀 더 나은 성능을 보이는 것을 확인할 수 있다.

그러나 Nano 모델과 XL 모델 둘 다 배경을 불빛으로 오탐지하는 경우가 많았는데, 이러한 이유는 시장에서 사용되는 대부분 전구가 작은 크기이기 때문에 발생하는 것으로 추정된다.

<그림 2> YOLOv8 Nano의 Confusion Matrix

<그림 3> YOLOv8 XL의 Confusion Matrix

인공지능 모델에서는 정밀도와 재현율 모두 각각 높아야 하지만 정밀도가 높으면 재현율이 떨어지거나 재현율이 높으면 정밀도가 올라가게 된다. 각 모델의 성능을 확인하기 위해 PR 곡선은 Nano 모델이 <그림 4>, XL 모델은 <그림 5>에서 확인할 수 있다. PR 곡선을 비교하면 불꽃 클래스에서 Nano 모델의 경우 재현율이 0.4 일 때 정밀도가 감소하고 있다. 하지만 XL 모델의 정밀도는 재현율이 0.5 부근에서 감소한다. 재현율이 감소하는 값을 비교하면 XL 모델이 Nano 모델보다 불꽃을 좀 더 정확하게 판별하고 있는 것을 알 수 있다.

하지만 재현율에 따라 정밀도가 감소하는 구간을 살펴보면 Nano 모델의 경우 재현율이 0.9에서 감소하고, XL 모델의 경우 재현율이 0.8에서 감소하는 것을 알 수 있다. 해당 구간에서는 이전 confusion matrix에서 살펴본 것처럼 Nano 모델이 XL 모델보다 잘못 탐지하는 경우가 적다는 것을 알 수 있다.

불꽃 클래스 외에도 다른 클래스에서 위와 같은 양상을 띄고 있다. 하지만 조리 기구 클래스의 경우 Nano 모델이 XL 모델보다 정밀도가 감소하는 재현율의 값이 크다. 또한, 그래프가 변하는 값을 보면 XL 모델이 Nano 모델보다 완만하게 변화하는 것을 확인 할 수 있다.

<그림 4> YOLOv8 Nano의 PR Curve

<그림 5> YOLOv8 XL의 PR Curve

Ⅴ. 결론

본 연구는 전통시장에서 발생하는 화재를 신속하고 정확하게 감지하는 화재 감지 시스템을 만들기 위해 열화상 카메라를 이용하여 데이터를 수집하고, 화재 감지 모델 비교 연구를 진행하였다.

열화상 카메라를 이용하여 촬영된 데이터는 공개되지 않아 최대한 화재 상황을 인식할 수 있도록 야시장 내에서 사용되는 불꽃을 촬영했고, 야외에서 화재 상황을 모사하여 추가로 데이터를 수집하여 화재감지 모델을 연구하였다.

화재 감지는 화재 상황인지 분류하는 방법과 불꽃을 직접 감지하여 화재 상황을 판단하는 2가지 방법이 존재하는데, 본 연구에서는 최근에 많이 사용되고 있는 객체 감지 방법을 선택하였다. 그 중에서도 가장 좋은 성능을 보이고 있는 YOLOv8 모델을 선택하여 수집한 데이터를 활용해 학습을 진행했다.

열화상 이미지를 이용한 화재 감지 가능성을 확인하기 위해 YOLOv8 중에서도 가장 작은 사이즈인 Nano 모델과 가장 큰 사이즈인 XL 모델을 선택하여 성능을 비교했다. 비교 결과 전반적인 성능은 XL 모델이 좋았으나 불꽃에서는 Nano 모델이 좋은 성능을 보였다.

각 모델의 성능을 세부적으로 살펴보면 FP 값은 XL 모델이 작았으나 FN 값은 Nano 모델이 작은 것을 확인할 수 있었다. 또한, 정밀도와 재현율을 고려하였을 때 XL 모델이 Nano 모델보다 화재를 화재로 인식하는 케이스가 더 많은 것을 알 수 있다.

이 외에도 전통시장 내에서 화재로 오인할 수 있는 케이스를 정리하여 학습에 이용했다. 야시장 내에서 화재로 인식할 수 있는 경우는 조명, 과열된 간판, 조리기구가 있었다. 세 가지 클래스의 경우 XL 모델이 모두 정확도가 높았으며, FN, FP 수치도 대부분 XL 모델이 낮은 결과를 보였다.

화재 감지 시스템에서 화재를 빠르게 감지하는 경우도 중요하지만 화재가 아닌 상황을 화재라고 판별하지 않는 것도 중요하다. 따라서 모든 결과를 종합하였을 때 XL 모델이 화재 감지에 좀 더 적합한 것을 알 수 있다.

그러나 불꽃을 제외한 나머지 클래스들의 정확도가 낮다는 것을 알 수 있다. 특히 조명, 조리기구에서 정확도가 낮게 나왔는데 이런 결과는 데이터에서 추측할 수 있다. 조명의 경우 다른 객체보다 사이즈가 작다는 특징이 있으며, 조리기구의 경우 데이터의 수가 적은 것을 알 수 있다.

실험 결과를 종합하면 YOLOv8 XL 모델이 화재감지에 적합하나 화재 감지 시스템에 사용하기에는 정확도가 낮게 나와 추가적인 데이터 수집과 모델의 개선이 필요함을 시사한다. 따라서 향후 전통시장 내에서 다양한 상황을 열화상 카메라로 촬영하여 추가적인 데이터를 수집하고, YOLOv8 모델을 이용하여 성능 향상 기법들을 이용하여 화재 정확도를 올려 전통시장 내 화재 감지 시스템을 개발하고자 한다. 또한, 사용자가 시스템을 잘 활용할 수 있도록 화재 오탐의 경우를 줄이고자 한다.