Fire Detection Algorithm Based On Motion Information and Color Information Analysis

움직임 정보와 칼라정보 분석을 통한 화재검출 알고리즘

Abstract

In this paper, we propose a fire detection algorithm based on motion information and color information analysis. Conventional fire detection algorithms have as main problem the difficulty to detect fire due to external light, intensity, background image complexity, and little fire diffusion. So we propose a fire detection algorithm that accurate and fast. First, it analyzes the motion information in video data and then set the first candidate. Second, it determines this domain after analyzing the color and the domain. This algorithm assures a fast fire detection and a high accuracy compared with conventional fire detection algorithms. Our algorithm will be useful to real-time fire detection in real world.

1. 서 론

기존의 감시 카메라는 다양한 기능이 추가될수록 감시영상을 촬영하는 카메라에 각종 센서를 추가하게 됨으로써 감시 장비의 가격이 상승하는 문제점이 있다. 이에 감시카메라의 기본 기능인 시각적인 부분에 다양한 영상 처리 알고리즘을 접목하여 제작하게 된다면 저가의 감시 장비로도 다양한 기능을 구현하여 사용할 수 있을 것으로 기대된다[1].

감시 카메라를 이용한 다양한 객체 검출은 이전부터 많이 연구되어 왔고 지금도 계속 연구가 수행되고 있다. 센서를 이용하지 않고 시각적인 정보를 통해서 원하는 객체를 정확히 검출하는 것이 감시 카메라를 이용한 객체 검출의 핵심이다. 하지만 다양한 환경, 예를 들어 빛이 없는 어두운 밤이나 노을로 인한 붉은 빛이 강한 저녁과 같은 환경에서는 움직임이나 색을 통한 정확한 객체 검출이 어렵다. 이를 사람의 인지 능력처럼 컴퓨터로 객체를 정확히 검출하는 방법은 지난 수년간 연구되어 왔으며 상당한 발전을 이루어졌다. 이미 센서와 영상 검출을 융합하여 만들어진 감시 카메라가 실용화 되었으며 실제로도 상당히 많이 사용되고 있는 실정이다. 하지만 이런 센서 융합 감시 카메라의 경우 다양한 환경에서도 우수한 성능을 보장해야 함으로 고가의 정확한 센서와 고 해상도의 카메라가 사용됨으로 가격 상승이 당연한 일이며 이는 감시 카메라 설치에 상당한 부담으로 작용한다. 이에 많은 연구자들이 저비용, 고 효율의 감시 카메라를 위하여 계속 연구 중 이다.

일반적으로 움직임 검출과 관련하여 많이 연구되는 검출은 화재검출이다. 화재검출이란 감시 영역에서 화재가 발생했을 경우 그 시점을 실시간으로 파악하여, 화재의 확산을 막고 빠른 진압하기 위한 기술이라 정의 내릴 수 있다. 화재검출을 이용하면 화재 발생 시 화재 경보 시스템으로 현재의 상황과 다양한 부가 정보를 전달하여 조기 진압함으로 써 더 큰 피해를 미연에 방지 할 수 있다. 화재검출의 경우 실내와 실외의 경우를 따로 생각해야 한다. 실내의 경우 간단한 화재검출 기법과 센서를 융합하면 쉽게 검출이 가능하다. 연기 검출 센서와 열 감지 센서등은 그렇게 고가의 장비가 아니다. 하지만 실외의 경우에는 상황을 완전히 다르게 이해해야 한다. 만약 20 미터밖에 화재가 발생 했다고 가정했을 때 저가의 열 감지 센서로 감지가 되는 상황이면 이미 그 화재의 크기는 쉽게 진압되는 상황을 지나쳤다고 봐도 무방하다. 또한 연기 검출 센서의 경우 바람등과 같은 요인으로 센서 방향으로 특정 농도 이상의 연기가 움직이지 않는다면 이 센서는 무용지물이 된다. 이런 센서의 경우 실외에 설치할 경우 비바람과 같은 환경적 요인으로 잦은 고장과 오작동이 수반 될 수밖에 없으며 이는 검출 신뢰율을 보장하기 어렵다.

이에 감시 카메라로 촬영되는 영상을 분석 하여 센서 없이도 화재를 검출하기 위한 다양한 알고리즘이 개발되고 있다. 이중에는 영상에서 색상성분을 이용한 칼라기반 검출방법, 영상의 색상과 엣지 정보를 이용한 검출방법, 시간 적 변화에 기반 한 방법 등 다양한 방법들이 연구되었다[2-10]. 하지만 이러한 방법들은 외부 조명의 종류, 세기 등으로 인해 색상을 제대로 인식하지 못하는 점, 배경이 복잡하거나 화재 영역에 잡음이 포함되었을 경우 등 여러 요인에 의해 화재로 잘못 검출되거나 화재 영역의 범위를 잘못 인식 하는 것과 같은 단점들이 존재한다.

따라서 본 논문에서는 움직임 검출을 이용하여 ROI를 줄이고 이후 질감과 색채가 가지는 공간 분포 정보를 이용하여 화재를 검출하고자 한다. 이 방법은 배경을 제외함으로써 계산해야 하는 범위를 줄여 속도를 높이고 영상의 크기 및 칼라정보를 정규화 할 때 가중치를 추가함으로 써 불필요하게 검출되는 영역을 제외함으로써 검출율을 올릴 수 있게 된다.

본 논문의 구성은 다음과 같다. II장에서는 이전에 연구된 화재검출 알고리즘에 대해 간략히 설명하고 각 알고리즘의 장점과 단점을 분석한다. III장에서는 제안하는 알고리즘에 대해 자세히 설명하고 이전 알고리즘과의 차별성을 분석한다. IV장에서는 실험 결과의 화재검출율과 검출된 결과물에 대해 분석 후 마지막으로 V장에서 본 논문의 결론을 맺는다.

 

2. 관련연구

2.1 HSI 칼라모델 기반 검출

HSI 칼라모델은 색상 정보에서 휘도(Luminance)를 분리시킨 것이다. 이 칼라모델은 인간이 느끼는 색상 공간과 가장 유사한 것이라 할 수 있다. H는 색상(Hue), S는 채도(Saturation), I는 명도(Intensity)이다. HSI 칼라모델은 영상입력 장치로부터 들어온 RGB 칼라를 HSI로 변환 하여 사용한다[11].

이 HSI 칼라모델은 외부 환경의 변화가 없는 상황에서 쉽고 빠르게 검출되는 반면, 외부 조명의 종류, 세기 그리고 변화에 따라 화재 색상 성분이 각기 다르게 인지되기 때문에 적응적 화재 영역을 검출함에 어려움이 있다.

2.2 에지(Edge)를 이용한 검출

에지는 디지털 영상에서 밝기가 낮은 값에서 높은 값으로 또는 높은 값에서 낮은 값으로 변하는 지점이며, 디지털 영상을 구성하는 객체 간의 경계 또는 경계선이다. 이 에지 정보를 이용하면 물체 식별, 위치, 모양, 크기등을 인지하고 방향성을 탐지할 수 있는 정보를 제공받을 수 있다[12].

에지를 검출하기 위해서는 영상의 명도 변화량을 검출하여 에지 위치를 검출한다. 검출된 에지는 필요에 따라 1차 미분 혹은 2차 미분을 사용한다.

이 에지 정보를 이용한 검출의 경우 입력 받은 영상으로부터 적응적인 에지를 검출하고 각 화재 영역에 대해 칼라정보를 이용하여 에지 병합 후 최종 화재 영역을 추출하는 방법을 사용 한다 이 방법은 외부조명에 강인하며 적응적인 에지 추출이 가능하나 배경이 복잡하거나 배경의 화재 영역에 잡음영역이 포함되는 단점이 있다.

2.3 히스토그램 해석을 이용한 검출

시간적 변화에 기반 한 검출 방법은 화염일 경우 시간의 흐름에 따라 휘도의 변화가 크다는 특징을 이용한 방법으로 화염과 비 화염 영역으로 분리 하고 화염의 칼라정보를 이용하여 비 화염 역역을 제거한다. 이후 화염 영역 후보로 검출된 영역의 면적 변화가 지속적으로 발생하는가에 대한 계산 후 화재로 특정 하는 방법이다[13].

이 방법의 경우 불꽃의 확산 변화를 인지하는 방법이지만 외부 조명에 민감하며 화재로 특정한 영역의 확산이 크지 않다면 빠른 검출이 불가능하다.

다른 방법으로는 히스토그램(histogram) 해석을 이용한 검출이 있다. 히스토그램은 영상 내에서 화재와 전등과 같은 경우 높은 밝기 값을 갖는 화소의 발생 빈도수를 나타내는 집합이다. 영상에서는 입력 영상 전체를 분석하여 특정 ROI를 설정하거나 영상의 시각적 화질 개선 분야에서 매우 일반적으로 사용된다[14].

히스토그램을 이용한 검출에서는 화재 발생 시 불꽃은 두 가지 속성을 이용한다. 첫째는 불꽃의 중심은 정적이지만 외곽은 동적인 특징이며, 둘째 화재는 확산은 되지만 위치가 급격하게 변하지는 않는다는 특징이다. 히스토그램 기법은 화재의 동적인 특성을 화재 판단의 수단으로 설정하고 이를 히스토그램 분석한다. 화재의 히스토그램 분포는 정상적인 상태, 불이 난 후의 상태, 연기가 난 상태의 세 가지의 분포가 각각 다르다는 특성을 이용하는 것이다. 사용자의 설정에 따라 화재판단 여부는 이 중 하나를 화재의 상태로 설정할 수 있다. Fig. 1는 RGB영상으로 분석한 결과이며 (a)는 화염 영역이며 (b)는 비화염 영역이다. 히스토그램 분포도에 의한 색상 분리도는 적색 성분의 경우 화염 영역은 높은 구간에 분포하고 비화염 영역의 경우 낮은 구간에 분포하고 있어 상호 분리도 특성이 우수하다. 녹색 성분과 청색 성분은 비교적 상호 분리도 특성이 좋지 않다.

Fig. 1.(a) RGB histogram on flame and (b) RGB histogram on not flame.

하지만 히스토그램 분석은 단순히 영상을 구성하는 색상의 양과 분포에 대한 정보만 표현하기 때문에 그 분포가 유사한 영상을 구분하지 못하며, 다양한 불빛이 존재하는 하는 복잡한 환경일 경우 상태에 대한 기준 히스토그램을 얻기가 힘들다[15].

2.4 비디오 시퀀스 정보를 이용한 검출

이 검출 방법은 비디오 시퀀스로부터 칼라와 움직임 정보를 이용하는 방법이다[16]. 여러 영상에 대해 불꽃에 해당하는 칼라에 대해 학습을 통해 룩업 테이블을 만들어 놓고, 임의의 영상에 대해 그 룩업 테이블에 해당하는 화소들을 추출한 다음 불꽃의 움직임 정보를 추출하여 외부의 영향을 제거한다.

이 방법은 불꽃의 분류와 기존의 칼라정보를 이용한 불꽃 분류 방법의 두 가지를 결합하여 적용하며, 잡음 및 물체의 움직임에도 정확한 화재를 검출할 수 있는 방법이다. 또한 영상 프레임을 블록으로 분할하여 블록 내에 불꽃으로 검출된 영역의 면적 변화가 지속적으로 발생할 경우 최종적으로 화재로 결정하여 화염의 화염 검출의 오류를 줄일 수 있다. Fig. 2는 영상에서 지속적으로 검출되는 화염 영역의 면적변화를 나타낸다.

Fig. 2.Fire detection area.

하지만 이 방법은 초기 화재의 경우 검출이 어렵고 미리 룩업 테이블을 만들어 놓아야 하는 문제점이 있다.

 

3. 제안한 방법

3.1 제안한 알고리즘의 개요

제안한 알고리즘은 입력되는 영상으로부터 움직임 객체를 검출한 뒤 이를 첫 번째 화재영역 후보로 설정하고 설정 된 후보 영역을 칼라정보 분석을 통하여 화재 영역으로 확정한다. 확정된 화재 영역에 외부 경계 추출 및 노이즈 제거 등의 영역해석을 수행함으로써 최종 화재영역을 검출한다. 이 과정의 전체 흐름을 아래의 Fig. 3로 나타내었다

Fig. 3.Flowchart for detection algorithm.

3.2 움직임 객체 검출

1차 화재 후보 영역을 설정하기 위해서 먼저 움직임 객체를 검출한다. 이를 위해 연속된 두 프레임간의 차영상 분석 기법을 사용한다.

Fig. 4는 차영상 분석 기법을 이용하기 위한 2개의 이미지 이다. 배경영상의 구분은 평균차이 배경모델을 이용하였다[17]. 평균차이란 연속된 프레임 간 픽셀차이의 절대 값에 대한 평균을 말한다. 각 프레임의 평균차이 영상을 일정한 시간 동안 누적하여 평균차이 배경모델을 생성한다. 평균차이 배경모델이 생성되면 전경과 배경영역을 분할한다. 다음으로 연결요소(Connected Components)를 이용하여 분할된 영상을 깨끗이 정리한 다음 차영상 기법을 이용하여 분리된 배경 영상을 화재검출 영역에서 제외 시켰다. 이 후 두 프레임간의 밝기 차이를 구한 후, 임계값을 사용하여 만약 임계값 보다 낮은 밝기 차이를 가진 부분이 있다면 이를 움직임이 없는 배경으로 구별하고 또 임계값 보다 큰 밝기 차이를 가진 부분이 있다면 이를 움직임이 있는 물체로 구별하였다. Fig. 5은 그 결과 영상이다.

Fig. 4.(a) Background image without fire and (b) Test image with fire.

Fig. 5.(a) Difference image and (b) Threshold images.

3.3 칼라정보 분석을 통한 2차 화재영역 검출

움직임 객체 검출로 1차 화재 후보 영역을 설정하였다면 이제 YCbCr칼라 공간에서 각 성분 간의 칼라정보를 이용하여 2차적인 화재영역을 검출한다. 검출방법은 먼저 YCbCr 영역에서 성분 간의 값 차이 평균을 적용하여 칼라모델을 생성하고 검출에 필요한 값을 구한다[18]. 이후 각 성분 간의 논리곱 연산을 이용하여 검출하는 과정을 아래 식(2)∼(4)에 정의한다.

여기서 Γ, Λ은 상수이다. 화재영역에서 Cr, Cb 성분 간의 차의 값은 거의 일정한 값을 취하고 있다는 규칙을 알 수 있다. 따라서 이러한 규칙을 이용한다면 식(2)∼(4)에서 사용되는 Γ, Λ의 값을 찾을 수 있다. 본 논문에서 Cr, Cb 성분 차의 절대 값 Γ의 값을 통계를 통해 구하였을 때 35보다 크거나 같다면 화재로 설정한다. 또한 화재 영역의 밝기를 나타내는 Λ는 통계를 통한 평균값으로 150이상이면 화재로 설정한다. 이 두 조건이 만족 할 경우 최종 화재영역으로 간주한다.

이을 이용하여 수행한 결과 영상은 Fig. 6의 (c)에서 확인할 수 있다. 이 결과 영상은 실시간으로 입력되는 영상을 기반으로 계산되며, Fig. 6의 (d)가 영상에서 움직임 객체 검출과 칼라정보를 이용하여 얻은 최종 결과물이며, 화재로 확정하는 영역이다.

Fig. 6.(a) Difference image, (b) Threshold image, (c) Fire detection image and (d) Final image.

 

4. 실험 결과 및 고찰

4.1 타 비디오 데이터 비교

본 장에서 제안한 방법을 이용하여 5개의 다른 환경에서 촬영된 영상으로 실험하였다. 성능평가는 Inter(R) Core(TM) i5 CPU 750 @ 2.67GHz 2.66GHz 와 8GB RAM으로 구성된 PC에서 MATLAB R2014를 이용하여 실험 하였다. Fig. 7은 제안한 알고리즘을 이용하여 실험한 원본영상과 결과 영상이다.

Fig. 7.(a) Fire forest and (b) result, (c) Fire with Human and (d) result, (e)Fire in the Wind and (f) result, (g) Fire with Smoke and (h) result, (i) In the night and (j) result

4.2 실험 결과

화재는 그 화재가 발생한 상황과 지역에 상관없이 빨리 발견하여 진압할수록 그 피해가 줄어든다. 따라서 빠르고 정확한 검출은 필수기능이다. 위에 결과와 화재 영상을 비교하여 보면 바람, 연기, 주야등 환경과 화재 지역에 상관없이 화재가 검출됨을 확인할 수 있으며, 실험에서 화재검출 실행시간은 평균 0.026초로 측정 되었다. 이전 논문에서는 각 프레임 전체에서 칼라분석을 통하여 화재를 검출하였지만 제안한 알고리즘에서는 배경을 배제하고 움직임이 검출 영역에서 칼라분석을 통하여 화재를 검출함으로서 검출의 효용성을 높였다. 이상의 실험 결과를 통해서 제안한 화재검출 방법은 이전의 칼라모델을 이용한 화재검출과 비교하여 같은 정확도를 가지며 더 빠른 검출 시간을 가지게 되었음을 확인할 수 있었으며, 이는 충분히 실제 화재 감시 시스템에서 안정적이고 빠르게 화재검출을 수행할 수 있음을 확인 할 수 있다.

Table 1.Experimental results

Table 2.Comparison Data(Time/Frame) with conventional algorithm

 

5. 결 론

본 논문에서 화재의 움직임 정보와 칼라정보 분석을 이용한 화재검출 알고리즘을 제안하였다. 제안하는 화재검출 방법은 실시간 영상에서 움직임 객체를 검출하여 1차 화재 영역으로 설정한 다음 영상의 칼라정보 분석을 통한 2차 검출로 화재검출의 정확도를 높였다. 이후 화재의 외부 경계추출, 노이즈 제거등의 영역해석을 수행함으로써 최종 화재영역을 검출하였다.

본 논문에서 제시한 방법은 실행시간에 비추어 실시간에 가깝게 동작함을 알 수 있었다. 이에 제안한 방법은 실제 화재 진압 시스템에서 확실히 유용하게 활용될 수 있다.