Smoke Detection Using the Ratio of Variation Rate of Subband Energy in Wavelet Transform Domain

웨이블릿 변환 영역에서 부대역 에너지 변화율의 비를 이용한 연기 감지

Abstract

Early fire detection is very important to avoid loss of lives and material damage. The conventional smoke detector sensors have difficulties in detecting smoke in large outdoor areas. The video-based smoke detection can overcome these drawbacks. This paper proposes a new smoke detection method in video sequences. It uses the ratio of variation rate of subband energy in the wavelet transform domain. In order to reduce the false alarm, candidate smoke blocks are detected by using motion, decrease of chromaticity and the average intensity of block in the YUV color space. Finally, it decides whether the candidate smoke blocks are smokes or not by using their temporal changes of subband energies in the wavelet transform domain. Experimental results show that the proposed method noticeably increases the accuracy of smoke detection and reduces false alarm compared with the conventional smoke detection methods using wavelets.

인명과 물질적 손실을 줄이기 위해서는 화재의 조기 감지는 매우 중요하다. 비디오 기반의 연기 감지방법은 야외에서 연기 감지의 어려움이 있는 기존의 센서 기반의 연기 감지 방법의 단점을 극복할 수 있다. 본 논문에서는 비디오 기반의 새로운 연기 감지 방법을 제안한다. 제안한 방법은 웨이블릿 변환 영역에서 각 부대역의 에너지의 비율을 이용하여 연기 영역을 검출한다. 잘못된 연기 검출을 감소시키기 위하여 YUV 칼라 공간에서 움직임, 색도의 감소, 블록의 명도를 이용하여 후보 연기 블록을 검출한다. 최종적으로, 웨이블릿 변환 영역에서 후보 연기 블록에 대한 부대역 에너지의 시간적 변화를 이용하여 연기 블록을 결정한다. 실험을 통하여 제안한 방법이 기존의 웨이블릿을 이용한 연기 감지 방법보다 연기의 검출율과 오검출율이 현저히 향상되는 것을 확인하였다.

1. 서 론

최근 5년간 우리나라에서 발생한 화재 건수는 약 22만 건이며, 이로 인한 사망자와 부상자는 약 10,000여명이 넘고, 1조 5천억원 정도의 재산상 손실을 가져왔다[1]. 그러므로 화재로 인한 인명과 재산 피해를 줄이기 위해서는 조기에 화재를 감지하는 시스템의 개발이 무엇보다 중요하다. 현재 화재 감지 시스템은 주로 화재 감지 센서(연기감지, 불꽃감지, 온도 감지 센서)와 화재 감시 카메라로 구성되어 있다. 화재 감지 센서들을 이용한 화재 감지일 경우에는 주변 환경에 따라서 화재 오감지의 가능성이 크다. 예를 들어 연기감지 센서는 공기의 확산으로 인해 연기가 센서에 감지되지 않을 수도 있고, 열감지 센서의 경우에는 주변온도가 이미 높아진 상태에서는 감지되는 속도가 느릴 수도 있다. 또한 넓은 지역에 대한 화지 감지를 위해서는 일정한 간격으로 다수의 센서들을 설치해야 되는 비용적인 문제점도 존재한다[2]. 반면에 영상을 이용한 시각적 화재 감지는 기존에 사용되고 있는 화재감지 센서들의 문제점들을 극복할 수 있으며, 기존에 설치되어 있는 CCTV 장치를 이용해 큰 비용 없이 화재 감지에 적용할 수 있다[3]. 이런 이유들 때문에 최근 영상처리를 이용한 화재 감지 시스템의 활용이 많아지고 있으며, 이에 필요한 화재 검출 방법의 개발에 대한 필요성이 증대되고 있다.

영상처리를 이용하여 화재를 감지하는 연구 방법은 크게 불꽃을 감지하는 방법과 연기를 감지하는 방법으로 나눌 수 있다. 불꽃 감지 방법의 단점은 화재가 일정 시간 진행된 후에 불꽃이 발생되므로 화재를 조기에 감지 못하는 것과 카메라의 화각에 불꽃이 보이지 않을 경우에는 불꽃을 감지하지 못하는 것이다. 최근 이러한 단점을 극복하기 위한 방법으로 제시되고 있는 연기를 감지하는 방법은 초기 단계의 화재를 감지하거나 산불 연기와 원거리에 위치한 화재를 감지할 수 있는 장점이 있어 실질적인 화재 예방에 도움을 줄 수 있다[4]. 이는 화재 발생 초기에 연기의 발생과 공기에 의한 연기의 자유로운 확산 성질을 이용한 것이다. 기존의 영상처리에 의한 연기 감지 방법은 다음과 같다.

Chen 등[5]은 규칙기반에 의한 연기 감지 방법을 제안하였다. RGB와 HSI 색공간을 이용하여 연기가 회색을 가지는 성질과 연기의 움직임이 불규칙한 모양으로 확산된다는 특성을 경험적 임계값에 적용하여 연기영역을 판단하였다. Yuan[6]은 연기영역은 위쪽 방향으로 상승하는 성질을 이용하여, 적분영상기반의 고속 누적 방법으로 움직임 벡터를 추정하고, 이를 방향 히스토그램으로 변환하여 상대적으로 위쪽 방향의 움직임 벡터가 많은 경우를 연기영역으로 판단하는 방법을 사용하였다. Lee 등[4]은 학습 연기 영상으로부터 연기의 밝기, 웨이블릿 고주파 성분, 움직임 벡터 등의 특징 값들을 추출하고, 이들 특징값들에 대해 가우시안 혼합 모델과 동적 베이지안 네트워크를 적용하여 연기를 감지하는 방법을 제안하였다. Toreyin 등[7]은 웨이블릿 변환을 이용하여 경계(contour) 기반의 연기 감지 방법을 제안하였다. 이 방법은 화재의 초기 단계에서 연기가 반투명하게 보인다는 사실에 기반을 두어 웨이블릿 변환 후 고주파성분의 변화를 특징으로 사용하였다. 또한, HMM(Hidden Markov Model)을 이용하여, 연기 경계에서 고주파성분이 주기적으로 깜빡거리는 상태를 파악하여 연기영역임을 검출하였다[7,8].

본 논문에서는, CCTV 영상에서 연기를 효과적으로 검출하는 새로운 방법을 제안한다. 제안한 방법은 입력 영상을 YUV 칼라 공간으로 변환하고 블록으로 분할한 후, 연기와 연기가 아닌 영역을 블록 기반으로 검출한다. 움직임과 색도(chromaticity)의 감소 및 블록의 평균 명도를 이용하여 연기 가능성이 높은 후보 연기 블록을 검출한다. 그리고 검출된 후보 연기 위치의 명도 블록에 대해서만 웨이블릿 변환을 수행하고, DC와 고주파 부대역 에너지 변화율간의 대소 관계를 연기의 투명도로 해석하여 최종 연기 블록을 검출한다.

본 논문의 구성은 2장에서는 후보 연기 블록 검출을, 3장에서는 제안한 부대역 에너지 변화율의 비를 이용한 연기 검출 방법을, 4장에서는 제안한 방법과 기존의 방법을 비교하여 성능을 평가 하였으며, 5장은 결론 순으로 구성된다.

 

2. 후보 연기 블록 검출

CCTV에서 촬영된 영상은 A×B 크기의 RGB 영상으로 시스템에 입력되며, 본 논문에서는 명도 Y와 색도를 효율적으로 분리하기 위하여, 식 (1)과 같이 입력 영상을 YUV 칼라 공간으로 변환하고, 잡음 제거를 위하여 연속 영상에서 이전 명도영상 Y(t-1)과 현재 명도 영상 Y(t)에 가우시안(Gaussian) 필터를 적용하였다. 식 (2)과 같이 이전과 현재영상의 동일 위치에서 화소의 변화량인 X가 임계치 δ 이상일 경우에만 연기 발생 후보 프레임으로 설정한다.

잡음 제거와 실시간으로 연기 영역을 검출하기 위하여 A×B 크기의 영상을 P×Q 크기의 블록으로 분할한다. 분할된 블록의 개수는 이며, 이후 모든 처리 과정은 계산의 효율성을 위하여 블록 기반으로 수행된다.

연기를 구분하는 특징으로는 움직임, 색도, 명도등을 들 수 있다. 그러므로 분할된 블록이 연기일 가능성이 높으면 1로 반대는 0으로 설정하는 후보 연기 블록 정보를 검출하기 위하여 움직임 추정과 색도의 변화 및 명도의 범위 정보를 저장하는 배열을 생성하고, 이 3가지 조건을 모두 만족하는 블록의 정보를 저장하는 후보 연기 배열을 생성하였다.

연기는 공기에 의해 확산되므로 시간 t와 t-1의 연속 프레임에서 명도 프레임 Y의 i번째 블록에 대한 차영상 Di(p,q)=|Yi(p,q,t)-Y(p,q,t-1)| 를 생성하여 블록의 움직임 여부를 판단한다. 식 (3)과 같이 Di에서 임계치가 Th 이상인 화소가 1개라도 있으면 움직임 추정 배열 Mi는 1로 설정하였다.

여기서 p와 q는 i번째 블록내의 공간좌표이며, 아래와 같이 반복적으로 순환하여 최적의 임계치(threshold) Th 를 구하였다[9].

단계 1: 초기 임계치 Th 를 임의로 결정한다.

단계 2: 화소값이 Th 보다 작은 화소들의 평균을 u1이라고 하고 Th 보다 큰 화소들의 평균을 u2라고하여 임계치를 아래와 같이 갱신한다.

단계 3: Th 값에 변화가 없을 때까지 2단계를 반복한다.

그러나 움직임 영역으로 분류된 화소들이 움직이는 물체로 인해 발생하였는지 아니면 실제 연기에 의해서 발생하였는지를 구분하는 추가 과정이 필요하다.

칼라 정보는 연기를 구분하는데 좋은 정보이다. 연기의 색은 연소 물질에 따라 흰색, 회색 및 검은색등의 무채색의 회색조 성질을 가지므로 RGB 칼라 공간에서 R, G, B 각각의 칼라 값이 유사한 특성을 가진다. Toreyin 등[7]은 움직이는 물체와 연기를 구분하기 위하여 식 (1)의 U와 V의 값이 감소하는 화소들을 연기 분류 조건으로 정하였다. 이는 연기의 초기 확산시 연기가 반투명 성질을 가지고, 시간이 지나 연기가 두꺼워질수록 이전 영상에 비해 현재영상의 색도 채널인 U와 V의 값들이 감소하는 성질을 이용한 것이다. 그러므로 연기 블록을 색도의 감소로 구분하기 위하여 식 (6)과 같이 색도의 크기 Si가 이전 영상보다 감소하는 화소가 1개라도 있으면 색도 추정 배열 Ki는 1로 설정하였다.

Yuan[6]은 연기의 색을 R, G, B 중 최대값과 최소값의 차이가 임계치 미만이고 명도가 특정 범위내에 있는 화소들을 연기 분류 조건으로 정하였다[5,10]. 그러므로 연기 블록을 명도로 구분하기 위하여 식 (8)과 같이 현재 블록의 평균 값 Hi가 특정 범위 내에 있을 경우에만 명도 추정 배열 Li를 1로 설정하였다.

본 논문에서는 연기를 구분하는 움직임, 색도의 감소 및 명도의 범위를 식 (9)와 같이 AND 결합하여 블록 기반의 후보 연기 배열 Gi를 생성하였다.

 

3. 제안한 부대역 에너지 변화율의 비를 이용한 연기 검출 방법

매우 다양한 색상과 형상을 가지며, 주위 환경에 따라 다양한 모양으로 확산되는 연기를 영상 정보로부터 정확하게 검출하는 것은 매우 어렵다. 특히 연기와 비슷하게 불규칙적으로 변화하는 객체를 화재시 발생하는 연기로 오검출하는 가능성이 높다. 따라서 움직이는 객체와 연기를 정확히 구분할 수 있는 영상의 특정 정보를 이용한 연기 감지 기술이 절실히 요구된다.

본 논문에서는 웨이블릿 변환을 이용하여 구한 웨이블릿 계수들의 부대역별 에너지 값 및 이들 간의 관계를 이용하여 움직이는 객체와 연기를 구분하는 방법을 제안한다. 제안한 방법은 DC 부대역 에너지 변화율 및 고주파 부대역 에너지의 변화율간의 대소관계에 기초하여 연기를 신뢰성 있게 검출한다.

연기의 발생과 확산은 영상의 저주파와 고주파의 값을 변화시키므로, 블록의 DC와 고주파 에너지의 상관관계를 해석하기 위하여 2장에서 구한 Gi가 1인 명도 영상 Y의 i번째 블록에 대해서만 웨이블릿 변환을 수행한다. 연산량을 줄이기 위하여 저주파 대역 통과 필터 계수 [1, 1]과 고주파 대역 통과 필터 계수[1, -1]을 가지는 Harr[11]의 QMF(Quadrature Mrror Filter)로 1 분할하고 웨이블릿 변환된 블록 W를 생성한다. 분할된 부대역은 평탄, 수직, 수평, 대각의 방향을 나타내는 크기의 LL, HL, LH, HH의 네개의 부대역으로 구성된다. LL 부대역은 저주파 값을 나타내고 HL, LH, HH 부대역은 고주파 값을 나타내므로 각각 DC 부대역과 고주파 부대역으로 구분할 수 있다. 식 (10)과 (11)은 각각 블록의 DC 부대역과 고주파 부대역의 에너지인 EDC와 EH를 나타낸다.

연기의 불규칙한 확산은 연속 영상에서 DC 부대역과 고주파 부대역의 에너지를 변화시킨다. 이러한 특성을 이용하여 본 논문에서는 식 (12)의 DC 부대역 에너지 변화율 CDC와 식 (13)의 고주파 부대역의 에너지 변화율 CH 그리고 CDC와 CH의 대소 관계를 연기의 투명도로 해석하여 최종 연기 블록을 결정하는 방법을 제안한다.

여기서 t와 t-1은 현재와 이전 블록을 의미하며 블록의 비교는 공간상의 동일 위치에서 수행된다.

제안한 방법에서는 DC 부대역 에너지 변화율 CDC에 기초하여 연기의 밝기와 투명도를 계산하고, 계산된 결과와 식 (14)의 부대역별 에너지 변화율 R의 값에 의해 연기 블록을 판단한다. 이는 CDC와 CH간의 대소 관계에 기초하여 R과 1의 차이가 임계치를 초과할 경우 후보 연기 블록을 최종 연기 블록으로 결정한다. 이는 부대역간의 에너지 비를 이용한 것이다.

먼저 연기의 밝기와 투명도에 따라 CDC가 결정된다. 연기의 투명도가 높을 경우, 이전과 현재 블록의 밝기 값이 유사하여 CDC가 1에 근접하게 되고, 연기가 두꺼워져서 투명도가 낮을 경우에는 CDC가 발생된 연기 고유의 밝기에 좌우된다. 연기의 명도가 작을수록 CDC가 0에 가까우며, 연기의 명도가 클수록 CDC가 1에서 더 큰 값으로 멀어진다. 즉, CDC 가 1보다 큰 방향 또는 작은 방향으로 멀어질수록 연기의 투명도가 낮아지며 1과 가까워질수록 연기의 투명도가 높아진다. 일반적으로 연기의 확산시 투명도의 변화는 블록의 대부분 에너지를 가지고 있는 DC 부대역의 에너지 변화율 CDC가 CH 보다 현저히 변화 값이 크다. 이는 CDC를 기준으로 R 값의 범위를 결정하는 중요한 단서가 된다. 그러므로 후보 연기 블록에서 CDC＜1 과 CH＜1 인 경우, 연기의 투명도가 낮은 경우에는 CDC의 값이 1에 먼 값을 가지고 CH의 값은 CDC 보다는 1에 가까우므로 CH＞CDC 를 만족하게 되어 R의 값은 1보다 작게 된다. 만약 동일 조건에서 연기의 투명도가 높을 경우, CDC는 거의 1에 가까운 값을 가지므로 CH＜CDC를 만족하여 R의 값은 1보다 크게 된다. 그러므로 본 논문에서는 CDC와 CH를 1과의 대소 관계에 따라 R이 β 이상이거나 γ 이하인 블록을 최종 연기 블록으로 결정한다. β와 γ가 1을 기준으로 멀어질수록 에너지의 변화가 큰 블록만 검출함을 뜻하며, 이는 연기 인식 프레임의 수를 감소시켜 오인식 프레임의 수를 감소시킨다. 표 1은 연기의 투명도에 따라 이전과 현재 블록간의 부대역별 에너지 변화에 대응되는 R의 범위를 나타내었다. 표 1에서 알 수 있듯이 CDC≥1 이고 CH＜1 의 경우와 CDC＜1 이고 CH≥1 의 경우에는 투명도와 관계없이 각각 R＞β 와 R≤γ 를 만족한다. 그러므로 식 (15)의 6가지 조건 중 한 개라도 만족하면 최종 연기블록으로 판정한다.

표 1.DC와 고주파 에너지 변화에 대응되는 R의 범위

그림 1은 제안한 방법을 이용하여 연기를 검출한 결과 영상이며, 그림 2는 제안한 방법의 전체 흐름도이다.

그림 1.제안한 방법을 이용한 연기 검출 결과

그림 2.제안한 방법의 전체 흐름도

 

4. 실험결과 및 고찰

본 논문에서 제안한 방법의 성능을 평가하기 위해서 기존의 웨이블릿 변환 영역에서의 연기 검출 방법 중 우수한 성능을 가지는 Toreyin 등[7]의 방법과 Lee 등[4]의 방법에 대해 성능을 비교하였다. 실험에 사용된 동영상은 Toreyin 등의 실험 영상과 동일한 실내, 창가, 실외 영상 총 3개의 동영상을 사용하였다. 영상의 크기는 256 × 256의 크기로 영상을 정규화시켜 32 × 32 크기의 블록으로 분할하였으며, 연기 블록이 1개라도 검출되면 연기프레임으로 인식하였다. 실험을 통하여 연기 발생 후보 프레임을 구분하는 임계치 X는 0.3으로, 색도의 비율에 대한 임계치 τ는 0.9로, 블록의 명도 평균에 대한 유효 범위 Y1과 Y2는 각각 110과 230으로 설정하였다. 또한, 부대역별 에너지 비율 R의 범위 결정에 사용되는 γ와 β는 각각 0.8과 1.2로 설정하였다. 성능의 객관적인 평가를 위해 각각의 영상들의 총 프레임수와 화염이 포함된 프레임의 수를 미리 계산하고 화염이 포함된 프레임을 얼마나 찾아내는지를 나타내는 식 (16)의 검출율(true positive rate)과 화염이 포함되지 않는 프레임을 화염으로 인식하는 식 (17)의 오검출율(false positive rate)을 성능 평가 인자로 사용하였다.

표 2는 제안한 방법으로 연기를 검출한 결과를 나타내었으며, Movie 1과 Movie 2 및 Movie 3 동영상에 대한 미검출 프레임이 각각 16개, 11개, 48개로 나타난다. Movie 1은 연기가 카메라 렌즈를 가리게 되어 영상의 밝기가 어두워지면서, 식 (8)의 평균 명도 조건을 불만족하여 후보 연기 블록에 제외되었으며, Movie 2는 화재 초기에 연기 영역이 너무 작아, 식 (2)의 프레임 명도 변화율 조건을 불만족하여 후보 연기 프레임에서 제외되었다. Movie 3은 화로의 불이 불규칙하게 변화하는 화재 초기에 연기의 투명도가 매우 높아, 부대역 에너지 변화율의 비 R이 0.8＜R＜1.2 의 범위에 속하는 경우와 식 (15)와 같이 속하지 않는 경우가 불규칙하게 발생된다. 이는 후보 연기 블록으로는 검출이 되었으나, R이 1에 근접하는 경우와 멀어지는 경우가 불규칙하게 발생되어 48개의 미검출 프레임과 8개의 오검출 프레임이 발생되었다. 표 3은 Lee 등[4]의 논문에 수록된 기존의 웨이블릿을 이용한 연기검지 방법의 결과 값을 인용하여 제안한 방법과 성능을 비교한 결과이다. 표 3의 결과에서 알 수 있듯이 검출율과 오검출율이 제안한 방법이 기존의 방법보다 현저히 개선된 결과를 나타낸다. 그림 2는 3개의 실험 동영상에 대해 제안한 방법으로 연기를 검출한 결과영상이며, 검출 블록을 초록색 경계사각형으로 표시하였다.

표 2.제안한 방법의 연기 검출 결과

표 3.제안한 방법과 기존의 방법과 연기 검출 성능 비교

그림 3.연기 검출 영상. (a) 실내영상 (b) 창가영상 (c) 실외영상

 

5. 결 론

화재란 대부분 연기가 먼저 발생하고 화염이 그 후에 발생하는 순서를 가진다. 그러나 주위 환경에 따라 매우 다양한 색상과 형상으로 확산되는 연기를 영상으로부터 정확하게 검출하는 것은 매우 어렵다. 특히 연기와 비슷하게 불규칙적으로 변화하는 객체와 연기를 정확히 구분할 수 있는 연기 감지 기술개발이 절실히 요구된다.

본 논문에서는 화재를 감지하기 위한 여러 가지 방법들 중에서 고정된 CCTV에서 획득된 영상에서 연기를 검출하는 방법을 제안하였다. 제안한 방법은 영상을 블록으로 분할하여 움직임, 색도의 감소, 블록의 명도 평균값을 이용하여 후보 연기 블록을 검출하였다. 또한, 웨이블릿 변환 영역에서 DC 부대역 에너지 변화율 및 고주파 부대역 에너지의 변화율간의 대소 관계를 연기의 투명도로 해석하여 연기를 검출하는 하는 방법을 제안하였다. 실험을 통하여 제안한 방법이 기존의 웨이블릿 변환 영역에서의 연기 검출 방법보다 검출율과 오검출율이 현저히 향상되는 것을 확인 하였다.

제안한 방법은 카메라가 고정되어야 하고 연기 영역이 일정 크기 이상이 되어야 하므로 근거리 화재 감시에 적합하다. 향후 연구에서는 산불영상과 같은 원거리 영상에 대한 연기 감지 방법의 연구가 진행되어야 할 것이다.