Smoke Detection Method Using Local Binary Pattern Variance in RGB Contrast Imag

RGB Contrast 영상에서의 Local Binary Pattern Variance를 이용한 연기검출 방법

Abstract

Smoke detection plays an important role for the early detection of fire. In this paper, we suggest a newly developed method that generated LBPV(Local Binary Pattern Variance)s as special feature vectors from RGB contrast images can be applied to detect smoke using SVM(Support Vector Machine). The proposed method rearranges mean value of the block from each R, G, B channel and its intensity of the mean value. Additionally, it generates RGB contrast image which indicates each RGB channel’s contrast via smoke’s achromatic color. Uniform LBPV, Rotation-Invariance LBPV, Rotation-Invariance Uniform LBPV are applied to RGB Contrast images so that it could generate feature vector from the form of LBP. It helps to distinguish between smoke and non smoke area through SVM. Experimental results show that true positive detection rate is similar but false positive detection rate has been improved, although the proposed method reduced numbers of feature vector in half comparing with the existing method with LBP and LBPV.

1. 서 론

화재 발생 시 연기와 화염이 동시에 발생되지만 확산에 의해 멀리서도 연기의 발생을 확인 가능하여, 연기의 감지는 조기에 화재를 감지하기 위한 첫 걸음이라 할 수 있다[1,2]. 연기검출 센서의 발전에 힘입어 지금까지는 화재의 조기 경보를 위해 다양한 장소에 연기 센서를 설치하여 화재를 감시하는 방법이 주를 이루었다. 하지만 실외의 경우나, 실내의 공간이라도 충분한 환기로 공기의 확산이 활발해서 연기의 입자를 센서가 인식할 수 없는 상태일 경우와, 환기에 따른 연기의 흐름이 설치한 센서에 접촉이 불가능한 경우에는 연기검출의 정확도는 낮아진다. 따라서 이를 대체할 새로운 방법으로 최근에 실내와 실외 구별 없이 영상처리를 이용하여 연기를 검출하는 방법이 많이 연구되고 있다[3-5]. 이는 기존의 방범용으로 설치된 CCTV도 활용 가능하고 연기의 유무를 확인하는 인력을 줄일 수 있어 화재 경보 시스템 구축 비용을 줄일 수 있는 장점이 있다.

Chen 등[3]은 저주파 신호에서 연기 분리를 위해 RGB Contrast 영상을 생성하고, 이를 웨이블릿 변환하여 고주파 대 저주파 부대역 에너지 비와 둘레 대 넓이의 비를 이용하여 연기를 검출하는 방법을 제안하였다. 이는 저주파 특성을 가지는 무채색인 연기와 순색(pure color)을 구별하기 위해, 무채색에서는 분산이 작고 순색에서는 분산이 큰 RGB Contrast 영상으로의 변환을 통하여 연기검출 성능을 개선하였다. Yuan[4]은 연기가 상승하는 특징을 이용하여, 움직임벡터에 대한 방향 히스토그램을 생성하고 상대적으로 위쪽 방향의 움직임 벡터가 많은 경우 연기로 판단하는 방법을 제안하였다. 그러나 연기뿐만 아니라 다른 물질들도 위쪽방향으로 상승하며 카메라의 원근법에 의하여 지상에 위치한 물체들도 고정된 카메라 영상 기준으로 위쪽으로 상승하는 현상이 발생한다. 또한 야외의 공기 흐름에 따라 연기 방향이 불규칙하게 변화하므로 오검출 비율이 높아질 수 있다. Yuan[5]은 다중 스케일의 피라미드 영상에서 회전과 조명에 강한 LBP(local binary patten)와 LBPV(local binary patten variance) 히스토그램을 구하고, 각 히스토그램을 결합하여 생성된 특징벡터를 신경망 분류기에 학습시켜 연기를 검출하는 방법을 제안하였다.

본 논문에서는 RGB Contrast 영상에서의 LBPV를 특징벡터로 생성하고, SVM(Support Vector Machine) 기반의 분류기를 사용하여 연기를 검출하는 방법을 제안한다. 제안한 방법에서는 연기의 움직임 특성을 이용하여 Collins 등[6]의 배경 분리 방법으로 연기와 배경을 분리하여 움직임이 있는 화소를 연기 후보 화소로 정하고, 일정 크기 블록의 총 화소수에 대한 연기 후보 화소 수가 80% 이상인 블록을 연기 후보 블록으로 설정하였다. 그리고 R, G, B 각 채널에서의 블록의 평균값과 명도를 재배열하여, R, G, B 각 채널의 대비를 나타내는 RGB Contrast 영상을 생성하였다. 이는 RGB Contrast 영상에서 무채색 영역은 대비가 작고 순색에 가까울수록 대비가 큰 특성을 이용하여 대비가 작은 영역을 순색과 구별하여 연기로 분류하기 위함이다. 다음으로 RGB Contrast 영상에 가우시안(gaussian) 저역통과필터로 다중 스케일의 3 단계 피라미드 영상을 생성하고 Uniform LBPV, Rotation-Invariance LBPV, RotationInvariance Uniform LBPV 히스토그램을 구한다. 각각의 히스토그램을 연결하여 105 차원의 특징벡터를 생성하고, 적은 양의 학습 데이터에서도 인식률이 뛰어난 SVM(Support Vector Machine)을 사용하여 연기 영역과 비연기 영역을 구분하는 분류기를 구현하였다. 연기 영역의 검출은 배경분리를 통해 구하여진 연기 후보 블록과 동일 위치의 블록에서 추출된 특징 벡터가 SVM을 이용한 분류에 연기 블록으로 결정되면 최종 연기 블록이라 결정하였다.

 

2. 기존의 연기 검출 방법

2.1 배경분리를 통한 후보 연기 블록 검출

차영상을 이용한 배경분리는 영상의 배경과 움직이는 물체를 구별하는 방법 중 하나이다. 연기는 공기의 확산에 의해 움직이는 물체 중 하나이므로, 제안한 방법에서는 Collins 등[6]의 방법을 사용하여 식 (1)과 같이 n번째 현재영상 In(i,j)와 배경영상 Bn(i,j)와의 차영상 DIn(i,j)를 구하였으며, 배경영상 갱신 수식은 식 (2)와 같다. 식 (3)은 차영상에서 임계값 Thb 이상인 화소를 연기 후보 화소로 설정하여 이진영상 FIn(i,j)를 생성하였으며, 실험을 통하여 배경영상의 가중치 α는 0.98로, Thb의 값을 30으로 설정하였다.

제안한 방법은 입력 영상을 일정 크기로 분할하여 연기 블록을 검출하므로 블록의 연기 후보 화소 수가 블록의 총 화소 수의 80% 이상인 블록을 연기 후보 블록으로 설정하였다.

2.2 RGB Contrast 영상을 이용한 연기검출 방법

Chen 등[3]은 무채색인 연기와 순색 영역이 동일한 저주파 특성을 가지고 있어 용이한 구별을 위해, 식 (4)와 같이 R, G, B 세 개의 값들 중 최대(Max), 중간(Mid), 최소(Min) 값으로 Fig. 1의 RGB Contrast 영상 CI(i,j)를 생성하였다.

Fig. 1의 (a)와 (c)는 붉은색 영상과 무채색 영상을 나타내며 (b)와 (d)는 각각 (a)와 (c)의 RGB Contrast 영상을 나타낸다. Fig. 1의 결과에서 알 수 있듯이 무채색은 분산이 작고, 순색은 분산이 큰 영상으로 변환되어 웨이블릿 변환 시 무채색 영역은 저주파 부대역 에너지가 증가되고 순색 영역은 고주파 부대역 에너지가 증가되어 두 영역의 분리가 용이하다.

Fig. 1.Compare smoke with other pure-color objects. (a) Red image, (b) RGB Contrast image of (a), (c) Gray(smoke) image and (d) RGB Contrast image of (c).

그러나 Fig. 2와 같이 명도와 채도의 크기가 동일하고 색상만 다른 경우에 동일한 RGB Contrast 영상으로 변환되어 매우 중요한 정보인 공간영역에서의 색상에 대한 형태 특징이 사라진다. 또한, 무채색 물체와 연기를 세밀하게 구별할 수 있는 정보인 RGB Contrast 영상에서의 R, G, B 각 채널의 대소 관계도 사라진다. 그러므로 무체색의 물체와 연기를 잘 구분할 수 있는 추가적인 방법이 필요하다.

Fig. 2.Comparison between different color objects. (a) Green image, (b) RGB Contrast image of (a), (c) Red image and (d) RGB Contrast image of (c).

2.3 LBPV를 이용한 질감 분석

공간영역에서 영상의 질감(texture)은 연기 검출을 위한 중요한 특징 중 하나이며, 식 (5)의 LBP는 명도 영상에서 질감을 분류하는 효과적인 특징으로 많이 사용된다.

여기서 qc는 중앙위치의 화소값, qi는 qc의 주변 이웃 화소값, P는 주변 화소 수, R은 qc와 qi의 Euclidean 거리를 나타낸다. 일반적으로 P = 8 , R = 1인 LBP를 많이 사용하며 P와 R이 증가하면 컴퓨터 연산량이 증가한다. 일반적인 LBP는 00000000(2) ∼11111111(2)까지 256개의 특징벡터가 존재하며 이를 분석함에 있어서 많은 컴퓨터 연산량이 요구된다. 이러한 단점을 보완하기 위해 Ojala 등[7,8]은 LBP 형태를 Uniform과 Non-uniform으로 나누고, 식 (7)의 이진수열 변화(0−>1 or 1−>0) 횟수 u가 2 이하이면 Uniform, 2를 초과할 경우 Non-uniform으로 정의하여 식 (8)을 이용하여 59개의 특징벡터를 생성하였다.

그리고 식 (9)와 같이 우쉬프트 함수 ROR을 이용하여 36개의 회전불변(rotation-invariant) 형태인 와, 식 (10)의 회전불변유니폼(rotation-invariant-uniform) 형태인 를 구하여 10개의 특징벡터를 생성하였다.

Fig. 3은 중앙위치의 화소값과 주변 이웃 화소값들과의 분산이 작거나 큰 영상에 대해 LBP 결과를 나타낸다. Fig. 3의 결과에서 알 수 있듯이 물체의 질감 연산자인 LBP는 중앙값과 주변 화소와의 단순 대소 관계를 나타내므로 분산이 크고 작음이 표현되지 않아 분산이 다른 영상에서도 동일한 LBP 결과를 나타낸다.

Fig. 3.LBP texture operator of images. (a) Small variance image, (b) LBP of (a), (c) Large variance image and (d) LBP of (c).

LBP는 지역적 공간 형태의 정보를 제공하는 반면 분산은 화소들간의 차이를 나타내므로, 연기검출 과정에서 분산은 영상의 질감을 나타내는 중요한 정보이다. 그러므로 공간 형태의 정보를 제공하는 LBP와 화소들간의 차이를 나타내는 식 (11)의 분산과의 결합은 지역적 형태와 대비(contrast)를 동시에 나타낼 수 있다.

여기서 P는 주변 화소 qp의 개수를 나타내며 u는 qp의 평균을 나타낸다. 그러나 분산은 연속값을 나타내므로 결합 히스토그램을 계산하기 위해서는 분산값에 대한 양자화 과정이 필요하다. 양자화 과정을 없애기 위하여 Guo 등[8]은 식 (13)의 LBPV 히스토그램을 제안하였다

Yuan[5]은 다중 스케일의 피라미드 명도 영상을 생성하여 질감 연산자인 LBP와 LBPV 히스토그램을 구하고, 각 히스토그램을 연결하여 생성된 특징벡터를 신경망 분류기에 학습시켜 연기를 검출하는 방법을 제안하였다. 이는 연기와 비연기 객체를 구분하는 분류기 학습에 210 차원의 특징벡터를 사용하여 많은 컴퓨터 연산이 요구되므로, 학습에 요구되는 시간과 연기를 분석하여 검출하는 시간의 감소를 위하여 분류 성능은 유지하면서 특징벡터의 개수를 감소시키는 방법이 필요하다.

 

3. 제안한 RGB Contrast 영상에서의 LBPV를 이용한 연기검출

3.1 색의 평균값과 명도로 구성된 RGB Contrast 영상

일반적으로 연기는 연소 물질에 따라 색이 변화하지만 동일한 발화점에서 발생하는 연기일 경우 동일한 색상을 가지므로 연기검출 과정에서 R, G, B 각각의 화소값은 중요한 의미를 가진다. 본 논문에서는 식 (14)와 같이 2 × 2 컬러영상에 R, G, B 각 채널에 대한 평균값과 명도를 구하여 Fig. 4와 같이 재배열된 RGB Contrast 영상을 생성하는 방법을 제안한다.

Fig. 4.Comparison between different color objects in the proposed method. (a) Green image, (b) RGB Contrast image of (a), (c) Red image and (d) RGB Contrast image of (c).

제안한 방법은 R, G, B 각 화소값의 유사도가 클수록 무채색에 근접하여 재배열된 RGB Contrast 영상의 화소값 차이가 작고, 무채색이 아닌 경우 반대 결과를 나타낸다. 제안한 방법은 Chen 등[3]의 방법의 장점인 순색과 연기의 구분이 용이할 뿐 만 아니라 R, G, B 각각의 평균값을 보존하여 색상의 형태 특징도 보존하는 방법이다. 이는 LBPV를 이용한 질감 분석 시 성능 개선의 결과를 가져온다.

3.2 LBPV 피라미드와 결합히스토그램 생성

본 논문에서는 다중 스케일의 피라미드 영상에서 제안한 RGB Contrast 영상으로 변환하여 LBPV 결합히스토그램을 생성하고, 이를 SVM 분류기에 적용하여 연기를 검출하는 방법을 제안한다. 제안한 방법은 연기의 무채색 특성으로 인하여 연기 영역에서의 RGB Contrast 영상의 분산을 증가시켜 연기와 비연기 영역의 LBPV 형태의 구분을 용이하게 만든다. 또한 컬러와 명도 정보를 가진 RGB Contrast 영상에서 명도와 R, G, B 값들의 대소 관계에 따른 LBPV를 추출하므로 Yuan[5]의 명도 영상에서의 LBPV 추출 방법보다 세밀하게 특징을 추출할 수 있다. 제안한 방법에서는 105 차원의 LBPV 결합히스토그램만을 추출하여 Yuan[5]의 210 차원의 LBP와 LBPV 결합히스토그램의 특징 개수를 반으로 감소시켰다. 이는 연기 영역의 분산을 증가시키는 RGB Contrast 영상에서 특징을 추출하여 연기와 비연기의 분류 성능은 유지하면서 학습에 요구되는 연산량을 현저히 감소시킨다.

제안한 방법은 RGB Contrast 영상에 가우시안(gaussian) 저역통과필터링으로 Fig. 5의 다중 스케일의 3단계 피라미드 영상을 생성하고, 원영상 I0와 1/4과 1/16 크기로 축소된 영상 I1과 I2를 각각 16×16, 8×8, 4×4 크기의 블록으로 분할한다. I0의 블록마다 Uniform LBPV 히스토그램을, I1은 Rotation-Invariance LBPV 히스토그램을, I2는 Rotation-Invariance Uniform LBPV 히스토그램을 각각 추출하여 결합히스토그램을 생성한다. 분류기에 학습데이터로 사용될 결합히스토그램은 LBPVu2 59개, LBPVri 36개, LBPVriu2 10개를 더해 모두 105 차원이다.

Fig. 5.Image and LBPV pyramids. (a) image pyramid and (b) LBPV pyramid.

3.3 SVM을 이용한 분류

SVM 알고리즘은 그룹을 분류하기 위하여 그룹간의 거리를 최대로 하는 함수를 만드는 개념이다. 분류를 위한 SVM은 SVM의 차원을 최소화 하는 가장 큰 마진값을 가진 긍정적 값과 부정적 값을 클래스로 분리하는 결정평면으로서 초평면을 만드는 것이다. 만들어진 초평면 함수를 바탕으로 실제로 분류할 자료를 긍정적 값과 부정적 값으로 분류한다.

본 논문에서는 먼저 1개의 훈련 동영상에서 16 × 16 크기의 연기 블록 30개에서 다중 스케일에서의 LBPV 히스토그램을 추출하고 결합하여, 105 차원의 결합히스토그램 30개를 학습데이터로 생성하였으며, 비연기 블록도 동일한 방식으로 105 차원의 결합히스토그램 50개를 학습데이터를 생성하였다. 생성된 연기 블록과 비연기 블록의 LBPV의 결합히스토그램을 각각 긍정적 값과 부정적 값으로 레이블링한 후 학습을 시켜 두 클래스를 분리하는 초평면 함수를 만들었다. SVM은 Opencv에서 제공하는 2.4.3 버전을 사용하였으며, 학습데이터로 사용하는 105 차원의 LBPV 결합히스토그램은 고차원의 분류가 필요하여 비교적 연산량이 작은 선형 SVM을 사용하였다.

제안한 방법에서의 영상 입력 시 연기검출 방법은 다중 스케일의 피라미드 영상을 RGB Contrast 영상으로 변환하고 LBPV 히스토그램 추출하야 결합히스토그램을 생성한다. 다음으로 SVM의 분류 경계와의 거리에 따라 연기와 비연기 블록으로 구분하고, 연기로 분류된 블록이 배경분리에서 연기 후보 블록일 경우에만 연기 블록으로 결정한다. Fig. 6에서 제안한 연기검출 방법의 개략적인 흐름도를 나타내었다.

Fig. 6.The flow chart of the proposed method.

 

4. 실험 결과 및 고찰

본 논문에서 제안한 방법의 성능 평가를 위해 기존의 LBP와 LBPV를 이용한 Yuan[5]의 방법과 성능을 비교하였다. 제안한 방법은 Toreyin 등[9]의 논문에 사용된 동영상 3개와 직접 제작한 연기 동영상 1개를 추가하여 총 4개의 동영상을 실험에 사용하였다. 이는 Yuan의 학습영상보다 현저히 적은 양의 학습 데이터로 연기검출 성능을 확인하기 위함이며, Yuan의 방법에 2장 1절의 배경분리를 추가하여 동일한 실험 환경에서 성능을 비교하였다. Fig. 7에서 훈련 동영상 Fig. 7의 (a)와 새로운 동영상들에 제안한 방법을 적용하여 검출한 연기 블록을 초록색 경계 사각형으로 표시하였으며, 연기 블록이 1개라도 검출되면 연기 프레임으로 인식하였다. 성능의 객관적인 평가를 위해 각각의 영상들의 총 프레임수와 화염이 포함된 프레임의 수를 미리 계산하고 연기가 포함된 프레임을 얼마나 찾아내는지를 나타내는 식 (15)의 검출율(true positive rate)과 화염이 포함되지 않는 프레임을 화염으로 인식하는 식 (16)의 오검출율(false positive rate)을 성능 평가 인자로 사용하였다.

Fig. 7.Detected smoke frames of the proposed method. (a) Movie 1(training video), (b) Movie 2, (c) Movie 3 and (d) Movie 4.

Table 1과 Table 2는 제안한 방법과 Yuan의 방법에서 올바른 인식 프레임 수와 오인식 프레임 수를 나타내었다. 실험 결과에서 알 수 있듯이 두 방법 모두 Movie 2와 Movie 3에서 오인식 프레임이 나타났으며 Yuan의 방법이 더 많은 오인식 프레임이 나타났다. 이는 Movie 2와 Movie 3 모두 연기와 비슷한 무채색의 물체가 존재하여 훈련동영상 Movie 1에서 생성한 학습데이터만으로 정확한 분류가 되지 않기 때문이다. 제안한 방법과 Yuan의 방법 모두 Movie 1을 제외한 모든 동영상에서 몇몇 프레임을 연기 프레임으로 인식하지 못하였는데 이는 배경분리 시 식 (2)의 Thb의 값보다 작은 명도 차이를 보인 블록에서 미검출 프레임이 나타났다.

Table 1.Experimental results of the proposed method

Table 2.Experimental results of Yuan’s method

Table 3은 제안한 방법과 Yuan의 방법에 대해 검출율과 오검출율 성능 비교 결과이다. 제안한 방법이 검출율은 Yuan의 방법과 거의 유사하지만 오검출율은 훨씬 우수한 성능을 나타낸다. Fig. 8의 (a)와 (b)는 각각 제안한 방법과 Yuan의 방법의 오검출 프레임을 나타낸다. 제안한 방법은 Movie 2에서 움직이는 영역 중 일부분이 오검출 되었으며 Movie 3은 무채색 영역의 검은색 사람이 연기로 오검출 되었다. 그러나 Yuan의 방법이 제안한 방법보다 더 많은 블록들이 연기 블록으로 오인식 되는 것을 실험을 통하여 확인할 수 있다. 이는 기존의 210 차원의 특징벡터를 105 차원의 특징벡터로 감소시켜 학습하였음에도 불구하고 Yuan의 방법보다 오검출율에서 향상된 성능을 나타내는 결과이다.

Table 3.Smoke detection performance comparisons on Movies

Fig. 8.False alarm frames. (a) the proposed method and (b) Yuan’s method.

 

5. 결 론

본 논문에서는 다중 스케일의 피라미드 영상에서 R ,G B 각 채널에서의 블록 평균값과 명도로 구성된 RGB Contrast 영상을 생성하고, LBPV 결합히스토그램을 생성하여 SVM 분류기를 이용하여 연기를 검출하는 방법을 제안하였다. 제안한 방법은 순색과 연기의 구분이 용이할 뿐 만 아니라 색상의 형태 특징도 보존하여, LBPV 결합히스토그램을 이용한 분류 시 무채색 물체와 연기를 세밀하게 구별하여 오검출 성능의 개선 결과가 두드러진다. 또한 기존의 방법보다 특징벡터의 수를 반으로 줄여 학습에 소요되는 연산량을 감소하였음에도 불구하고, 기존의 방법보다 향상된 연기검출 성능을 가진다.

제안한 방법은 연기 후보 블록 결정 조건에 고정 임계치를 사용하는 문제점을 가진다. 향후 연구에서는 LBPV와 연동되는 적응적 임계치 설정 방법에 대한 연구가 진행되어야 할 것이다.