Deep Learning Structure Suitable for Embedded System for Flame Detection

불꽃 감지를 위한 임베디드 시스템에 적합한 딥러닝 구조

Abstract

In this paper, we propose a deep learning structure suitable for embedded system. The flame detection process of the proposed deep learning structure consists of four steps : flame area detection using flame color model, flame image classification using deep learning structure for flame color specialization, $N{\times}N$ cell separation in detected flame area, flame image classification using deep learning structure for flame shape specialization. First, only the color of the flame is extracted from the input image and then labeled to detect the flame area. Second, area of flame detected is the input of a deep learning structure specialized in flame color and is classified as flame image only if the probability of flame class at the output is greater than 75%. Third, divide the detected flame region of the images classified as flame images less than 75% in the preceding section into $N{\times}N$ units. Fourthly, small cells divided into $N{\times}N$ units are inserted into the input of a deep learning structure specialized to the shape of the flame and each cell is judged to be flame proof and classified as flame images if more than 50% of cells are classified as flame images. To verify the effectiveness of the proposed deep learning structure, we experimented with a flame database of ImageNet. Experimental results show that the proposed deep learning structure has an average resource occupancy rate of 29.86% and an 8 second fast flame detection time. The flame detection rate averaged 0.95% lower compared to the existing deep learning structure, but this was the result of light construction of the deep learning structure for application to embedded systems. Therefore, the deep learning structure for flame detection proposed in this paper has been proved suitable for the application of embedded system.

본 논문에서는 불꽃 감지를 위한 임베디드 시스템에 적합한 딥러닝 구조를 제안한다. 제안하는 딥러닝 구조의 불꽃 감지 과정은 불꽃 색깔 모델을 사용한 불꽃 영역 검출, 불꽃 색깔 특화 딥러닝 구조를 사용한 불꽃 영상 분류, 검출된 불꽃 영역의 $N{\times}N$ 셀 분리, 불꽃 모양 특화 딥러닝 구조를 사용한 불꽃 영상 분류 등의 4가지 과정으로 구성된다. 첫 번째로 입력 영상에서 불꽃의 색만을 추출한 다음 레이블링하여 불꽃 영역을 검출한다. 두 번째로 검출된 불꽃 영역을 불꽃 색깔에 특화 학습된 딥러닝 구조의 입력으로 넣고, 출력단의 불꽃 클래스 확률이 75% 이상에서만 불꽃 영상으로 분류한다. 세 번째로 앞 단에서 75% 미만 불꽃 영상으로 분류된 영상들의 검출된 불꽃 영역을 $N{\times}N$ 단위로 분할한다. 네 번째로 $N{\times}N$ 단위로 분할된 작은 셀들을 불꽃의 모양에 특화 학습된 딥러닝 구조의 입력으로 넣고, 각 셀의 불꽃 여부를 판단하여 50% 이상의 셀들이 불꽃 영상으로 분류될 경우에 불꽃 영상으로 분류한다. 제안된 딥러닝 구조의 성능을 평가하기 위하여 ImageNet의 불꽃 데이터베이스를 사용하여 실험하였다. 실험 결과, 제안하는 딥러닝 구조는 기존의 딥러닝 구조보다 평균 29.86% 낮은 리소스 점유율과 8초 빠른 불꽃 감지 시간을 나타내었다. 불꽃 검출률은 기존의 딥러닝 구조와 비교하여 평균 0.95% 낮은 결과를 나타내었으나, 이는 임베디드 시스템에 적용하기 위해 딥러닝 구조를 가볍게 구성한데서 나온 결과이다. 따라서 본 논문에서 제안하는 불꽃 감지를 위한 딥러닝 구조는 임베디드 시스템 적용에 적합함이 입증되었다.

Fig. 1. The flame detection process of the proposed deeplearning structure. 그림 1. 제안하는 딥러닝 구조의 불꽃 감지 과정

Fig. 2. Detection of flame area using flame color model. 그림 2. 불꽃 색깔 모델을 사용한 불꽃 영역 검출

Fig. 3. Detection of flame area using labeling technique. 그림 3. 레이블링 기법을 적용시킨 불꽃 영역 검출

Fig. 4. Detection as a similar flame area. 그림 4. 유사 불꽃 영역으로 판단

Fig. 5. Convolution operation process. 그림 5. Convolution 연산 과정

Fig. 6. Sub sampling operation process. 그림 6. Sub sampling 연산 과정

Fig. 7. Operation process of Fully-connected and Drop out layers. 그림 7. Fully-connected 및 Drop out 층의 연산 과정

Fig. 8. 2 × 2 cell separation process of flame image not classified as flame image. 그림 8. 불꽃 영상으로 분류되지 못한 불꽃 영상의 2 × 2 셀 분리 과정

Fig. 9. Finally classified flame image and similar flame image. 그림 9. 최종적으로 분류된 불꽃 영상과 불꽃 유사 영상

Fig. 10. ImageNet flame database. 그림 10. ImageNet 불꽃 데이터베이스

Table 1. Deep learning structure for flame color specialization. 표 1. 불꽃 색깔 특화 딥러닝 구조

Table 2. Deep learning structure for flame shape specialization. 표 2. 불꽃 모양 특화 딥러닝 구조

Table 3. Comparison of resource occupancy rate. 표 3. 리소스 점유율 비교

Table 4. Comparison of flame detection rate. 표 4. 불꽃 검출률 비교

Table 5. Comparison of flame detection time(sec). 표 5. 불꽃 감지 시간 비교(초)