Journal of IKEEE (전기전자학회논문지)

Institute of Korean Electrical and Electronics Engineers (한국전기전자학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on Flame Detection using Faster R-CNN and Image Augmentation Techniques

Faster R-CNN과 이미지 오그멘테이션 기법을 이용한 화염감지에 관한 연구

  • Kim, Jae-Jung (Graduate School of Disaster Prevention, Kangwon National University) ;
  • Ryu, Jin-Kyu (Graduate School of Disaster Prevention, Kangwon National University) ;
  • Kwak, Dong-Kurl (Graduate School of Disaster Prevention, Kangwon National University) ;
  • Byun, Sun-Joon (Thermal-Hydraulic Design Team, KEPCO Nuclear Fuel)
  • Received : 2018.12.09
  • Accepted : 2018.12.26
  • Published : 2018.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

Recently, computer vision field based deep learning artificial intelligence has become a hot topic among various image analysis boundaries. In this study, flames are detected in fire images using the Faster R-CNN algorithm, which is used to detect objects within the image, among various image recognition algorithms based on deep learning. In order to improve fire detection accuracy through a small amount of data sets in the learning process, we use image augmentation techniques, and learn image augmentation by dividing into 6 types and compare accuracy, precision and detection rate. As a result, the detection rate increases as the type of image augmentation increases. However, as with the general accuracy and detection rate of other object detection models, the false detection rate is also increased from 10% to 30%.

최근 딥러닝(deep learning) 인공지능 기반의 컴퓨터 비전 분야는 각종 영상분석 분야에서 화제로 떠오르고 있다. 본 연구에서는 딥러닝 기반의 여러 이미지 인식 알고리즘 중 이미지 내에서 객체를 검출하는 데 사용되는 Faster R-CNN 알고리즘을 이용하여 화재 이미지에서 불꽃을 검출하고자 한다. 학습 과정에서 소량의 데이터셋을 통한 화재검출 정확도 향상을 위해 이미지 오그멘테이션(image augmentation) 기법을 이용하고, 이미지 오그멘테이션을 6가지 유형별로 나누어 학습하여 정확도, 정밀도, 검출률을 비교하였다. 그 결과, 이미지 오그멘테이션의 종류가 늘어날수록 검출률이 상승하지만, 다른 객체 검출 모델들의 일반적인 정확도와 검출률의 관계와 마찬가지로 오검출율 또한 10%에서 최대 30%까지 증가하게 됨을 확인하였다.

Keywords

JGGJB@_2018_v22n4_1079_f0001.png 이미지

Fig. 1. Construction of Faster R-CNN detector technique. 그림 1. Faster R-CNN 검출기법의 구조

JGGJB@_2018_v22n4_1079_f0002.png 이미지

Fig. 2. Flowchart of data set processing. 그림 2. 데이터셋 처리 순서도

JGGJB@_2018_v22n4_1079_f0003.png 이미지

Fig. 3. Flame images using image augmentation. 그림 3. 이미지 오그멘테이션을 이용한 화염 이미지

JGGJB@_2018_v22n4_1079_f0004.png 이미지

Fig. 4. Leaning processing of fire detection model. 그림 4. 화재검출 모델의 학습처리 과정

JGGJB@_2018_v22n4_1079_f0005.png 이미지

Fig. 5. Flame Detection results in fire images. 그림 5. 화재 이미지에서 불꽃의 검출 결과

JGGJB@_2018_v22n4_1079_f0006.png 이미지

Fig. 6. Unrecognizable types in non_fire images. 그림 6. 비화재 이미지의 오검출 유형

JGGJB@_2018_v22n4_1079_f0007.png 이미지

Fig. 7. Graphs of Accuracy, Precision, and Recall. 그림 7. 정확도, 정밀도, 검출률 그래프

Table 1. Classification of data set. 표 1. 데이터셋의 분류

JGGJB@_2018_v22n4_1079_t0001.png 이미지

Table 2. Proposed types of image augmentation. 표 2. 제안한 이미지 오그멘테이션 유형

JGGJB@_2018_v22n4_1079_t0002.png 이미지

Table 3. Specification used to model learning. 표 3. 모델 학습에 사용된 사양

JGGJB@_2018_v22n4_1079_t0003.png 이미지

Table 4. Detection results on image augmentation types. 표 4. 이미지 오그멘테이션 유형별 검출결과

JGGJB@_2018_v22n4_1079_t0004.png 이미지

References

  1. J. S. Won, "A Study Focused on Responding to Fire-Related Accidents", The Seoul Institute Policy Report, Vol. 239, pp.1-21, 2017.
  2. L. Xiao, "A Distributed Reinforcement Learning Solution With Knowledge Transfer Capability for A Bike Rebalancing Problem," arXiv preprint, arXiv: 1810.04058, 2018.
  3. Y. Bengio, "Learning Deep Architecture for AI," Foundations and trends(R) in Machine Learning, Vol.2, No.1, pp.1-127, 2009. https://doi.org/10.1561/2200000006
  4. G. Hinton, S. Osindero, "A Fast Learning Algorithm for Deep Belief Nets," Neural Computation, Vol.18, No.7, pp.1527-1554, 2006. https://doi.org/10.1162/neco.2006.18.7.1527
  5. G. Huang, Z. Liu, K. Q. Weinberger, "Densely Connected Convolutional Networks," arXiv preprint, arXiv:1608.06993, 2018.
  6. F. Pereira, P. Norvig, A. Halevy, "The Unreasonable Effectiveness of Data," IEEE Intelligent Systems, Vol.24, pp.8-12, 2009.
  7. R. Girshick, J. Donahue, T. Darrell, "Rich feature hierarchies for accurate object detection and semantic segmentation," arXiv preprint, arXiv:1311.2524v5, pp.1-20, 2014.
  8. S. Ren, K. He, R. Girshick, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," arXiv preprint, arXiv:1506.01497, 2016.
  9. M. K. Lee, K. S. Seo, "Comparison of Region-based CNN Methods for Defects Detection on Metal Surface," The Transactions of the Korean Institute of Electrical Engineers, Vol.67, No.7, pp.865-870, 2018. https://doi.org/10.5370/KIEE.2018.67.7.865
  10. L. Perez, J. Wang, "The Effectiveness of Data Augmentation in Image Classification using Deep Learning,"arXiv preprint, arXiv:1712.04621, 2017.
  11. A. Lecoutre, B. Negrevergne, F. Yger, "Recognizing Art Style Automatically in painting with deep learning," Proceedings of Machine Learning Research, Vol.77, pp.327-342, 2017.
  12. Z. Hussain, F. Gimenez, D. Yi, "Differential Data Augmentation Techniques for Medical Imaging Classification Tasks," AMIA Annu Symp Proc., pp.979-984, 2017.