Convergence Security Journal (융합보안논문지)

Korea convergence Security Association (한국융합보안학회)
권호 표지
DOI QR코드

DOI QR Code

Design of Face with Mask Detection System in Thermal Images Using Deep Learning

딥러닝을 이용한 열영상 기반 마스크 검출 시스템 설계

  • 김용중 (한국폴리텍대학 원주캠퍼스/의료공학과) ;
  • 최병상 (한국폴리텍대학 원주캠퍼스/의료공학과) ;
  • 이기섭 ((주)엘에스엘시스템즈) ;
  • 정경권 (동신대학교/사물인터넷학과)
  • Received : 2022.03.30
  • Accepted : 2022.06.30
  • Published : 2022.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

Wearing face masks is an effective measure to prevent COVID-19 infection. Infrared thermal image based temperature measurement and identity recognition system has been widely used in many large enterprises and universities in China, so it is totally necessary to research the face mask detection of thermal infrared imaging. Recently introduced MTCNN (Multi-task Cascaded Convolutional Networks)presents a conceptually simple, flexible, general framework for instance segmentation of objects. In this paper, we propose an algorithm for efficiently searching objects of images, while creating a segmentation of heat generation part for an instance which is a heating element in a heat sensed image acquired from a thermal infrared camera. This method called a mask MTCNN is an algorithm that extends MTCNN by adding a branch for predicting an object mask in parallel with an existing branch for recognition of a bounding box. It is easy to generalize the R-CNN to other tasks. In this paper, we proposed an infrared image detection algorithm based on R-CNN and detect heating elements which can not be distinguished by RGB images.

마스크 착용은 COVID-19 감염을 예방하기 위한 효과적인 방안이다. 적외선 열화상 기반의 온도 측정과 신원 인식 시스템이 기업에서 널리 사용되고 있는 상황에서 마스크 감지를 위한 연구는 필수적이다. 최근 비전분야에 소개된 MTCNN은 객체 인스턴스 세분화를위한 개념적으로 간단하고 유연하며 일반적인 프레임 워크를 제시한다. 본 논문에서는 열적외선 카메라로부터 획득한 열감지영상에서 발열체인 인스턴스에 대해 발열부위의 세그멘테이션을 생성하는 동시에 이미지 내의 오브젝트 발열부분을 효율적으로 탐색하는 알고리즘을 제안한다. MTCNN(Multi-task Cascaded Convolutional Networks) 기법은 바운딩 박스 인식을 위해 기존 브랜치와 병렬로 객체 마스크를 예측하기 위한 브랜치를 추가한 알고리즘이다. MTCNN은 다른 작업으로 일반화하기 용이하다. 본 논문에서는 MTCNN기반 적외선 열영상 검출알고리즘을 제안하여 RGB영상에서 구별할 수 없는 마스크 착용 여부를 탐지하였다.

Keywords

Acknowledgement

본 연구는 2021년도 중소벤처기업부의 지역특화산업육성사업 지원에 의한 연구임[S3083965]

References

  1. 강동윤, 이재우, 박원형, "코로나19 환경에서 무중단 보안관제센터 구성 및 운영 강화 연구," 한국융합보안학회논문지, 21권 1호, pp.25-31, 2021. 
  2. 권현, 윤준혁, 김준섭, 박상준, 김용철, "딥뉴럴네트워크에서의 적대적 샘플에 관한 앙상블 방어 연구," 한국융합보안학회논문지, 21권 2호, pp.57-66, 2021. 
  3. B. Wang, Y. Zhao and C. L. P. Chen, "Hybrid Transfer Learning and Broad Learning System for Wearing Mask Detection in the COVID-19 Era," IEEE Transactions on Instrumentation and Measurement, vol. 70, pp. 1-12, 2021. 
  4. J. Zhang, F. Han, Y. Chun and W. Chen, "A Novel Detection Framework About Conditions of Wearing Face Mask for Helping Control the Spread of COVID-19," IEEE Access, vol. 9, pp. 42975-42984, 2021.  https://doi.org/10.1109/ACCESS.2021.3066538
  5. R. P. Sidik and E. Contessa Djamal, "Face Mask Detection using Convolutional Neural Network," 2021 4th International Conference of Computer and Informatics Engineering (IC2IE), pp. 85-89, 2021. 
  6. Z. Wu, M. Peng, T. Chen, "Thermal face recognition using convolutional neural network," Proceedings of the 2016 International Conference on Optoelectronics and Image Processing (ICOIP), pp.6-9, 2016. 
  7. Matlab, http://www.mathworks.com 
  8. E. M. F. Caliwag, A. Caliwag, B. -K. Baek, Y. Jo, H. Chung and W. Lim, "Distance Estimation in Thermal Cameras Using Multi-Task Cascaded Convolutional Neural Network," IEEE Sensors Journal, vol. 21, no. 17, pp.18519-18525, 2021.  https://doi.org/10.1109/JSEN.2021.3092382
  9. NVIDIA, http://www.nvidia.com 
  10. LabelImg, https://github.com/tzutalin/labelImg