Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Robust Head Pose Estimation for Masked Face Image via Data Augmentation

데이터 증강을 통한 마스크 착용 얼굴 이미지에 강인한 얼굴 자세추정

  • 한경탁 (인하대학교 전기컴퓨터공학과) ;
  • 홍성은 (인하대학교 전기컴퓨터공학과)
  • Received : 2022.09.05
  • Accepted : 2022.10.07
  • Published : 2022.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

Due to the coronavirus pandemic, the wearing of a mask has been increasing worldwide; thus, the importance of image analysis on masked face images has become essential. Although head pose estimation can be applied to various face-related applications including driver attention, face frontalization, and gaze detection, few studies have been conducted to address the performance degradation caused by masked faces. This study proposes a new data augmentation that synthesizes the masked face, depending on the face image size and poses, which shows robust performance on BIWI benchmark dataset regardless of mask-wearing. Since the proposed scheme is not limited to the specific model, it can be utilized in various head pose estimation models.

최근 코로나바이러스로 인한 마스크 착용이 급증함에 따라 마스크 착용에 대응할 수 있는 기술의 중요성이 증가하고 있다. 얼굴 자세 추정 분야는 운전자 주의, 얼굴 정면화, 시선 감지 등의 다양한 활용성에도 불구하고 마스크 착용에 따른 성능 저하 문제를 해결할 수 있는 연구가 거의 수행되지 않았다. 본 논문은 마스크 착용 유무에 따른 얼굴 자세 추정의 성능 저하에 대한 분석을 토대로, 마스크가 없는 얼굴 이미지의 크기 및 자세를 분석하여 마스크 이미지를 합성할 수 있는 데이터 증강 기법을 제안한다. 제안하는 얼굴에 특화된 증강 기법을 활용한 학습은 마스크 착용 여부와 관계없이 얼굴 자세 추정 벤치마크 데이터 세트인 BIWI에서 강인한 성능을 보이며, 특정 모델에 국한되지 않기 때문에 다양한 얼굴 자세 추정 모델에 적용될 수 있다.

Keywords

Acknowledgement

이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. NRF-2021R1F1A1054569). 이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (No. RS-2022-00155915, 인공지능융합혁신인재양성(인하대학교)).

References

  1. J. Deng, J. Guo, E. Ververas, I. Kotsia, and S. Zafeiriou, "RetinaFace: Single-Shot Multi-Level Face Localisation in the Wild," Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, June, 2020. doi: https://doi.org/10.1109/CVPR42600.2020.00525
  2. A. Anwar and A. Raychowdhury, " Masked Face Recognition for Secure Authentication," arXiv preprint arXiv:2008.11104, 2020. doi: https://doi.org/10.48550/arXiv.2008.11104
  3. A. Sheka and V. Samun, "Rotation Augmentation for Head Pose Estimation Problem," IEEE Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology, pp. 0308-0311,2021. doi: https://doi.org/10.1109/USBEREIT51232.2021.9455063
  4. G. Fanelli, M. Dantone, J. Gall, A. Fossati, and L. V. Gool, "Random forests for real time 3d face analysis," International journal of computer vision, vol. 101, no. 3, pp. 437-458, 2013 doi: https://doi.org/10.1007/s11263-012-0549-0
  5. T. Hempel, A. A. Abdelrahman, and A AL-hamadi, "6D Rotation Representation For Unconstrained Head Pose Estimation," arXiv preprint arXiv:2202.12555, 2022. doi: https://doi.org/10.48550/arXiv.2202.12555