• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.239-240
• /
• 2020

마스크 쓴 얼굴에 대해 랜드마크 분석을 진행하기 위해서는 대량의 마스크가 착용된 얼굴 데이터셋이 필요하다. 본 논문에서는 공개된 얼굴 데이터셋에 자동으로 마스크를 합성하여 대량의 마스크를 착용한 얼굴 데이터셋을 생성하는 시스템을 제안한다. 마스크는 얼굴의 많은 부분을 가리는 물체이다. 따라서 마스크를 쓴 얼굴에 대해서는 일반적인 얼굴 데이터셋으로 학습된 landmark detector가 잘 작동하지 않는다. landmark detector가 잘 작동하게 하려면 마스크를 쓴 얼굴에 대해서 학습을 시켜야 한다. 그러나 현재 마스크를 쓴 얼굴 이미지와 풍부한 landmark 정보를 함께 가지고 있는 데이터셋이 존재하지 않기 때문에 학습에 어려움이 있다. 이 문제를 해결하기 위해 마스크 얼굴 이미지 데이터셋을 만들어내는 방법을 제안하고 마스크를 착용한 얼굴에도 잘 작동하는 랜드마크 검출기를 학습시켜 그 효용을 입증하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.26 no.8
• /
• pp.1136-1141
• /
• 2022

Researches of face recognition on masked faces have been increasingly important due to the COVID-19 pandemic. To realize a stable and practical recognition performance, large amount of facial image data should be acquired for the purpose of training. However, it is difficult for the researchers to obtain masked face images for each human subject. This paper proposes a novel method to synthesize a face image and a virtual mask pattern. In this method, a pair of masked face image and unmasked face image, that are from a single human subject, is fed into a convolutional autoencoder as training data. This allows learning the geometric relationship between face and mask. In the inference step, for a unseen face image, the learned convolutional autoencoder generates a synthetic face image with a mask pattern. The proposed method is able to rapidly generate realistic masked face images. Also, it could be practical when compared to methods which rely on facial feature point detection.

• Journal of Broadcast Engineering
• /
• v.27 no.6
• /
• pp.944-947
• /
• 2022

Due to the coronavirus pandemic, the wearing of a mask has been increasing worldwide; thus, the importance of image analysis on masked face images has become essential. Although head pose estimation can be applied to various face-related applications including driver attention, face frontalization, and gaze detection, few studies have been conducted to address the performance degradation caused by masked faces. This study proposes a new data augmentation that synthesizes the masked face, depending on the face image size and poses, which shows robust performance on BIWI benchmark dataset regardless of mask-wearing. Since the proposed scheme is not limited to the specific model, it can be utilized in various head pose estimation models.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.11a
• /
• pp.169-172
• /
• 2015

영상회의 장치에서 눈맞춤 영상을 생성하기 위해 어파인 변환(affine transformation)을 이용하면 반올림 오차(round-off error) 때문에 홀이 발생한다. 이러한 홀을 채우려면 홀 영역을 가리키는 홀 채움 마스크가 필요하다. 홀 채움은 보통 홀 채움 마스크를 참조하여 홀이 아닌 이웃 화소값들을 기반으로 손상된 영상을 복원하는 작업이다. 따라서 홀 영역을 정확히 검출하고 적당한 개수의 이웃 화소값을 참조해야 자연스러운 홀 채움 영상을 생성할 수 있다. 한편, 눈맞춤 영상을 생성할 때 얼굴 특징점을 이용해 얼굴 변환 마스크를 만들고, 얼굴 변환 마스크에만 어파인 변환을 수행한다. 이 논문에서는 얼굴 특징점에도 어파인 변환을 수행하고 수정된 얼굴 변환 마스크를 획득하여 정확한 홀 채움 마스크를 구한다. 또한, 홀 채움 마스크에서 레이블링을 수행하여 큰 홀 영역을 제거한다. 마지막으로, 어파인 변환을 수행할 때 기존 영상의 좌표값을 이용하여 자연스러운 홀 채움 영상을 생성한다. 제안하는 방법으로 홀 채움을 수행한 결과, 연속적인 눈맞춤 동영상에서 이웃값들을 참조하여 홀 채움을 수행한 영상보다 자연스러움을 확인했다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.772-774
• /
• 2021

COVID-19 로 인해 마스크 착용이 필수적인 사회가 되면서 마스크를 착용한 상태로 얼굴 사진을 촬영하는 빈도가 증가하고 있다. 그러나 얼굴인식 기반의 보정 및 필터링 기능이 적용된 카메라 애플리케이션은 인물의 마스크 착용 유무를 인식하지 못하여 마스크로 가려진 영역까지 필터 및 색조 기능을 적용시킨다는 한계가 있다. 이러한 문제를 해결하기 위해 본 연구에서는 검출된 얼굴영역에서 마스크 착용 여부 및 마스크 영역을 판단하고 해당 영역을 제외한 나머지 얼굴 영역에 필터링 효과를 적용하는 기술을 구현하였다.

• 한국HCI학회:학술대회논문집
• /
• 2008.02a
• /
• pp.397-402
• /
• 2008

본 논문에서는 햅틱 인터랙션 기반의 3차원 가상 얼굴 메이크업 시뮬레이션에서 메이크업 대상에 대한 정교한 페인팅을 적용하기 위한 자동화된 마스크 생성 방법을 개발한다. 본 연구에서는 메이크업 시뮬레이션 이전의 전처리 과정에서 마스크를 생성한다. 우선, 3차원 스캐너 장치로부터 사용자의 얼굴 텍스쳐 이미지와 3차원 기하 표면 모델을 획득한다. 획득된 얼굴 텍스쳐 이미지로부터 AdaBoost 알고리즘, Canny 경계선 검출 방법과 색 모델 변환 방법 등의 영상처리 알고리즘들을 적용하여 마스크 대상이 되는 주요 특정 영역(눈, 입술)들을 결정하고 얼굴 이미지로부터 2차원 마스크 영역을 결정한다. 이렇게 생성된 마스크 영역 이미지는 3차원 표면 기하 모델에 투영되어 최종적인 3차원 특징 영역의 마스크를 레이블링하는데 사용된다. 이러한 전처리 과정을 통하여 결정된 마스크는 햅틱 장치와 스테레오 디스플레이기반의 가상 인터페이스를 통해서 자연스러운 메이크업 시뮬레이션을 수행하는데 사용된다. 본 연구에서 개발한 방법은 사용자에게 전처리 과정에서의 어떠한 개입 없이 자동적으로 메이크업 대상이 되는 마스크 영역을 결정하여 정교하고 손쉬운 메이크업 페인팅 인터페이스를 제공한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.17-19
• /
• 2021

본 논문에서는 코로나19 사태에 대비하여 실시간으로 마스크를 제대로 쓴 사람과 제대로 쓰지 않은 사람을 구분하는 시스템을 제안한다. 이 시스템을 사용하기 위하여 모델 학습 시에 합성곱 신경망(CNN : Convolutional Neural Networks)를 사용한다. 학습된 모델을 토대로 영상에 적용 시 하르 특징 분류기(Haar Cascade Classifier)로 얼굴을 탐지하여 마스크 여부를 판단한다.

• Proceedings of the KIEE Conference
• /
• 2009.07a
• /
• pp.1855_1856
• /
• 2009

본 논문은 Haar-like 마스크와 유사한 특징을 갖지만 두 사각형 영역의 크기와 위치를 제한하지 않는 분리된 두 사각 특징 마스크를 이용한 Adaboost 기반 얼굴검출 알고리즘을 제안한다. 기존의 Haar-like 특징이 단순히 두 사각 영역의 화소값들의 차를 구함으로써 계산이 용이하나 인접한 두 사각 영역으로 한정함으로써 고품질 특징을 얻기 어렵다. 이런 Haar-like 특징마스크의 내재된 문제점을 개선하기 위해, 제안하는 특징 마스크는 다양한 크기와 분리된 두 사각 영역을 갖는 형태로 고품질의 특징을 얻는다. 고품질의 특징은 Adaboost 알고리즘의 약 분류기(weak classifier)의 성능을 학습단계부터 높여 전반적으로 얼굴 검출 알고리즘의 성능을 향상시킨다. 제안하는 분리된 두 사각 특징을 이용한 adaboost 기반 얼굴검출 기법의 우수성을 다양한 실험을 통해 검증하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.325-327
• /
• 2021

코로나19 전염병 예방을 위한 공공장소에서의 마스크 착용이 의무화되고 있다. 그러나 사람들이 다양한 이유로 마스크를 제대로 착용하지 않아 감염에 노출되는 위험이 발생하고 있다. 이러한 방역 문제를 해결하고 본 논문은 영상을 인식하여 마스크를 쓴 얼굴과 쓰지 않은 얼굴을 검출하는 방식을 제안한다. 제안 방법은 마스크 착용자와 비착용자 얼굴 영상을 딥러닝 기반의 YOLO 네트워크로 학습하여, 마스크 착용 유무를 판별한다. 동일 YOLO 네트워크에 대해 여러가지 조건으로 학습을 수행하고, 학습에 사용되지 않은 검증 데이터를 이용해 정확도가 가장 높은 네트워크의 가중치를 선택하였다. 실험결과, 마스크 착용자는 67.2%, 미착용자는 39.8%의 판별 정확도를 보였다. 미착용자에 대해 낮은 정확도를 보인 이유는 학습 데이터의 부족으로 판단되며, 이를 보완하기 위하여 더 많은 학습데이터를 제작하여 성능을 개선시키고자 한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.05d
• /
• pp.553-558
• /
• 2002

본 논문에서는 컬러 영상에서 피부색 분할과 소벨 마스크를 이용한 얼굴 영역 검출 알고리즘을 제안한다. 제안된 알고리즘은 YCbCr색공간에서 Cb와 Cr성분을 이용하여 피부색 분할을 한 후에 형태학적 필터링과 레이블링을 통해 얼굴 후보 영역을 분리한다. 분리된 각 후보 영역에 대해 휘도 성분 Y에서 소벨 마스크의 수직 연산자를 적용한 후에 수평 투영을 통해 나타난 최대값을 눈의 위치로 검출해낸다. 비슷하게 얼굴의 지형적인 특징과 소벨 마스크의 수평 연산자를 적용하여 계산된 수평 투영의 최대값에 따라 턱 부분을 검출한다. 컴퓨터 시뮬레이션 결과는 제안된 방법이 기존의 방법보다 얼굴 영역을 정확하게 분리할 수 있음을 보인다.