Development of Virtual Makeup Tool based on Mobile Augmented Reality

In this study, an augmented reality-based make-up tool was built to analyze the user's face shape based on face-type reference model data and to provide virtual makeup by providing face-type makeup. To analyze the face shape, first recognize the face from the image captured by the camera, then extract the features of the face contour area and use them as analysis properties. Next, the feature points of the extracted face contour area are normalized to compare with the contour area characteristics of each face reference model data. Face shape is predicted and analyzed using the distance difference between the feature points of the normalized contour area and the feature points of the each face-type reference model data. In augmented reality-based virtual makeup, in the image input from the camera, the face is recognized in real time to extract the features of each area of the face. Through the face-type analysis process, you can check the results of virtual makeup by providing makeup that matches the analyzed face shape. Through the proposed system, We expect cosmetics consumers to check the makeup design that suits them and have a convenient and impact on their decision to purchase cosmetics. It will also help you create an attractive self-image by applying facial makeup to your virtual self.

본 연구에서는 얼굴형 기준 모델 데이터를 기반으로 사용자의 얼굴형을 분석하고 얼굴 형 메이크업을 제공하여 가상 메이크업을 제공하기 위해 증강 현실 기반 메이크업 도구를 구축하였다. 얼굴형을 분석하려면 먼저 카메라로 촬영 한 이미지에서 얼굴을 인식 한 다음 얼굴 윤곽 영역의 특징을 추출하여 분석 속성으로 사용한다. 다음으로 각 얼굴형 기준 모델 데이터의 윤곽 영역 특징과 비교하기 위해 추출된 얼굴 윤곽 영역의 특징점을 정규화한다. 얼굴 모양은 정규화된 윤곽 영역의 특징점과 각 얼굴형 기준 모델 데이터의 특징점 사이의 거리 차이를 이용하여 예측 분석한다. 증강형실기반 가상메이크업에서는 카메라로부터 영상 입력에서는 영상에서 얼굴을 실시간으로 인식하여 얼굴 부위별 영역의 특징점을 추출하고, 얼굴형 분석처리과정을 통해 분석된 얼굴형에 따라 어울리는 메이크업을 제공하여 가상의 메이크업의 결과를 확인 할 수 있다. 우리는 제안된 시스템을 통해 화장품 소비자로 하여금 자신에게 어울리는 메이크업 디자인을 확인하여 화장품 구매 결정에 대한 편의 및 영향을 미칠 것으로 기대한다. 또한 가상의 자아에 얼굴 메이크업을 적용함으로써 매력적인 자신의 이미지를 만들어내는데 도움을 줄 것이다.