• 제어로봇시스템학회논문지
• /
• 제22권3호
• /
• pp.241-246
• /
• 2016

Nowadays many people have an interest in facial expression and the behavior of people. These are human-robot interaction (HRI) researchers utilize digital image processing, pattern recognition and machine learning for their studies. Facial feature point detector algorithms are very important for face recognition, gaze tracking, expression, and emotion recognition. In this paper, a cascade facial feature point detector is used for finding facial feature points such as the eyes, nose and mouth. However, the detector has difficulty extracting the feature points from several images, because images have different conditions such as size, color, brightness, etc. Therefore, in this paper, we propose an algorithm using a modified cascade facial feature point detector using a convolutional neural network. The structure of the convolution neural network is based on LeNet-5 of Yann LeCun. For input data of the convolutional neural network, outputs from a cascade facial feature point detector that have color and gray images were used. The images were resized to $32{\times}32$. In addition, the gray images were made into the YUV format. The gray and color images are the basis for the convolution neural network. Then, we classified about 1,200 testing images that show subjects. This research found that the proposed method is more accurate than a cascade facial feature point detector, because the algorithm provides modified results from the cascade facial feature point detector.

• 대한인간공학회지
• /
• 제31권3호
• /
• pp.427-435
• /
• 2012

The aim of this study is to investigate facial temperature changes induced by facial expression and emotional state in order to recognize a persons emotion using facial thermal images. Background: Facial thermal images have two advantages compared to visual images. Firstly, facial temperature measured by thermal camera does not depend on skin color, darkness, and lighting condition. Secondly, facial thermal images are changed not only by facial expression but also emotional state. To our knowledge, there is no study to concurrently investigate these two sources of facial temperature changes. Method: 231 students participated in the experiment. Four kinds of stimuli inducing anger, fear, boredom, and neutral were presented to participants and the facial temperatures were measured by an infrared camera. Each stimulus consisted of baseline and emotion period. Baseline period lasted during 1min and emotion period 1~3min. In the data analysis, the temperature differences between the baseline and emotion state were analyzed. Eyes, mouth, and glabella were selected for facial expression features, and forehead, nose, cheeks were selected for emotional state features. Results: The temperatures of eyes, mouth, glanella, forehead, and nose area were significantly decreased during the emotional experience and the changes were significantly different by the kind of emotion. The result of linear discriminant analysis for emotion recognition showed that the correct classification percentage in four emotions was 62.7% when using both facial expression features and emotional state features. The accuracy was slightly but significantly decreased at 56.7% when using only facial expression features, and the accuracy was 40.2% when using only emotional state features. Conclusion: Facial expression features are essential in emotion recognition, but emotion state features are also important to classify the emotion. Application: The results of this study can be applied to human-computer interaction system in the work places or the automobiles.

• Journal of Korean Dental Science
• /
• 제15권1호
• /
• pp.19-30
• /
• 2022

Purpose: The purpose of the study was to assess the validity of three-dimensional (3D) facial scan taken with facial scanner and digital photo wrapping on the cone-beam computed tomography (CBCT). Materials and Methods: Twenty-five patients had their CBCT scan, two-dimensional (2D) standardized frontal photographs and 3D facial scan obtained on the same day. The facial scans were taken with a facial scanner in an upright position. The 2D standardized frontal photographs were taken at a fixed distance from patients using a camera fixed to a cephalometric apparatus. The 2D integrated facial models were created using digital photo wrapping of frontal photographs on the corresponding CBCT images. The 3D integrated facial models were created using the integration process of 3D facial scans on the CBCT images. On the integrated facial models, sixteen soft tissue landmarks were identified, and the vertical, horizontal, oblique and angular distances between soft tissue landmarks were compared among the 2D facial models and 3D facial models, and CBCT images. Result: The results showed no significant differences of linear and angular measurements among CBCT images, 2D and 3D facial models except for Se-Sn vertical linear measurement which showed significant difference for the 3D facial models. The Bland-Altman plots showed that all measurements were within the limit of agreement. For 3D facial model, all Bland-Altman plots showed that systematic bias was less than 2.0 mm and 2.0° except for Se-Sn linear vertical measurement. For 2D facial model, the Bland-Altman plots of 6 out of 11 of the angular measurements showed systematic bias of more than 2.0°. Conclusion: The facial scan taken with facial scanner showed a clinically acceptable performance. The digital 2D photo wrapping has limitations in clinical use compared to 3D facial scans.

• 방송공학회논문지
• /
• 제27권5호
• /
• pp.619-628
• /
• 2022

얼굴 인식 및 얼굴 생성이 다양한 분야에서 큰 주목을 받고 있지만, 얼굴 이미지를 모델 학습에 사용하는데 따른 개인 정보 문제는 최근 큰 문제가 되고 있다. 본 논문에서는 소수의 실제 얼굴 이미지와 안면 마스크 정보로부터 다양한 속성을 가진 얼굴 이미지를 생성함으로써 개인 정보 침해 이슈를 줄일 수 있는 얼굴 편집 네트워크를 제안한다. 다수의 실제 얼굴 영상을 이용하여 얼굴 속성을 학습하는 기존의 방법과 달리 제안하는 방법은 얼굴 분할 마스크와 얼굴 부분 텍스처 영상을 스타일 정보로 사용하여 새로운 얼굴 이미지를 생성한다. 이후 해당 이미지는 각 참조 이미지의 스타일과 위치를 학습하기 위한 훈련에 사용된다. 제안하는 네트워크가 학습되면 소수의 실제 얼굴 영상과 얼굴 분할 정보만을 사용하여 다양한 얼굴 이미지를 생성할 수 있다. 실험에서 제안 기법이 실제 얼굴 이미지를 매우 적게 사용함에도 불구하고 새로운 얼굴을 생성할 뿐만 아니라 얼굴 속성 편집을 지역화하여 수행할 수 있음을 보인다.

• 정보처리학회논문지A
• /
• 제17A권6호
• /
• pp.281-288
• /
• 2010

본 논문에서는 3차원 얼굴 스캔 데이터와 사진 이미지를 이용하여 고화질의 3차원 얼굴 모델과 모핑 애니메이션을 생성하는 시스템 개발에 대해 기술한다. 본 시스템은 얼굴 특징점 입력 도구, 얼굴 텍스처매핑 인터페이스, 3차원 얼굴 모핑 인터페이스로 구성되어 있다. 얼굴 특징점 입력 도구는 3차원 텍스처매핑과 모핑 애니메이션을 위한 보조 도구로서 얼굴의 특징점을 입력하여 텍스처매핑과 임의의 두 얼굴간의 모핑 영역을 정할 때 사용된다. 텍스처매핑은 3D 스캐너로부터 획득한 얼굴의 기하 데이터에 세 방향의 사진 이미지를 이용하여 매핑한다. 3D 얼굴모핑은 얼굴 특징점 입력 도구로부터 얻은 특징점을 중심으로 얼굴 영역을 분류하여 임의의 두 얼굴 간의 영역간 매핑을 실현한다. 본 시스템은 사용자가 별도의 프로그래밍 작업 없이 대화형 인터페이스에서 3D 스캐너에서 획득한 얼굴 메쉬 데이터를 이용하여 사진 이미지로 텍스처 매핑을 실행하여 사실적인 3D 얼굴 모델을 얻을 수 있고, 임의의 서로 다른 얼굴 모델들간의 모핑 애니메이션을 쉽게 실현할 수가 있다.

• Journal of Information Technology Applications and Management
• /
• 제10권4호
• /
• pp.135-147
• /
• 2003

With the development of multimedia and optical technologies, application systems with facial features hare been increased the interests of researchers, recently. The previous research efforts in face processing mainly use the frontal images in order to recognize human face visually and to extract the facial expression. However, applications, such as image database systems which support queries based on the facial direction and image arrangement systems which place facial images automatically on digital albums, deal with the directional characteristics of a face. In this paper, we propose a method to detect facial directions by using facial features. In the proposed method, the facial trapezoid is defined by detecting points for eyes and a lower lip. Then, the facial direction formula, which calculates the right and left facial direction, is defined by the statistical data about the ratio of the right and left area in facial trapezoids. The proposed method can give an accurate estimate of horizontal rotation of a face within an error tolerance of $\pm1.31$ degree and takes an average execution time of 3.16 sec.

• 전자공학회논문지C
• /
• 제35C권3호
• /
• pp.97-107
• /
• 1998

In face recognition based on the Karhunen-Loeve approximation, amplitudespectra of Fourier transformed facial images were used. We found taht the use of amplitude spetra gives not only the shift-invariance property but also some improvment of recognition rate. This is because the distance between the varing faces of a person compared with that between the different persons perfomed computer experiments on face recognitio with varing facial images obtained from total 55 male and 25 females. We confirmed that the use of amplitude spectra of Fourier-trnsformed facial imagesgives better recognition rate for avariety of varying facial images including shifted ones than the use of direct facial images does.

• 한국콘텐츠학회논문지
• /
• 제14권9호
• /
• pp.476-483
• /
• 2014

본 논문은 국내 표정 연구에 적합한 얼굴 표정 이미지를 제작하는 것에 목적을 두었다. 이를 위해서 1980년대 태생의 한국인의 표준 형상에 FACS-Action Unit을 결합하여, KSFI(Korean Standard Facial Image) AU set를 제작하였다. KSFI의 객관성을 확보하기 위해 6가지 기본 감성(슬픔, 행복, 혐오, 공포, 화남, 놀람) 이미지를 제작하여, 감성 별 인식 정확률과 얼굴 요소의 감성인식 기여도를 평가하였다. 실험 결과, 정확률이 높은 행복, 놀람, 슬픔, 분노의 이미지의 경우 주로 눈과 입의 얼굴 요소를 통해 감성을 판단하였다. 이러한 연구 결과를 통해 본 연구에서는 표정 이미지의 AU 변경할 수 있는 KSFI 콘텐츠를 제안하였다. 향후 KSFI가 감성 인식률 향상에 기여할 수 있는 학습 콘텐츠로서의 역할을 할 수 있을 것으로 사료된다.

• 대한전자공학회논문지TE
• /
• 제37권3호
• /
• pp.72-78
• /
• 2000

본 연구에서는 ATM 보안 시스템을 위한 DCT와 신경망 기반 모델 인증 알고리즘을 제안한다. CCD 카메라를 이용하여 일정한 조도와 거리에서 30명의 얼굴영상을 획득한 후 데이터 베이스를 구성한다. 모델 인증 실험을 위해 동일인에 대해 학습영상 4장 그리고 실험 영상 4장을 각각 획득한다. 얼굴영상의 에지를 검출한 후 에지 분포에 의해 얼굴영상에서 사각형태로 특징영역을 검출한다. 특징영역에는 눈썹, 눈, 코, 입, 그리고 뺨이 포함된다. 특징영역에 대해 DCT를 수행한 후 대각방향의 계수 합을 구해 특징벡터를 추출한다. 특징벡터는 정규화되어 신경망의 입력 벡터가 된다. 패스워드를 고려하지 않는 경우, 데이터 베이스를 검색한 결과 학습된 얼굴영상에 대해서는 100%의 인증율을 나타내었고 학습되지 않는 얼굴영상의 경우에는92%의 인증률을 나타내었다. 그러나 패스워드를 고려한 경우 모두 100%의 인증율을 보였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제17권1호
• /
• pp.9-16
• /
• 2011

본논문에서는 3차원 3D 얼굴 스캔 데이터와 사진 이미지를 이용하여 3D 얼굴 모델을 생성하고 향후의 얼굴을 예측하는 시스템 개발에 대해 기술한다. 본 시스템은 3차원 텍스처매핑, 얼굴 정의 파라미터 입력 도구, 3차원 예측 알고리즘으로 구성 되어 있다. 3차원 텍스처매핑 기능에서는 3D 스캐너로 획득한 얼굴 모델과 사진 이미지를 이용하여 특정 연령에서의 새로운 얼굴모델을 생성한다. 텍스처매핑은 3D 스캐너로부터 획득한 메쉬 데이터에 정면과 좌우 측면의 세 방향의 사진 이미지를 이용하여 매핑하였다. 얼굴 정의 파라미터 입력도구는 3차원 텍스처매핑에 필요한 사용자 인터페이스 도구로서, 얼굴 모델의 정확한 재질값을 얼굴 사진으로부터 얻기 워하여 사진과 3D 얼굴 모델의 특징점을 일치시키는데 사용된다. 본 연구에서는 한 얼굴의 향후 연령대에서의 얼굴 모델을 구하기 위하여 100여개의 얼굴 스캔 데이터베이스를 이용한 통계적 분석에 의해 재질값을 예측 계산하여 해상도 높은 재질값을 가지는 모든 연령대의 3D 얼굴모델을 구성하였다.