• Journal of Biomedical Engineering Research
• /
• v.20 no.4
• /
• pp.419-425
• /
• 1999

In this paper, we present an algorithm of real time facial expression and gesture recognition for image sequence on the gray level. A mixture algorithm of a template matching and knowledge based geometrical consideration of a face were adapted to locate the face area in input image. And optical flow method applied on the area to recognize facial expressions. Also, we suggest hand area detection algorithm form a background image by analyzing entropy in an image. With modified hand area detection algorithm, it was possible to recognize hand gestures from it. As a results, the experiments showed that the suggested algorithm was good at recognizing one's facial expression and hand gesture by detecting a dominant motion area on images without getting any limits from the background image.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.271-272
• /
• 2016

본 논문에서는 딥러닝 기술 중의 하나인 CNN(Convolutional Neural Network) 기반의 얼굴 표정 인식 기법을 제안한다. 다섯 가지 주요 표정의 얼굴 영상을 CNN 구조에 스스로 학습시켜 각각의 표정 패턴에 적합한 특징 지도(feature map)를 형성하고 이 특징 지도를 통해 들어오는 입력 영상을 적합한 표정으로 분류한다. 기존의 CNN 구조를 본 논문에서 이용한 데이터 셋에 알맞게 convolutional layer 및 node의 수를 변경하여 특징 지도를 형성하고 학습 및 인식에 필요한 파라미터수를 대폭 감소시켰다. 실험 결과 제안하는 기법이 높은 얼굴 표정 분류 성능을 보여준다는 것을 보였다.

• KIPS Transactions on Software and Data Engineering
• /
• v.5 no.2
• /
• pp.89-94
• /
• 2016

This paper proposed a facial expression recognition approach using SIFT feature and SVM classifier. The SIFT was generally employed as feature descriptor at key-points in object recognition fields. However, this paper applied the SIFT descriptor as feature vector for facial expression recognition. In this paper, the facial feature was extracted by applying SIFT descriptor at each sub-block image without key-point detection procedure, and the facial expression recognition was performed using SVM classifier. The performance evaluation was carried out through comparison with binary pattern feature-based approaches such as LBP and LDP, and the CK facial expression database and the JAFFE facial expression database were used in the experiments. From the experimental results, the proposed method using SIFT descriptor showed performance improvements of 6.06% and 3.87% compared to previous approaches for CK database and JAFFE database, respectively.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2006.05a
• /
• pp.405-408
• /
• 2006

본 논문에서는 영상의 1차 모멘트와 주요성분분석을 이용한 효율적인 얼굴표정 인식방법을 제안하였다. 여기서 1차 모멘트는 영상의 중심이동을 위한 전처리 과정으로 인식에 불필요한 배경의 배제와 계산시간의 감소로 인식성능을 개선하기 위함이다. 또한 주요성분분석은 얼굴표정의 특징인 고유영상을 추출하는 것으로, 이는 2차의 통계성을 고려한 중복신호의 제거로 인식성능을 개선하기 위함이다. 제안된 방법을 각각 320*243 픽셀의 48개(4명*6장*2그룹) 얼굴표정을 대상으로 Euclidean 분류척도를 이용하여 실험한 결과 전처리를 수행하지 않는 기존 방법보다 우수한 인식성능이 있음을 확인하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.375-377
• /
• 2019

본 논문에서는 관람객 얼굴 표정 및 제스쳐 인식을 기반으로 인터렉티브 디지털콘텐츠의 문제점 추론 시스템을 제안한다. 관람객이 콘텐츠를 체험하고 다른 장소로 이동하기 전까지의 행동 패턴을 기준으로 삼아 4가지 문제점으로 분류한다. 문제점 분류을 위해 관람객이 콘텐츠 체험과정에서 나타낼 수 있는 얼굴 표정 3가지 종류와 제스쳐 5가지를 구분하였다. 실험에서는 입력된 비디오로부터 얼굴 및 손을 검출하기 위해 Adaboost algorithm을 사용하였고, mobilenet v1을 retraining하여 탐지모델을 생성 후 얼굴 표정 및 제스쳐를 검출했다. 이 연구를 통해 인터렉티브 디지털콘텐츠가 지니고 있는 문제점을 추론하여 향후 콘텐츠 개선과 제작에 사용자 중심 설계가 가능하도록 하고 양질의 콘텐츠 생산을 촉진 시킬 수 있을 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.04a
• /
• pp.444-446
• /
• 2011

본 논문은 실시간으로 카메라 영상으로부터 얼굴의 각 특징점을 검출하고, 검출된 특징점을 이용하여 웃음 표정을 인식하는 시스템을 제안한다. 제안된 시스템은 ASM(Active Shape Model)을 이용하여 실시간 검출부에서 얼굴 영상을 획득한 다음 ASM 학습부에서 학습된 결과를 가지고 얼굴의 특징을 찾는다. 얼굴 특징의 영상으로부터 입술 영역을 검출한다. 이렇게 검출된 입술 영역과 얼굴 특징점을 이용하여 사용자의 웃음 표정을 검출하고 인식하는 방법을 사용함으로써 웃음 표정 인식의 정확도를 높힐 수 있음을 알 수 있었다.

• The KIPS Transactions:PartB
• /
• v.18B no.6
• /
• pp.375-384
• /
• 2011

This paper suggests a method to recognize facial expressions of animation characters by means of dominant colors and feature points. The proposed method defines a simplified mesh model adequate for the animation character and detects its face and facial components by using dominant colors. It also extracts edge-based feature points for each facial component. It then classifies the feature points into corresponding AUs(action units) through neural network, and finally recognizes character facial expressions with the suggested AU specification. Experimental results show that the suggested method can recognize facial expressions of animation characters reliably.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2005.11a
• /
• pp.294-298
• /
• 2005

바이오메트릭스의 여러 가지 기술 중에서 얼굴인식은 지문인식, 손금인식, 홍채인식 등과는 달리 신체의 일부를 접촉시키지 않고도 원거리에 설치된 카메라를 통해 사람을 확인할 수 있는 장점을 가지고 있다. 그러나 얼굴인식은 조명변화, 표정변화 둥의 다양한 환경변화에 대단히 민감하게 반응하므로 얼굴의 특징 영역에 대한 정확한 추출이 반드시 선행되어야 한다. 얼굴의 주요 특징인 눈, 코, 입, 눈썹은 자세와 표정 그리고 생김새에 따라 다양한 위치, 크기, 형태를 가질 수 있다. 본 연구에서는 변화하는 특징 영역과 특징 점을 정확히 추출하기 위하여 얼굴을 9가지 방향으로 분류하고, 각 분류된 방향에서 특징 영역을 통계적인 형태에 따라 다시 2차로 분류하여, 각각의 형태에 대한 표준 템플릿을 생성하여 검출하는 방법을 제안한다.

• Journal of KIISE:Software and Applications
• /
• v.28 no.2
• /
• pp.192-200
• /
• 2001

본 논문은 조명 변화, 표정 변화, 부분적인 오클루전이 있는 얼굴 영상에 강인하고 적은 메모리양과 계산량을 갖는 효율적인 얼굴 인식 방법을 제안한다. SKKUface(Sungkyunkwan University face)라 명명한 이 방법은 먼저 훈련 영상에 PCA(principal component analysis)를 적용하여 차원을 줄일 때 구해지는 특징 벡터 공간에서 조명 변화, 얼굴 표정 변화 등에 해당되는 공간이 최대한 제외된 새로운 특징 벡터 공간을 생성한다. 이러한 특징 벡터 공간은 얼굴의 고유특징만을 주로 포함하는 벡터 공간이므로 이러한 벡터 공간에 Fisher linear discriminant를 적용하면 클래스간의 더욱 효과적인 분리가 이루어져 인식률을 획기적으로 향상시킨다. 또한, SKKUface 방법은 클래스간 분산(between-class covariance) 행렬과 클래스내 분산(within-class covariance) 행렬을 계산할 때 문제가 되는 메모리양과 계산 시간을 획기적으로 줄이는 방법을 제안하여 적용하였다. 제안된 SKKUface 방법의 얼굴 인식 성능을 평가하기 위하여 YALE, SKKU, ORL(Olivetti Research Laboratory) 얼굴 데이타베이스를 가지고 기존의 얼굴 인식 방법으로 널리 알려진 Eigenface 방법, Fisherface 방법과 함께 인식률을 비교 평가하였다. 실험 결과, 제안된 SKKUface 방법이 조명 변화, 부분적인 오클루전이 있는 얼굴 영상에 대해서 Eigenface 방법과 Fisherface 방법에 비해 인식률이 상당히 우수함을 알 수 있었다.

• The Journal of the Korea Contents Association
• /
• v.14 no.9
• /
• pp.476-483
• /
• 2014

The purpose of this study was to make a suitable images for korean emotional expressions. KSFI(Korean Standard Facial Image)-AUs was produced from korean standard apperance and FACS(Facial Action coding system)-AUs. For the objectivity of KSFI, the survey was examined about emotion recognition rate and contribution of emotion recognition in facial elements from six-basic emotional expression images(sadness, happiness, disgust, fear, anger and surprise). As a result of the experiment, the images of happiness, surprise, sadness and anger which had shown higher accuracy. Also, emotional recognition rate was mainly decided by the facial element of eyes and a mouth. Through the result of this study, KSFI contents which could be combined AU images was proposed. In this future, KSFI would be helpful contents to improve emotion recognition rate.