• 정보처리학회논문지B
• /
• 제16B권5호
• /
• pp.395-402
• /
• 2009

본 연구는 표정 인식률을 개선하기 위한, 강도가 다른 표정을 인식하는 새로운 표정 인식 방법을 제안한다. 사람마다 다르게 나타나는 표정과 표정마다 다른 강도는 표정 인식률 저하에 지대한 영향을 미친다. 하지만 얼굴 표정의 다양한 강도를 처리하는 방법은 많이 제시되지 않고 있다. 본 연구에서는 표정 템플릿과 표정 강도 분포모델을 이용하여 다양한 얼굴 표정 강도를 인식하는 방법을 제시한다. 표정 템플릿과 표정강도 분포모델은 얼굴의 특징 부위에 표시한 관심 점과 얼굴 특징 부위간의 움직임이 다른 표정과 강도에 따라 어떻게 달라지는지 설명하여 표정 인식률 개선에 기여한다. 제안 방법은 정지 이미지뿐만 아니라 비디오시퀀스에서도 빠른 측정 과정을 통해 다양한 강도의 표정을 인식할 수 있는 장점이 있다. 실험 결과, 제안 연구가 특히 약한 강도의 표정에 대해 타 방법보다 높은 인식 결과를 보여 제안 방법이 다양한 강도의 표정 인식에 강건함을 알 수 있다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제2권2호
• /
• pp.120-133
• /
• 2008

This paper presents a novel approach for facial motion tracking and facial expression cloning to create a realistic facial animation of a 3D avatar. The exact head pose estimation and facial expression tracking are critical issues that must be solved when developing vision-based computer animation. In this paper, we deal with these two problems. The proposed approach consists of two phases: dynamic head pose estimation and facial expression cloning. The dynamic head pose estimation can robustly estimate a 3D head pose from input video images. Given an initial reference template of a face image and the corresponding 3D head pose, the full head motion is recovered by projecting a cylindrical head model onto the face image. It is possible to recover the head pose regardless of light variations and self-occlusion by updating the template dynamically. In the phase of synthesizing the facial expression, the variations of the major facial feature points of the face images are tracked by using optical flow and the variations are retargeted to the 3D face model. At the same time, we exploit the RBF (Radial Basis Function) to deform the local area of the face model around the major feature points. Consequently, facial expression synthesis is done by directly tracking the variations of the major feature points and indirectly estimating the variations of the regional feature points. From the experiments, we can prove that the proposed vision-based facial expression cloning method automatically estimates the 3D head pose and produces realistic 3D facial expressions in real time.

• 정보처리학회논문지B
• /
• 제14B권4호
• /
• pp.311-320
• /
• 2007

본 논문에서는 강건한 얼굴 포즈 추정과 실시간 표정제어가 가능한 비전 기반 3차원 얼굴 모델의 자동 표정 생성 방법 및 시스템을 제안한다. 기존의 비전 기반 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 반영하지 못하고 얼굴 표정 생성에 초점을 맞추고 있다. 그러나, 얼굴 포즈를 정확히 추정하여 반영하는 작업은 현실감 있는 얼굴 애니메이션을 위해서 중요한 이슈로 인식되고 있다. 본 연구 에서는 얼굴 포즈추정과 얼굴 표정제어가 동시에 가능한 통합 애니메이션 시스템을 제안 하였다. 제안된 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출은 비모수적 HT 컬러 모델과 템플릿 매칭을 통해 수행된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 얼굴 모션 추정을 위하여 3차원 실린더 모델을 검출된 얼굴 영역에 투영하고 광류(optical flow) 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 주요 얼굴 특징점을 검출하며 광류 알고리즘에 의하여 특징점을 추적한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수(parameters)를 계산한다. 결국 얼굴 표정 복제는 두 개의 정합과정을 통해 수행된다. 애니메이션 매개변수 3차원 얼굴 모델의 주요 특징점(제어점)의 이동은 획득된 애니메이션 매개변수를 적용하여 수행하며, 정점 주위의 부가적 정점의 위치는 RBF(Radial Basis Function) 보간법을 통해 변형한다. 실험결과 본 논문에서 제안된 비전기반 애니메이션 시스템은 비디오 영상으로부터 강건한 얼굴 포즈 추정과 얼굴의 표정변화를 잘 반영하여 현실감 있는 애니메이션을 생성함을 입증할 수 있었다.

• ETRI Journal
• /
• 제32권5호
• /
• pp.784-794
• /
• 2010

Automatic facial expression recognition has many potential applications in different areas of human computer interaction. However, they are not yet fully realized due to the lack of an effective facial feature descriptor. In this paper, we present a new appearance-based feature descriptor, the local directional pattern (LDP), to represent facial geometry and analyze its performance in expression recognition. An LDP feature is obtained by computing the edge response values in 8 directions at each pixel and encoding them into an 8 bit binary number using the relative strength of these edge responses. The LDP descriptor, a distribution of LDP codes within an image or image patch, is used to describe each expression image. The effectiveness of dimensionality reduction techniques, such as principal component analysis and AdaBoost, is also analyzed in terms of computational cost saving and classification accuracy. Two well-known machine learning methods, template matching and support vector machine, are used for classification using the Cohn-Kanade and Japanese female facial expression databases. Better classification accuracy shows the superiority of LDP descriptor against other appearance-based feature descriptors.

• 한국컴퓨터정보학회논문지
• /
• 제14권11호
• /
• pp.73-79
• /
• 2009

본 논문에서는 Local Binary Pattern 히스토그램의 템플릿 매칭을 이용한 얼굴 표정 인식에서 인식률을 높이는 방법을 제안한다. 이 방법에서, 주어진 얼굴 영상은 작은 크기의 블록으로 분할되고 각 블록에서 구해진 LBP 히스토그램은 블록 특징으로 사용된다. 입력 영상에서의 블록 특징과 모델의 해당블록 특징 사이에서 블록 상이도가 계산된다. 주어진 영상과 모델 영상 사이의 영상 상이도는 블록 상이도의 가중 합으로 계산된다. 기존의 방법들에서는 직관에 따른 블록 가중치를 사용하는데 본 논문에서는 블록 가중치를 트레이닝 샘플들로부터 최적화를 통해서 구하는 방법을 제안하고 있다. 실험을 통해서 제안된 방법이 기존의 방법보다 우수함을 보인다.

• 한국콘텐츠학회논문지
• /
• 제14권11호
• /
• pp.7-15
• /
• 2014

본 연구는 PCA와 템플릿 정합을 사용한 얼굴 표정 인식 알고리즘을 제안한다. 먼저 얼굴 영상은 Haar-like feature의 특징 마스크를 사용하여 획득한다. 획득한 얼굴 영상은 눈과 눈썹을 포함하고 있는 얼굴 상위 부분과 입과 턱을 포함하고 있는 얼굴 하위 부분으로 분리하여 얼굴 요소 추출에 용이하게 나눈다. 얼굴 요소 추출은 눈 영상과 입 영상을 추출하는 과정으로 먼저 학습영상으로 PCA를 거쳐 생성된 고유얼굴을 구한다. 고유 얼굴에서 고유 입과 고유 눈을 획득하고, 이를 얼굴 분리 영상과 템플릿 매칭시켜 얼굴요소를 추출한다. 얼굴 요소는 눈과 입이 있으며 두 요소의 기하학적 특징으로 표정을 인식한다. 컴퓨터 모의실험 결과에 따르면 제안한 방법이 기존의 방법보다 추출률이 우수하게 나왔으며, 특히 입 요소의 추출률은 99%에 달하였다. 또 이 얼굴 요소 추출 방법을 표정인식에 적용하였을 때 놀람, 화남, 행복의 3가지 표정의 인식률이 80%를 상회하였다.

• 인터넷정보학회논문지
• /
• 제10권4호
• /
• pp.55-70
• /
• 2009

비전기반 인간컴퓨터 상호작용은 컴퓨터와 인간의 상호소통을 자연스럽게 제공하는 측면에서 과학과 산업분야에서 주목받는 연구 분야이다. 그러한 측면에서 얼굴표정인식에 의한 인간의 심리적 상태를 추론하는 기술은 중요한 이슈이다. 본 연구에서는 감성인식 HMM 모델과 광류에 기반한 얼굴 움직임 추적 방법을 이용하여 동영상으로부터 얼굴표정을 인식하는 새로운 방법을 제시하였다. 특히, 기존의 감성상태 변환을 설명하는 HMM 모델은 특정 표정상태 간의 전환 시 항상 중립 상태를 거치도록 설계되어 있다. 그러나 본 연구에서는 기존의 표정상태 전환 모델에 중간상태를 거치는 과정 없이 특정 표정 상태간의 변환이 가능한 확장된 HMM 모델을 제시한다. 동영상으로부터 얼굴의 특성정보를 추출하기 위하여 탬플릿 매칭과 광류방법을 적용하였다. 광류에 의해 추적된 얼굴의 표정특성 정보는 얼굴표정인식을 위한 HMM의 매개변수 정보로 사용된다. 실험을 통하여 제안된 얼굴표정인식 방법이 실시간 얼굴 표정인식에 효과적임을 입증하였다.

• 대한의용생체공학회:의공학회지
• /
• 제20권4호
• /
• pp.419-425
• /
• 1999

본 논문에서는 흑백 동영상을 사용하여 얼굴 표정 및 제스처를 실시간으로 인식하는 시스템을 개발하였다. 얼굴 인식분야에서는 형판 정합법과 얼굴의 기하학적 고찰에 의한 사전지식을 바탕으로 한 방법을 혼합하여 사용하였다. 혼합 방법에 의해 입력영상에서 얼굴 부위만을 제한하였으며, 이 영역에 옵티컬 플로우를 적용하여 얼굴 표정을 인식하였다. 제스처 인식에서는 엔트로피를 분석하여 복잡한 배경영상으로부터 손 영역을 분리하는 방법을 제안하였으며 , 이 방법을 개선하여 손동작에 대한 제스처를 인식하였다. 실험 결과, 입력 영상의 배경에 크게 영향을 받지 않고서도 동일 영상에서 움직임이 큰 부위를 검출하여 얼굴의 표정 및 손 제스처를 실시간적으로 인식할 수 있었다.

• 디지털콘텐츠학회 논문지
• /
• 제7권4호
• /
• pp.235-243
• /
• 2006

본 논문에서는 얼굴의 표정 변화를 인식하여 실시간으로 감정을 표현하는 아바타를 설계하고 구현하는 방법을 제안하였다. 실시간 감정 표현 아바타는 수동으로 아바타의 표정 패턴을 변화를 주는 것이 아니라 웹캠을 이용하여 실시간으로 입 모양 특징을 추출하고 추출한 입 모양의 패턴을 분석한 뒤, 미리 정의된 표정 패턴에 부합되는 것을 찾는다. 그리고 부합된 표정 패턴을 아바타에 적용하여 아바타의 얼굴 표정을 표현한다. 표정 인식 아바타는 웹캠에서 들어온 영상을 모델 접근 방법을 이용하여 보다 빠르게 입 부분을 인식할 수 있도록 하였다. 그리고 표정 패턴 추출은 표정에 따라 입 모양이 변하는 것을 이용하였다. 모델접근 방법을 이용하여 눈의 정보를 찾은 후 그 정보를 이용하여 입 모양을 추출하게 된다. 기본적으로 13가지 입 모양으로 각각의 표정을 유추하고 각 표정 패턴에 맞는 6개의 아바타를 미리 구현하여 보다 빠르게 아바타의 표정을 변할 수 있게 하였다.

• 인지과학
• /
• 제14권1호
• /
• pp.11-16
• /
• 2003

본 논문은 Gabor 웨이브렛 변환을 이용하여 무표정을 포함한 표정영상에서 얼굴의 주요 요소들의 경계선을 추출한 후, FCM 군집화 알고리즘을 적용하여 무표정 영상에서 저차원의 대표적인 특징점을 추출한다. 무표정 영상의 특징점들은 표정영상의 특징점들을 추출하기 위한 템플릿으로 사용되어지며, 표정영상의 특징점 추출은 무표정 영상의 특징점과 동적 연결모형을 이용하여 개략적인 정합과 정밀한 정합 과정의 두단계로 이루어진다. 본 논문에서는 Gabor 웨이브렛과 FCM 군집화 알고리즘을 기반으로 동적 연결모형을 이용하여 표정영상에서 특징점들을 자동으로 추출할 수 있음을 제시한다. 본 연구결과는 자동 특징추출을 이용한 차원모형기반 얼굴 표정인식[1]에서 얼굴표정의 특징점을 자동으로 추출하는 데 적용되었다.