• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.1057-1062
• /
• 2007

얼굴표정 인식은 심리학 연구, 얼굴 애니메이션 합성, 로봇공학, HCI(Human Computer Interaction) 등 다양한 분야에서 중요성이 증가하고 있다. 얼굴표정은 사람의 감정 표현, 관심의 정도와 같은 사회적 상호작용에 있어서 중요한 정보를 제공한다. 얼굴표정 인식은 크게 정지영상을 이용한 방법과 동영상을 이용한 방법으로 나눌 수 있다. 정지영상을 이용할 경우에는 처리량이 적어 속도가 빠르다는 장점이 있지만 얼굴의 변화가 클 경우 매칭, 정합에 의한 인식이 어렵다는 단점이 있다. 동영상을 이용한 얼굴표정 인식 방법은 신경망, Optical Flow, HMM(Hidden Markov Models) 등의 방법을 이용하여 사용자의 표정 변화를 연속적으로 처리할 수 있어 실시간으로 컴퓨터와의 상호작용에 유용하다. 그러나 정지영상에 비해 처리량이 많고 학습이나 데이터베이스 구축을 위한 많은 데이터가 필요하다는 단점이 있다. 본 논문에서 제안하는 실시간 얼굴표정 인식 시스템은 얼굴영역 검출, 얼굴 특징 검출, 얼굴표정 분류, 아바타 제어의 네 가지 과정으로 구성된다. 웹캠을 통하여 입력된 얼굴영상에 대하여 정확한 얼굴영역을 검출하기 위하여 히스토그램 평활화와 참조 화이트(Reference White) 기법을 적용, HT 컬러모델과 PCA(Principle Component Analysis) 변환을 이용하여 얼굴영역을 검출한다. 검출된 얼굴영역에서 얼굴의 기하학적 정보를 이용하여 얼굴의 특징요소의 후보영역을 결정하고 각 특징점들에 대한 템플릿 매칭과 에지를 검출하여 얼굴표정 인식에 필요한 특징을 추출한다. 각각의 검출된 특징점들에 대하여 Optical Flow알고리즘을 적용한 움직임 정보로부터 특징 벡터를 획득한다. 이렇게 획득한 특징 벡터를 SVM(Support Vector Machine)을 이용하여 얼굴표정을 분류하였으며 추출된 얼굴의 특징에 의하여 인식된 얼굴표정을 아바타로 표현하였다.

• ICROS
• /
• v.20 no.2
• /
• pp.39-45
• /
• 2014

얼굴 표정 인식은 인간 중심의 human-machine 인터페이스의 가장 중요한 요소 중 하나이다. 현재의 얼굴 표정 인식 기술은 주로 얼굴 영상을 이용하여 특징을 추출하고 이를 미리 학습시킨 인식 모델을 통하여 각 감정의 범주로 분류한다. 본 논문에서는 이러한 얼굴 표정 인식 기술에 사용되는 표정 특징 추출 기법과 표정 분류 기법을 설명하고, 각 기법에서 많이 사용되고 있는 방법들을 간략히 정리한다. 또한 각 기법의 특징들을 나열하였다. 또한 실제적 응용을 위해서 고려해야할 사항들에 대하여 제시하였다. 얼굴 표정 인식 기술은 인간 중심의 human-machine 인터페이스를 제공할 뿐만 아니라 로봇 분야에서도 활용 가능할 것으로 전망한다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1393-1400
• /
• 2006

정서를 측정하고 나타내는 기술이 발전에 따라 문화적 보편성을 가진 얼굴표정 연구의 필요성이 증가하고 있다. 그리고 지금까지의 많은 얼굴 표정 연구들은 정적인 얼굴사진 위주로 이루어졌다. 그러나 실제 사람들은 단적인 얼굴표정만으로 정서를 인식하기 보다는 미묘한 표정의 변화나 얼굴근육의 움직임 등을 통해 정서상태를 추론한다. 본 연구는 동적인 얼굴표정이 정적인 얼굴표정 보다 정서상태 전달에서 더 큰 효과를 가짐을 밝히고, 동적인 얼굴 표정에서의 눈과 입의 정서인식 효과를 비교해 보고자 하였다. 이에 따라 15 개의 형용사 어휘에 맞는 얼굴 표정을 얼굴전체, 눈, 입의 세 수준으로 나누어 동영상과 스틸사진으로 제시하였다. 정서 판단의 정확성을 측정한 결과, 세 수준 모두에서 동영상의 정서인식 효과가 스틸사진 보다 유의미하게 높게 나타나 동적인 얼굴 표정이 더 많은 내적정보를 보여주는 것을 알 수 있었다. 또한 얼굴전체-눈-입 순서로 정서인식 효과의 차이가 유의미하게 나타났으며, 부정적 정서는 눈에서 더 잘 나타나고 긍정적 정서는 입에서 더 잘 나타났다. 따라서 눈과 입에 따른 정서인식이 정서의 긍정성-부정성 차원에 따라 달라짐을 볼 수 있었다.

• Proceedings of the Korea Contents Association Conference
• /
• 2013.05a
• /
• pp.289-290
• /
• 2013

이 논문은 얼굴의 기하학적 특징을 이용한 표정인식 시스템을 제안한다. 먼저 얼굴 인식 시스템으로 Haar-like feature의 특징 마스크를 이용한 방법을 적용하였다 인식된 얼굴은 눈을 포함하고 있는 얼굴 상위 부분과 입을 포함하고 있는 얼굴 하위 부분으로 분리한다. 그래서 얼굴 요소 추출에 용이하게 된다. 얼굴 요소 추출은 PCA를 통한 고유 얼굴의 고유 눈과 고유 입의 템플릿 매칭으로 추출하였다. 얼굴 요소는 눈과 입이 있으며 두 요소의 기하학적 특징을 통하여 표정을 인식한다. 눈과 입의 특징 값은 실험을 통하여 정한 각 표정별 임계 값과 비교하여 표정이 인식된다. 본 논문은 기존의 논문에서 거의 사용하지 않는 눈동자의 비율을 적용하여 기존의 표정인식 알고리즘보다 인식률을 높이는 방향으로 제안되었다. 실험결과 기존의 논문보다 인식률이 개선됨을 확인 할 수 있었다.

• Proceedings of the KIEE Conference
• /
• 2003.07d
• /
• pp.2564-2566
• /
• 2003

표정인식은 컴퓨터 비전 분야에서 중요한 부분을 차지하고 있으며, 현재 꾸준히 연구가 진행되고 있다. 표정인식 시스템은 크게 얼굴 영역 추출과 표정인식 부분으로 나눌 수 있으며, 얼굴 영역 추출은 전체 인식 시스템의 성능에 큰 영향을 미친다. 특히 표정인식 시스템은 일반 얼굴인식 시스템과 다르게 부분적으로나 전체적으로 형태의 변화가 큰 얼굴에 대해서 정확한 얼굴 영역이 확보되지 않으면 높은 인식성능을 기대하기 어렵다. 따라서 표정인식 시스템은 얼굴 영역 추출이 비중한 부분을 차지하고 있다. 본 논문에서는 영상에서 실시간으로 얼굴 영역을 찾아내고, 그 영역에서 얼굴의 특징점인 눈과 입의 위치를 검출하고, 이를 바탕으로 얼굴의 정확한 영역을 확정하는 일련의 과정을 서술한다.

• The KIPS Transactions:PartB
• /
• v.16B no.5
• /
• pp.395-402
• /
• 2009

This paper proposes an approach of a novel facial expression recognition to deal with different intensities to improve a performance of a facial expression recognition. Various expressions and intensities of each person make an affect to decrease the performance of the facial expression recognition. The effect of different intensities of facial expression has been seldom focused on. In this paper, a face expression template and an expression-intensity distribution model are introduced to recognize different facial expression intensities. These techniques, facial expression template and expression-intensity distribution model contribute to improve the performance of facial expression recognition by describing how the shift between multiple interest points in the vicinity of facial parts and facial parts varies for different facial expressions and its intensities. The proposed method has the distinct advantage that facial expression recognition with different intensities can be very easily performed with a simple calibration on video sequences as well as still images. Experimental results show a robustness that the method can recognize facial expression with weak intensities.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 1999.11a
• /
• pp.356-361
• /
• 1999

본 연구에서는 정신분열증 환자들이 인식하는 타인의 얼굴표정에 관한 정보를 정상집단과 비교해보았다. 정신분열증환자 30명과 정상인 31명을 대상으로 얼굴 계인 검사와 28개의 얼굴표정에 대한 명명과제를 실시하였다. 연구 결과, 얼굴표정에 대한 명명에서 정신분열증 환자집단은 정상집단에 비해 얼굴표정을 명명하는 일치율이 낮았고 흐뭇함과 두려움을 표현하는 표정을 인식하는데 어려움을 나타냈다. 또한, 28개의 얼굴표정들 중, 정신분열증 환자들은 7개의 표정(흐뭇함 3, 두려움 2, 경멸 1, 나른한 1)을 정상집단과 다른 정서로 명명하였다. 연구 결과를 통해, 정신분열증 환자들은 타인의 얼굴정서를 인식하는데 정상인들과 차이를 나타낸다는 것을 알 수 있었으며 이러한 결과를 토대로 정신분열증 환자들의 타인의 정서인식능력의 결핍에 대해서 논의하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.01a
• /
• pp.243-246
• /
• 2019

본 논문에서는 감성과 힐링, 머신러닝이라는 주제를 바탕으로 딥러닝을 통한 사용자의 얼굴표정을 인식하고 그 얼굴표정을 기반으로 음악을 재생해주는 얼굴표정 기반의 음악재생 프로그램을 제안한다. 얼굴표정 기반 음악재생 프로그램은 딥러닝 기반의 음악 프로그램으로써, 이미지 인식 분야에서 뛰어난 성능을 보여주고 있는 CNN 모델을 기반으로 얼굴의 표정을 인식할 수 있도록 데이터 학습을 진행하였고, 학습된 모델을 이용하여 웹캠으로부터 사용자의 얼굴표정을 인식하는 것을 통해 사용자의 감정을 추측해낸다. 그 후, 해당 감정에 맞게 감정을 더 증폭시켜줄 수 있도록, 감정과 매칭되는 노래를 재생해주고, 이를 통해, 사용자의 감정이 힐링 및 완화될 수 있도록 도움을 준다.

• The KIPS Transactions:PartB
• /
• v.15B no.5
• /
• pp.477-486
• /
• 2008

Facial expression, which changes face geometry, usually has an adverse effect on the performance of a face recognition system. To improve the face recognition rate, we propose a normalization method of facial expression to diminish the difference of facial expression between probe and gallery faces. Two approaches are used to facial expression modeling and normalization from single still images using a generic facial muscle model without the need of large image databases. The first approach estimates the geometry parameters of linear muscle models to obtain a biologically inspired model of the facial expression which may be changed intuitively afterwards. The second approach uses RBF(Radial Basis Function) based interpolation and warping to normalize the facial muscle model as unexpressed face according to the given expression. As a preprocessing stage for face recognition, these approach could achieve significantly higher recognition rates than in the un-normalized case based on the eigenface approach, local binary patterns and a grey-scale correlation measure.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 1997.11a
• /
• pp.205-208
• /
• 1997

본 연구는 기하학적인 특징 추출을 기반으로 얼굴 영상에서 얼굴표정을 인식하는 방법을 제시한다. 얼굴표정은 3가지 그룹으로 제한한다(무표정, 기쁨, 놀람). 표정에 관련된 기본 특징들을 추출하기 위하여 얼굴표정정영상에서 눈높이, 눈폭, 입높이, 입폭을 추출하여 데이터를 분석한다. 분석결과로 눈높이, 입폭, 입높이가 표정을 분별하는 주요 특징으로 추출되었다. 각 표정별 눈높이, 입폭, 입높이가 표정을 분별하는 주요 특징으로 추출되었다. 각 표정별 눈높이, 입폭, 입높이의 평균과 표준편차를 구하여 표정별 표준 템플릿을 작성하였다. 표정인식 방법은 최소 근접 분류기(nearest neighbor classifier)를 사용하였다. 새로운 얼굴표정 영상과 표준 템플릿간의 유클리드 거리를 계산하여 새로운 표정에 대하여 83%인식률을 얻었다.