• 만화애니메이션 연구
• /
• 통권33호
• /
• pp.383-402
• /
• 2013

본 연구에서는 감성 변화에 따라 나타나는 얼굴 표정에 대한 해부학적 접근방식으로 근육 체계에 의해서 부호화하는 얼굴 움직임 부호화 시스템(FACS, Facial Action Coding System)을 얼굴표정에 적용하고 이를 바탕으로 듀센스마일(Duchenne smile)을 가상 캐릭터에 적용하여 검증해 보고자 한다. 인간의 표정을 인식하는 방식이 동일하게 가상의 캐릭터에도 적용된다는 선행연구를 바탕으로 애니메이션, 게임 등의 캐릭터에 보다 사실적인 표정을 담을 수 있는 연구 방식을 제안하고자 한다. 실험을 위해 훈련된 연극전공 학생들에게 정서 유발 실험을 통해 듀센 스마일과 일반 스마일을 추출하였다. 추출된 표정을 바탕으로 얼굴 근육 데이터를 표집하여 입과 입술주변의 근육과 다른 부위의 얼굴 표정 빈도를 산출하여 얻어진 데이터를 가상 캐릭터에 적용해 보았다. 그 결과 미소 표정에서 근육의 움직임은 협골 대근육의 수축으로 인한 입술 끝이 상향운동을 하며 안륜근이 수축하며 뺨이 올라가고 눈의 아래쪽 외측 눈꺼풀이 올라가는 표정이 나타났다. 개방성과 관련된 입주변 근육(AU25, AU26, AU27)과 코주위 근육(AU9)이 함께 협골근과 광대근 주변 근육의 움직임이 표현되었다. 그중 듀센 미소는 협골 대근육과 안륜근이 동시에 움직이는 형태로 발생되었다. 이를 바탕으로 본인의 의지에 의해 수행 가능한 광대근육과 감성적 정서에 공감하여 웃음의 형태로 나타나는 안륜근을 구분하고 이를 가상의 캐릭터의 근육에 적용하여 인간의 표정과 가상의 캐릭터 표정이 서로 구분 가능한지를 설문을 통해 알아보고자 하였다.

• 전자공학회논문지C
• /
• 제34C권10호
• /
• pp.43-50
• /
• 1997

In this paper, we present a method that can recognize face images by use of a sparse population code that is a learning model about a receptive fields of the simple cells in the primary visual cortex. Twenty front-view facial images form twenty persons were used for the training process, and 200 varied facial images, 20 per person, were used for test. The correct recognition rate was 100% for only the front-view test facial images, which include the images either with spectacles or of various expressions, while it was 90% in average for the total input images that include rotated faces. We analyzed the effect of nonlinear functon that determine the sparseness, and compared recognition rate using the sparese population code with that using eigenvectors (eigenfaces), which is compact code that makes contrast with the sparse population code.

• 정보처리학회논문지B
• /
• 제12B권7호
• /
• pp.795-802
• /
• 2005

본 논문에서는 일곱 가지의 기본적인 감정 정보를 자동으로 파악하고 얼굴을 PDA 상에서 렌더링할 수 있는 얼굴 표정의 인식 및 합성 시스템을 제시한다. 얼굴 표정 인식을 위해서 먼저 카메라로부터 획득한 영상으로부터 얼굴 부분을 검출한다. 그리고 나서 기하학적 또는 조명으로 인한 보정을 위해 정규화 과정을 거친다. 얼굴 표정을 분류하기 위해서는 Gabor wavelets 방법을 enhanced Fisher 모델과 결합하여 사용할 때가 가장 좋은 결과를 보였다. 본 표정 분류에서는 일곱 가지 감정 가중치가 결과로 제시되고, 그러한 가중 정보는 모바일 네트웍을 통하여PDA 상으로 전송되어 얼굴 표정 애니메이션에 이용되어진다. 또한 본 논문에서는 고유한 얼굴 캐릭터를 가진 3차워 아바타를 생성하기 위하여 카툰 쉐이딩 기법을 채택하였다. 실험 결과 감정 곡선을 이용한 얼굴 표정 애니메이션은 선형 보간법 보다 감정 변화의 타이밍을 표현하는데 더 효과적인 것으로 나타났다.

• The Journal of Advanced Prosthodontics
• /
• 제15권1호
• /
• pp.1-10
• /
• 2023

PURPOSE. Accuracy of image matching between resting and smiling facial models is affected by the stability of the reference surfaces. This study aimed to investigate the morphometric variations in subdivided facial units during resting, posed and spontaneous smiling. MATERIALS AND METHODS. The posed and spontaneous smiling faces of 33 adults were digitized and registered to the resting faces. The morphological changes of subdivided facial units at the forehead (upper and lower central, upper and lower lateral, and temple), nasal (dorsum, tip, lateral wall, and alar lobules), and chin (central and lateral) regions were assessed by measuring the 3D mesh deviations between the smiling and resting facial models. The one-way analysis of variance, Duncan post hoc tests, and Student's t-test were used to determine the differences among the groups (α = .05). RESULTS. The smallest morphometric changes were observed at the upper and central forehead and nasal dorsum; meanwhile, the largest deviation was found at the nasal alar lobules in both the posed and spontaneous smiles (P < .001). The spontaneous smile generally resulted in larger facial unit changes than the posed smile, and significant difference was observed at the alar lobules, central chin, and lateral chin units (P < .001). CONCLUSION. The upper and central forehead and nasal dorsum are reliable areas for image matching between resting and smiling 3D facial images. The central chin area can be considered an additional reference area for posed smiles; however, special cautions should be taken when selecting this area as references for spontaneous smiles.

• International Journal of Contents
• /
• 제18권3호
• /
• pp.11-20
• /
• 2022

Human Emotion Recognition is an exciting topic that has been attracting many researchers for a lengthy time. In recent years, there has been an increasing interest in exploiting contextual information on emotion recognition. Some previous explorations in psychology show that emotional perception is impacted by facial expressions, as well as contextual information from the scene, such as human activities, interactions, and body poses. Those explorations initialize a trend in computer vision in exploring the critical role of contexts, by considering them as modalities to infer predicted emotion along with facial expressions. However, the contextual information has not been fully exploited. The scene emotion created by the surrounding environment, can shape how people perceive emotion. Besides, additive fusion in multimodal training fashion is not practical, because the contributions of each modality are not equal to the final prediction. The purpose of this paper was to contribute to this growing area of research, by exploring the effectiveness of the emotional scene gist in the input image, to infer the emotional state of the primary target. The emotional scene gist includes emotion, emotional feelings, and actions or events that directly trigger emotional reactions in the input image. We also present an attention-based fusion network, to combine multimodal features based on their impacts on the target emotional state. We demonstrate the effectiveness of the method, through a significant improvement on the EMOTIC dataset.

• 한국멀티미디어학회논문지
• /
• 제9권7호
• /
• pp.894-903
• /
• 2006

하드웨어의 급속한 기술발전은 3차원 영상정보를 포함한 다양한 디지털 영상정보의 급속한 발전과 확대를 가져왔다. 애니메이션, 가상현실, 영화, 광고, 게임 분야에서도 3차원 디지털 영상처리는 매우 다양하고 광범위하게 사용되고 있다. 이러한 3차원 디지털 영상 속에 등장하는 3D캐릭터는 의인화된 동작이나 음성, 표정등을 통해 관객에게 감동과 정보를 전달하는 중요한 역할을 담당한다. 3D캐릭터의 활용도와 사용범위가 확대되어감에 따라 효과적인 3D캐릭터의 동작연구나 표정연출에 대한 관심도 또한 높아지고 있다. 본 연구에서는 내적감정상태의 효과적 수단으로 사용되는 표정에 대해 연구해본다. 해부학적 구조에 기반한 얼굴근육의 운동방향과 변화에 따른 3D 캐릭터의 표정구현에 대해 살펴보고 효과적인 표현방법을 모색해보고자 한다. 또한 선행연구로 진행된 2D캐릭터 표정연구와의 비교를 통하여 그 차이점과 특징에 대해 살펴보고자 한다.

• 인지과학
• /
• 제16권4호
• /
• pp.323-331
• /
• 2005

본 논문은 조명 변화에 강인하며 중립 표정과 같은 표정 측정의 기준이 되는 단서 없이 다양한 내적상태 안에서 얼굴표정을 인식할 수 있는 개선된 시스템을 제안한다. 표정정보를 추출하기 위한 전처리 작업으로, 백색화(whitening) 단계가 적용되었다. 백색화 단계는 영상데이터들의 평균값이 0이며 단위분산 값으로 균일한 분포를 갖도록 하여 조명 변화에 대한 민감도를 줄인다. 백색화 단계 수행 후 제 1 주성분이 제외된 나머지 주성분들로 이루어진 PCA표상을 표정정보로 사용함으로써 중립 표정에 대한 단서 없이 얼굴표정의 특징추출을 가능하게 한다. 본 실험 결과는 또한 83개의 내적상태와 일치되는 다양한 얼굴표정들에서 임의로 선택된 표정영상들을 내적상태의 차원모델에 기반한 얼굴표정 인식을 수행함으로써 다양하고 자연스런 얼굴 표정 인식을 가능하게 하였다.

• 전자공학회논문지
• /
• 제51권11호
• /
• pp.193-201
• /
• 2014

본 논문에서는 얼굴영상에 나타난 사람의 표정을 인식하기 위해 얼굴검출, 얼굴정렬, 얼굴단위 추출, 그리고 AdaBoost를 이용한 학습 방법과 효과적인 인식방법을 제안한다. 입력영상에서 얼굴 영역을 찾기 위해서 얼굴검출을 수행하고, 검출된 얼굴영상에 대하여 학습된 얼굴모델과 정렬(Face Alignment)을 수행한 후, 얼굴의 표정을 나타내는 단위요소(Facial Units)들을 추출한다. 본 논문에서 제안하는 얼굴 단위요소들을 표정을 표현하기 위한 기본적인 액션유닛(AU, Action Units)의 하위집합으로 눈썹, 눈, 코, 입 부분으로 나눠지며, 이러한 액션유닛에 대하여 AdaBoost 학습을 수행하여 표정을 인식한다. 얼굴유닛은 얼굴표정을 더욱 효율적으로 표현할 수 있고 학습 및 테스트에서 동작하는 시간을 줄여주기 때문에 실시간 응용분야에 적용하기 적합하다. 실험결과, 제안하는 표정인식 시스템은 실시간 환경에서 90% 이상의 우수한 성능을 보여준다.

• 한국멀티미디어학회논문지
• /
• 제20권8호
• /
• pp.1175-1186
• /
• 2017

Human emotion recognition is one of the promising applications in the era of artificial super intelligence. Thus far, facial expression traits are considered to be the most widely used information cues for realizing automated emotion recognition. This paper proposes a novel facial expression recognition (FER) method that works well for recognizing emotion from image sequences. To this end, we develop the so-called weighted soft voting classification (WSVC) algorithm. In the proposed WSVC, a number of classifiers are first constructed using different and multiple feature representations. In next, multiple classifiers are used for generating the recognition result (namely, soft voting) of each face image within a face sequence, yielding multiple soft voting outputs. Finally, these soft voting outputs are combined through using a weighted combination to decide the emotion class (e.g., anger) of a given face sequence. The weights for combination are effectively determined by measuring the quality of each face image, namely "peak expression intensity" and "frontal-pose degree". To test the proposed WSVC, CK+ FER database was used to perform extensive and comparative experimentations. The feasibility of our WSVC algorithm has been successfully demonstrated by comparing recently developed FER algorithms.

• 인지과학
• /
• 제11권2호
• /
• pp.53-58
• /
• 2000

본 논문은 FCM 군집화 알고리즘을 사용하여 표정영상에서 특징점들을 추출한 후 추출된 특징점으로부터 Gabor 웨이브렛들을 이용하여 표정영상의 국소영역을 복원한다. 얼굴의 특징점 추출은 두단계로 이루어진다. 1단계는 이차원 Gabor 웨이브렛 계수 히스토그램의 평균값을 적용하여 얼굴의 주요 요소성분들의 경계선을 추출한 후, 2단계에서는 추출된 경계선 정보로부터 FCM 군집화 알고리즘을 사용하여 얼굴의 주요 요소성분들의 최종적인 특징점들을 추출한다. 본 연구에서는 FCM 군집화 알고리즘을 이용하여 추출된 적은 수의 특징점들 만으로도 표정영상의 주요 요소들을 복원할 수 있음을 제시한다. 이것은 인간의 얼굴 표정인식 뿐만아니라 물체인식에도 적용되어질 수 있다.