• 로봇학회논문지
• /
• 제13권1호
• /
• pp.16-25
• /
• 2018

The talking head (TH) indicates an utterance face animation generated based on text and voice input. In this paper, we propose the generation method of TH with facial expression and intonation by speech input only. The problem of generating TH from speech can be regarded as a regression problem from the acoustic feature sequence to the facial code sequence which is a low dimensional vector representation that can efficiently encode and decode a face image. This regression was modeled by bidirectional RNN and trained by using SAVEE database of the front utterance face animation database as training data. The proposed method is able to generate TH with facial expression and intonation TH by using acoustic features such as MFCC, dynamic elements of MFCC, energy, and F0. According to the experiments, the configuration of the BLSTM layer of the first and second layers of bidirectional RNN was able to predict the face code best. For the evaluation, a questionnaire survey was conducted for 62 persons who watched TH animations, generated by the proposed method and the previous method. As a result, 77% of the respondents answered that the proposed method generated TH, which matches well with the speech.

• Journal of Information Technology Applications and Management
• /
• 제29권1호
• /
• pp.29-45
• /
• 2022

The Fourth Industrial Revolution era requires people to have the ability of integrated thinking, critics, sensitivity, and creativity in an integrated manner. Therefore, teaching methods are expected to become more suitable for the trend. In this belief, current teacher-leading education method should move to students' self motivating one and consist of programs in which students voluntarily involve. In this reason, this study suggests FPBL educational method model that is combines project-based learning with flipped learning by analysing preceding research and digital painting tool class was designed by applying it. As a result of applying the designed class model to the class, all of the class satisfaction, effectiveness, and interaction were evaluated positively. Problems such as limitations of project classes due to non-face-to-face classes, large amount of learning before class, and reduced concentration during class were found. Therefore, when the FPBL class model is conducted non-face-to-face, it will be necessary to further strengthen the role of the instructor, provide lecture videos summarizing the core contents, and improve concentration by providing active participation and fun using various digital tools. The result of the study looks significant by confirming the possibility of applying FPBL model not only in design education but also other educational settings.

• 정보처리학회논문지B
• /
• 제9B권5호
• /
• pp.563-570
• /
• 2002

본 논문은 MPEG4 SNHC의 얼굴 모델 인코딩을 구현하기 위하여 연속된 2차원 영상으로부터 얼굴영역을 검출하고, 얼굴의 특징데이터들을 추출한 후, 얼굴의 3차원 모양 및 움직임 정보를 복원하는 알고리즘과 결과를 제시한다. 얼굴 영역 검출을 위해서 영상의 거리, 피부색상, 움직임 색상정보등을 융합시킨 멀티모달합성의 방법이 사용되었다. 결정된 얼굴영역에서는 MPEG4의 FDP(Face Definition Parameter) 에서 제시된 특징점 위치중 23개의 주요 얼굴 특징점을 추출하며 추출성능을 향상시키기 위하여 GSCD(Generalized Skin Color Distribution), BWCD(Black and White Color Distribution)등의 움직임색상 변환기법과 형태연산 방법이 제시되었다. 추출된 2차원 얼팔 특징점들로부터 얼굴의 3차원 모양, 움직임 정보를 복원하기 위하여 준원근 카메라 모델을 적용하여 SVD(Singular Value Decomposition)에 의한 인수분해연산을 수행하였다. 본 논문에서 제시된 방법들의 성능을 객관적으로 평가하기 위하여 크기와 위치가 알려진 3차원 물체에 대해 실험을 행하였으며, 복원된 얼굴의 움직임 정보는 MPEG4 FAP(Face Animation Parameter)로 변환된 후, 인터넷상에서 확인이 가능한 가상얼굴모델에 인코딩되어 실제 얼굴파 일치하는 모습을 확인하였다.

• 정보처리학회논문지A
• /
• 제17A권6호
• /
• pp.281-288
• /
• 2010

본 논문에서는 3차원 얼굴 스캔 데이터와 사진 이미지를 이용하여 고화질의 3차원 얼굴 모델과 모핑 애니메이션을 생성하는 시스템 개발에 대해 기술한다. 본 시스템은 얼굴 특징점 입력 도구, 얼굴 텍스처매핑 인터페이스, 3차원 얼굴 모핑 인터페이스로 구성되어 있다. 얼굴 특징점 입력 도구는 3차원 텍스처매핑과 모핑 애니메이션을 위한 보조 도구로서 얼굴의 특징점을 입력하여 텍스처매핑과 임의의 두 얼굴간의 모핑 영역을 정할 때 사용된다. 텍스처매핑은 3D 스캐너로부터 획득한 얼굴의 기하 데이터에 세 방향의 사진 이미지를 이용하여 매핑한다. 3D 얼굴모핑은 얼굴 특징점 입력 도구로부터 얻은 특징점을 중심으로 얼굴 영역을 분류하여 임의의 두 얼굴 간의 영역간 매핑을 실현한다. 본 시스템은 사용자가 별도의 프로그래밍 작업 없이 대화형 인터페이스에서 3D 스캐너에서 획득한 얼굴 메쉬 데이터를 이용하여 사진 이미지로 텍스처 매핑을 실행하여 사실적인 3D 얼굴 모델을 얻을 수 있고, 임의의 서로 다른 얼굴 모델들간의 모핑 애니메이션을 쉽게 실현할 수가 있다.

• 한국멀티미디어학회논문지
• /
• 제17권9호
• /
• pp.1076-1083
• /
• 2014

We propose an emotional facial avatar that portrays the user's facial expressions with an emotional emphasis, while achieving visual and behavioral realism. This is achieved by unifying automatic analysis of facial expressions and animation of realistic 3D faces with details such as facial hair and hairstyles. To augment facial appearance according to the user's emotions, we use emotional templates representing typical emotions in an artistic way, which can be easily combined with the skin texture of the 3D face at runtime. Hence, our interface gives the user vision-based control over facial animation of the emotional avatar, easily changing its moods.

• 정보처리학회논문지B
• /
• 제18B권6호
• /
• pp.375-384
• /
• 2011

본 논문에서는 사람의 표정이 아닌 애니메이션 캐릭터의 표정을 주색상과 특징점을 효과적으로 분석하여 인식하는 방법을 제안한다. 제안된 방법에서는 먼저 캐릭터의 특성에 맞게 간략화한 메쉬모델을 정의하고 캐릭터 얼굴과 얼굴의 구성요소를 주색상을 이용하여 검출한 후 각 구성요소의 에지를 활용하여 표정인식을 위한 특징점을 추출한다. 그런 다음, 각 특징점의 위치와 모양 정보를 신경망 학습을 통해 해당 AU로 분류하고, 제안된 표정 AU 명세서를 이용해 최종적으로 표정을 인식한다. 실험에서는 제안된 애니메이션 캐릭터의 표정인식 방법이 무표정을 포함하여 기쁨, 슬픔, 놀람, 화남, 공포의 6가지 표정을 비교적 신뢰성 있게 인식함을 애니메이션 영상을 이용한 실험을 통해 보여준다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제2권2호
• /
• pp.120-133
• /
• 2008

This paper presents a novel approach for facial motion tracking and facial expression cloning to create a realistic facial animation of a 3D avatar. The exact head pose estimation and facial expression tracking are critical issues that must be solved when developing vision-based computer animation. In this paper, we deal with these two problems. The proposed approach consists of two phases: dynamic head pose estimation and facial expression cloning. The dynamic head pose estimation can robustly estimate a 3D head pose from input video images. Given an initial reference template of a face image and the corresponding 3D head pose, the full head motion is recovered by projecting a cylindrical head model onto the face image. It is possible to recover the head pose regardless of light variations and self-occlusion by updating the template dynamically. In the phase of synthesizing the facial expression, the variations of the major facial feature points of the face images are tracked by using optical flow and the variations are retargeted to the 3D face model. At the same time, we exploit the RBF (Radial Basis Function) to deform the local area of the face model around the major feature points. Consequently, facial expression synthesis is done by directly tracking the variations of the major feature points and indirectly estimating the variations of the regional feature points. From the experiments, we can prove that the proposed vision-based facial expression cloning method automatically estimates the 3D head pose and produces realistic 3D facial expressions in real time.

• 사상체질의학회지
• /
• 제18권2호
• /
• pp.25-33
• /
• 2006

1. Objectives Recently there have been studied the trials to take out the characteristics of Sasangin's face. 3 dimensional modeling is essential to find out sasangin's face. So the studies of standard face model and face type are necessary. 2. Methods I have reviewed the researches of standard facial modeling and facial type in the inside and outside of the country. 3. Results and Conclusions The Facial Definition Parameters are a very complex set of parameters defined by MPEG-4. It has defineds set of 84 feature points and 68 Facial Animation Parameters. Face type has been researched to divide into male and female, or the westerns and the orientals, or sasangin(Taeyangin, Taeumin, Soyangin, Soeumin).

• 한국멀티미디어학회논문지
• /
• 제24권1호
• /
• pp.125-133
• /
• 2021

Due to Covid-19, the un-contact culture has affected society as a whole, and the methods of education conducted offline has been greatly affected. In the private education of preparing for university entrance, the public official examinations and certification acquisition, the method of online education has been shown to have positive effects. While private class and school class which have offered in off-line to cope with rapid changes caused various problems such as decline in quality for education. Due to the characteristic of design class, practical training is important. As interactive feedback between students and educators is more important than one-way of delivering knowledge while class is conducted in online, educators have a challenge when they prepare for class. This study handles the methods of online education for the purpose of practical education methods in university nowadays, Especially, the non-face-to-face education methods for game animation production. Based on this study, I propose an effective educational method with non-face-to-face class that allows students to be satisfied and increases their knowledge, beyond face-to-face class.

• 디지털융복합연구
• /
• 제18권8호
• /
• pp.391-399
• /
• 2020

2011년부터 입지를 넓혀간 국내 극장용 애니메이션은 그 성장세와는 별개로 미성년층만을 대상으로 한다는 고정관념과 사회 및 철학적 의제를 다루는 대중 예술적 표현 장르로 적합하지 않다는 인식의 한계가 남아있다. 영화<파닥파닥>은 횟집이라는 한정된 공간 속에서 사회계층, 삶과 죽음이라는 철학적 의제를 각 물고기의 성격과 배경 그리고 애니메이션만의 연출 방식으로 표출하면서 그 한계를 뛰어넘는 사례다. 낙관적으로 그려지는 전통적 애니메이션 전개에서 벗어나, 캐릭터들의 노력에도 불구하고 구조적 모순에서 벗어날 수 없는 서사와 물고기 캐릭터임에 가능한 보다 비극적인 장면들로 현 사회의 문제점을 비판한다. 또한, 드로잉 기법 뮤지컬로 캐릭터의 이념과 태도를 표현하며 삶과 죽음 앞에 사회가 취해야 할 자세를 고찰하게 한다. 본 논문의 목적은 이대희 감독의 애니메이션 <파닥파닥(2012)>을 분석하여 국내 극장용 애니메이션의 장르적 확장성에 대한 가능성을 제시하는 것에 있다.