• 정보처리학회논문지B
• /
• 제15B권3호
• /
• pp.179-188
• /
• 2008

본 논문에서는 가상대학에서 교수자와 학습자간 상호작용을 위한 지식기반형 문자-얼굴동영상 변환(TTFSI : Text to Facial Sequence Image) 시스템에 관해 연구하였다. TTFSI 시스템의 구현을 위해, 한글의 문법적 특징을 기반으로 가상강의에 사용된 자막정보에 립싱크된 얼굴 동영상 합성하기 위하여 자막정보를 음소코드로 변환하는 방법, 음소코드별 입모양의 변형규칙 작성법, 입모양 변형규칙에 의한 얼굴 동영상 합성법을 제안한다. 제안된 방법에서는 한글의 구조분석을 통해 기본 자모의 발음을 나타내는 10개의 대표 입모양과 조음결합에서 나타나는 78개의 혼합 입모양으로 모든 음절의 입모양을 표현하였다. 특히 PC환경에서의 실시간 영상을 합성하기 위해서 매 프레임마다 입모양을 합성하지 않고, DB에서 88개의 해당 입모양을 불러오는 방법을 사용하였다. 제안된 방법의 유용성을 확인하기 위하여 텍스트 정보에 따른 다양한 얼굴 동영상을 합성하였으며, PC환경에서 구현 가능한 TTFSI 시스템을 구축하였다.

• 로봇학회논문지
• /
• 제13권1호
• /
• pp.16-25
• /
• 2018

The talking head (TH) indicates an utterance face animation generated based on text and voice input. In this paper, we propose the generation method of TH with facial expression and intonation by speech input only. The problem of generating TH from speech can be regarded as a regression problem from the acoustic feature sequence to the facial code sequence which is a low dimensional vector representation that can efficiently encode and decode a face image. This regression was modeled by bidirectional RNN and trained by using SAVEE database of the front utterance face animation database as training data. The proposed method is able to generate TH with facial expression and intonation TH by using acoustic features such as MFCC, dynamic elements of MFCC, energy, and F0. According to the experiments, the configuration of the BLSTM layer of the first and second layers of bidirectional RNN was able to predict the face code best. For the evaluation, a questionnaire survey was conducted for 62 persons who watched TH animations, generated by the proposed method and the previous method. As a result, 77% of the respondents answered that the proposed method generated TH, which matches well with the speech.