A Study on the Implementation of Realtime Phonetic Recognition and LIP-synchronization

실시간 음성인식 및 립싱크 구현에 관한 연구

  • Lee, H.H. (Dept. of Electrical Electronic & Information Eng., Kongju National Univ.) ;
  • Choi, D.I. (Dept. of Electrical Electronic & Information Eng., Kongju National Univ.) ;
  • Cho, W.Y. (Dept. of Electrical Electronic & Information Eng., Kongju National Univ.)
  • 이형호 (공주대학교 전기전자정보공학과) ;
  • 최두일 (공주대학교 전기전자정보공학과) ;
  • 조우연 (공주대학교 전기전자정보공학과)
  • Published : 2000.11.25

Abstract

본 논문에서는 실시간 음성 인식에 의한 립싱크(Lip-synchronization) 애니메이션 제공 방법에 관한 것으로서, 소정의 음성정보를 인식하여 이 음성 정보에 부합되도록 애니메이션의 입모양을 변화시켜 음성정보를 시각적으로 전달하도록 하는 립싱크 방법에 대한 연구이다. 인간의 실제 발음 모습에 보다 유사한 립싱크와 생동감 있는 캐릭터의 얼굴 형태를 실시간으로 표현할 수 있도록 마이크 등의 입력을 받고 신경망을 이용하여 실시간으로 음성을 인식하고 인식된 결과에 따라 2차원 애니메이션을 모핑 하도록 모델을 상고 있다.

Keywords