• Proceedings of the Korea Contents Association Conference
• /
• 2006.11a
• /
• pp.682-686
• /
• 2006

There have been increasing interests in 3D mobile content service with emergence of a terminal equipping with a mobile 3D engine and growth of mobile content market. Mobile 3D Avatar is the most effective product displaying the character of a personalized mobile device user. However, previous studies on the method of expressing 3D Avatar have been mainly focused on natural and realistic expressions according to the change in facial expressions and lip shape of a character in PC based virtual environments. In this paper, we propose a method of synchronizing the lip shape with voice by applying a SMS message received in mobile environments to 3D mobile Avatar. The proposed method enables to realize a natural and effective SMS message reading service of mobile Avatar by disassembling a received message sentence into units of a syllable and then synchronizing the lip shape of 3D Avatar with the corresponding voice.

• 한국HCI학회:학술대회논문집
• /
• 2006.02b
• /
• pp.362-369
• /
• 2006

3 차원 그래픽스에 적용하는 한국어 립씽크 합성 체계를 연구하여, 말소리에 대응하는 자연스러운 립씽크를 자동적으로 생성하도록 하는 디자인 시스템을 연구 개발하였다. 페이셜애니메이션은 크게 나누어 감정 표현, 즉 표정의 애니메이션과 대화 시 입술 모양의 변화를 중심으로 하는 대화 애니메이션 부분으로 구분할 수 있다. 표정 애니메이션의 경우 약간의 문화적 차이를 제외한다면 거의 세계 공통의 보편적인 요소들로 이루어지는 반면 대화 애니메이션의 경우는 언어에 따른 차이를 고려해야 한다. 이와 같은 문제로 인해 영어권 및 일본어 권에서 제안되는 음성에 따른 립싱크 합성방법을 한국어에 그대로 적용하면 청각 정보와 시각 정보의 부조화로 인해 지각의 왜곡을 일으킬 수 있다. 본 연구에서는 이와 같은 문제점을 해결하기 위해 표기된 텍스트를 한국어 발음열로 변환, HMM 알고리듬을 이용한 입력 음성의 시분할, 한국어 음소에 따른 얼굴특징점의 3 차원 움직임을 정의하는 과정을 거쳐 텍스트와 음성를 통해 3 차원 대화 애니메이션을 생성하는 한국어 립싱크합성 시스템을 개발 실제 캐릭터 디자인과정에 적용하도록 하였다. 또한 본 연구는 즉시 적용이 가능한 3 차원 캐릭터 애니메이션뿐만 아니라 아바타를 활용한 동적 인터페이스의 요소기술로서 사용될 수 있는 선행연구이기도 하다. 즉 3 차원 그래픽스 기술을 활용하는 영상디자인 분야와 HCI 에 적용할 수 있는 양면적 특성을 지니고 있다. 휴먼 커뮤니케이션은 언어적 대화 커뮤니케이션과 시각적 표정 커뮤니케이션으로 이루어진다. 즉 페이셜애니메이션의 적용은 보다 인간적인 휴먼 커뮤니케이션의 양상을 지니고 있다. 결국 인간적인 상호작용성이 강조되고, 보다 편한 인간적 대화 방식의 휴먼 인터페이스로 그 미래적 양상이 변화할 것으로 예측되는 아바타를 활용한 인터페이스 디자인과 가상현실 분야에 보다 폭넓게 활용될 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.05a
• /
• pp.225-228
• /
• 2005

얼굴표정은 상대방에게 자신의 감정과 생각을 간접적으로 나타내는 중요한 의사소통의 표현이 되며 상대방에게 직접적인 표현방법의 수단이 되기도 한다. 이러한 표현 방법은 컴퓨터를 매개체로 하는 메신저간의 의사 전달에 있어서 얼굴표정을 사용함으로써 상대방의 감정을 문자로만 인식하는 것이 아니라 현재 상대방이 느끼는 내적인 감정까지 인식하여 대화할 수 있다. 본 논문은 3D 메시로 구성된 얼굴 모델을 이용하여 사용자가 입력한 한글 메시지의 한글 음절을 분석 추출 하고, 3D 얼굴 메시에 서 8개의 입술 제어점을 사용하여 입 모양의 변화를 보여주는 3D Avatar 아바타 메신저 시스템을 설계 및 구현 하였다.

• The KIPS Transactions:PartB
• /
• v.12B no.7 s.103
• /
• pp.795-802
• /
• 2005

In this paper, we present a facial expression recognition-synthesis system that recognizes 7 basic emotion information automatically and renders face with non-photorelistic style in PDA For the recognition of the facial expressions, first we need to detect the face area within the image acquired from the camera. Then, a normalization procedure is applied to it for geometrical and illumination corrections. To classify a facial expression, we have found that when Gabor wavelets is combined with enhanced Fisher model the best result comes out. In our case, the out put is the 7 emotional weighting. Such weighting information transmitted to the PDA via a mobile network, is used for non-photorealistic facial expression animation. To render a 3-D avatar which has unique facial character, we adopted the cartoon-like shading method. We found that facial expression animation using emotional curves is more effective in expressing the timing of an expression comparing to the linear interpolation method.

• Journal of Satellite, Information and Communications
• /
• v.8 no.4
• /
• pp.117-123
• /
• 2013

The development of the latest emotional recognition and multimedia technology has changed the traditional broadcasting system. The previous broadcasting system, which was operated by the terrestrial broadcasters, is now transformed to the viewer-centered and bidirectional broadcasting through the convergence of internet, mobile and smart TV. In this paper, smart-phone application for estimating human emotion(sadness, anger, depression) has been developed and emerged with smart TV, thereby we can present broadcasting service for enhancing the sense of common humanity among people of same group. If there is friend in the depression, we can bring comfort to him by inviting one for TV program what I watch and having a honest talk with facial avatar or emoticon. The proposed emotional broadcasting service inter-working with smart-phone application can give feeling of belonging and happiness to the people suffering from the blues, and it can prevent him from attempting suicide. In addition, smart-phone based emotional broadcasting service can be expended to program recommendation service customized to user's emotion, emotional LED lighting service to maximize the sense of reality and home shopping service taking advantage of the mood of customer.