• 한국멀티미디어학회논문지
• /
• 제12권6호
• /
• pp.804-814
• /
• 2009

In this paper, a novel system for avatar motion controlling by tracking face is presented. The system is composed of three main parts: firstly, LCS (Local Cluster Searching) method based face feature detection algorithm, secondly, HMM based feature points recognition algorithm, and finally, avatar controlling and animation generation algorithm. In LCS method, face region can be divided into many small piece regions in horizontal and vertical direction. Then the method will judge each cross point that if it is an object point, edge point or the background point. The HMM method will distinguish the mouth, eyes, nose etc. from these feature points. Based on the detected facial feature points, the 3D avatar is controlled by two ways: avatar orientation and animation, the avatar orientation controlling information can be acquired by analyzing facial geometric information; avatar animation can be generated from the face feature points smoothly. And finally for evaluating performance of the developed system, we implement the system on Window XP OS, the results show that the system can have an excellent performance.

• 인터넷정보학회논문지
• /
• 제7권1호
• /
• pp.65-74
• /
• 2006

인체 추적은 차세대 인간과 컴퓨터사이의 상호작용 (HCI)의 필수요소이다. 본 논문에서는 구성요소에 기반을 둔 인체 모델을 이용하여 인체의 각 부위를 검출하여 자세를 추정하고 아바타의 동작을 구현하는 방법을 제안한다. 인체 각 부위의 색상정보와 함께 연결정보, 위치정보 등을 이용하여 인체 각 부위가 검출되고 인체 모델의 각 구성요소에 매칭된다. 이렇게 구한 2D의 인체 자세 정보는 다음 프레임에서 유사도 계산을 통해 사람 추적에 이용될 수 있다. 이 때, 각 구성요소의 상대적인 위치 관계를 이용하여 깊이 정보를 추출하고 이를 움직임 방향으로 변환하여 2-1/2D 인체 모델을 구한다. 인체 각 부위는 자세와 방향성으로 모델링 되고 연결된 3D 아바타의 각 부분은 인체 모델로부터 넘겨받은 정보를 이용하여 3D 회전을 적용함으로써 실시간 아바타 애니메이션을 구현하게 된다. 다양한 자세를 포함하고 있는 실험 동영상에 대해 90%의 인체 추적율을 얻었고, 처리된 프레임 수가 늘어남에 따라 모델이 체계화되어 추적율이 꾸준히 증가하는 결과를 나타냈다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.212-214
• /
• 2021

In a society with Covid-19 as part of our daily lives, we had to adapt ourselves to a new reality to maintain our lifestyles as normal as possible. An example of this is teleworking and online classes. However, several issues appeared on the go as we started the new way of living. One of them is the doubt of knowing if real people are in front of the camera or if someone is paying attention during a lecture. Therefore, we encountered this issue by creating a 3D reconstruction tool to identify human faces and expressions actively. We use a web camera, a lightweight 3D face model, and use the 2D facial landmark to fit expression coefficients to drive the 3D model. With this Model, it is possible to represent our faces with an Avatar and fully control its bones with rotation and translation parameters. Therefore, in order to reconstruct facial expressions during online meetings, we proposed the above methods as our solution to solve the main issue.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제2권2호
• /
• pp.120-133
• /
• 2008

This paper presents a novel approach for facial motion tracking and facial expression cloning to create a realistic facial animation of a 3D avatar. The exact head pose estimation and facial expression tracking are critical issues that must be solved when developing vision-based computer animation. In this paper, we deal with these two problems. The proposed approach consists of two phases: dynamic head pose estimation and facial expression cloning. The dynamic head pose estimation can robustly estimate a 3D head pose from input video images. Given an initial reference template of a face image and the corresponding 3D head pose, the full head motion is recovered by projecting a cylindrical head model onto the face image. It is possible to recover the head pose regardless of light variations and self-occlusion by updating the template dynamically. In the phase of synthesizing the facial expression, the variations of the major facial feature points of the face images are tracked by using optical flow and the variations are retargeted to the 3D face model. At the same time, we exploit the RBF (Radial Basis Function) to deform the local area of the face model around the major feature points. Consequently, facial expression synthesis is done by directly tracking the variations of the major feature points and indirectly estimating the variations of the regional feature points. From the experiments, we can prove that the proposed vision-based facial expression cloning method automatically estimates the 3D head pose and produces realistic 3D facial expressions in real time.

• 한국게임학회 논문지
• /
• 제10권1호
• /
• pp.25-34
• /
• 2010

과학 기술의 발달이 엔터테인먼트에 큰 영향을 미침에 따라 사람들이 향유할 수 있는 엔터테인먼트의 종류도 다양해 졌으며, 그것을 즐기는 형태 역시 많은 변화가 있었다. 이런 흐름 과 더불어 엔터테인먼트를 바라보는 사람들의 기대 수준도 높아지고 있다. 본 논문에서 제안한 시스템은 참여자의 얼굴을 담은 가상 캐릭터에 참여자의 얼굴 위치를 추적하여 제어하는 체감형 3D 댄싱 게임이다. 시스템 구현과 함께, 참여자들의 설문을 통하여 제안한 게임에 대해 평가했다. 본 논문에서 제안한 시스템은 향후 엔터테인먼트 경험을 향상시킬 수 있는 새로운 재미와 자발적 참여를 유도하는 수단이 될 수 있을 것으로 기대한다.