• Journal of the Korea Computer Graphics Society
• /
• v.8 no.4
• /
• pp.17-25
• /
• 2002

In this paper we propose a new efficient muscle modeling for creating 3d facial models. It improves the existing muscle-based facial modeling method. We present the facial muscle action prediction map as a new method of muscle modeling. We also suggest a new face deformation method that improves the existing method which controls each muscle's condition separately.

• 한국HCI학회:학술대회논문집
• /
• 2008.02a
• /
• pp.397-402
• /
• 2008

본 논문에서는 햅틱 인터랙션 기반의 3차원 가상 얼굴 메이크업 시뮬레이션에서 메이크업 대상에 대한 정교한 페인팅을 적용하기 위한 자동화된 마스크 생성 방법을 개발한다. 본 연구에서는 메이크업 시뮬레이션 이전의 전처리 과정에서 마스크를 생성한다. 우선, 3차원 스캐너 장치로부터 사용자의 얼굴 텍스쳐 이미지와 3차원 기하 표면 모델을 획득한다. 획득된 얼굴 텍스쳐 이미지로부터 AdaBoost 알고리즘, Canny 경계선 검출 방법과 색 모델 변환 방법 등의 영상처리 알고리즘들을 적용하여 마스크 대상이 되는 주요 특정 영역(눈, 입술)들을 결정하고 얼굴 이미지로부터 2차원 마스크 영역을 결정한다. 이렇게 생성된 마스크 영역 이미지는 3차원 표면 기하 모델에 투영되어 최종적인 3차원 특징 영역의 마스크를 레이블링하는데 사용된다. 이러한 전처리 과정을 통하여 결정된 마스크는 햅틱 장치와 스테레오 디스플레이기반의 가상 인터페이스를 통해서 자연스러운 메이크업 시뮬레이션을 수행하는데 사용된다. 본 연구에서 개발한 방법은 사용자에게 전처리 과정에서의 어떠한 개입 없이 자동적으로 메이크업 대상이 되는 마스크 영역을 결정하여 정교하고 손쉬운 메이크업 페인팅 인터페이스를 제공한다.

• The KIPS Transactions:PartA
• /
• v.17A no.6
• /
• pp.281-288
• /
• 2010

In this paper, we describe the development of a system for generating a 3-dimensional human face using 3D scanned facial data and photo images, and morphing animation. The system comprises a facial feature input tool, a 3-dimensional texture mapping interface, and a 3-dimensional facial morphing interface. The facial feature input tool supports texture mapping and morphing animation - facial morphing areas between two facial models are defined by inputting facial feature points interactively. The texture mapping is done first by means of three photo images - a front and two side images - of a face model. The morphing interface allows for the generation of a morphing animation between corresponding areas of two facial models after texture mapping. This system allows users to interactively generate morphing animations between two facial models, without programming, using 3D scanned facial data and photo images.

• Journal of KIISE:Software and Applications
• /
• v.27 no.6
• /
• pp.618-631
• /
• 2000

In this paper, we suggest the method of 3D facial synthesis using the motion of 2D facial images. We use the optical flow-based method for estimation of motion. We extract parameterized motion vectors using optical flow between two adjacent image sequences in order to estimate the facial features and the facial motion in 2D image sequences. Then, we combine parameters of the parameterized motion vectors and estimate facial motion information. We use the parameterized vector model according to the facial features. Our motion vector models are eye area, lip-eyebrow area, and face area. Combining 2D facial motion information with 3D facial model action unit, we synthesize the 3D facial model.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10b
• /
• pp.217-220
• /
• 2007

본 논문에서는 MPEG-4에서 정의하는 FDP(Facial Definition Parameter)를 이용하여 사람의 3차원 얼굴모델들을 모핑(Morphing)시키는 알고리즘을 기술한다. 3 차원 스캐너로 생성한 얼굴 모델에 MPEG-4 의 FDP 를 기반으로 얼굴의 특징을 구분하는 영역들을 정의한다. 얼굴 모핑 알고리즘은 서로 다른 얼굴 모델 사이에서 이러한 얼굴 특징 영역들간의 변형을 생성하기 위한 일련의 과정을 설명한다. 특징 영역간의 얼굴 모핑을 위해서는 서로 다른 얼굴 모델의 기하 데이터와 속성들을 매핑시켜야 하는 문제가 생긴다. 이를 위해 본 연구에서는 구를 이용하여 각 얼굴 모델의 기하와 속성 정보를 정의하여 매핑한 후에 이들간을 모핑하는 방법을 정의하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.628-630
• /
• 2001

사용자에게 친근감 있는 인터페이스를 제공하는 얼굴 모델링에 대한 연구가 활발히 진행 중이다. 본 논문에서는 기존 방법인 3차원 스캐너가 카메라를 이용하지 않고 얼굴의 정면상과 측면상의 사진을 이용하여 크기와 배경의 복잡성에 상관없이 일반적인 특징점을 추출하여 삼각형 메쉬로 구성된 표준 모델을 생성하고 이를 이용해서 3차원 얼굴의 형태를 생성하는 시스템을 제안한다. 추출된 특징점은 각개인의 얼굴 형태에 맞게 변형함으로서 좀더 현실적인 3차원 얼굴 모델링을 제공한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10c
• /
• pp.600-602
• /
• 1998

본 논문은 정면과 측면 얼굴 이미지의 특성을 살린 3차원 개인 아바타 합성에 관한 연구이다. 표준 얼굴 메쉬를 얼굴 이미지의 특징점에 맞추려는 힘을 특징점 이외의 점들까지의 거리에 대한 가우스 분포를 따라 부드럽게 전달시켜 매쉬를 탄성있게 변형하는 힘으로 작용시켜 메쉬를 얼굴 이미지의 윤곽선을 중심으로 매칭시키고, 매칭된 메쉬가 매칭 이전의 메쉬의 기하학적 특성을 유지할 수 있도록 메쉬에 동적 피부 모델을 적용한다. 이렇게 생성한 3차원 메쉬에 이미지를 텍스춰 매핑하여 개인 특성을 살린 3차원 개인 아바타를 생성한다.

• The KIPS Transactions:PartB
• /
• v.14B no.4
• /
• pp.311-320
• /
• 2007

This paper presents vision-based 3D facial expression animation technique and system which provide the robust 3D head pose estimation and real-time facial expression control. Many researches of 3D face animation have been done for the facial expression control itself rather than focusing on 3D head motion tracking. However, the head motion tracking is one of critical issues to be solved for developing realistic facial animation. In this research, we developed an integrated animation system that includes 3D head motion tracking and facial expression control at the same time. The proposed system consists of three major phases: face detection, 3D head motion tracking, and facial expression control. For face detection, with the non-parametric HT skin color model and template matching, we can detect the facial region efficiently from video frame. For 3D head motion tracking, we exploit the cylindrical head model that is projected to the initial head motion template. Given an initial reference template of the face image and the corresponding head motion, the cylindrical head model is created and the foil head motion is traced based on the optical flow method. For the facial expression cloning we utilize the feature-based method, The major facial feature points are detected by the geometry of information of the face with template matching and traced by optical flow. Since the locations of varying feature points are composed of head motion and facial expression information, the animation parameters which describe the variation of the facial features are acquired from geometrically transformed frontal head pose image. Finally, the facial expression cloning is done by two fitting process. The control points of the 3D model are varied applying the animation parameters to the face model, and the non-feature points around the control points are changed by use of Radial Basis Function(RBF). From the experiment, we can prove that the developed vision-based animation system can create realistic facial animation with robust head pose estimation and facial variation from input video image.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10b
• /
• pp.919-922
• /
• 2000

본 논문에서는 가상 인터페이스로서 범용적으로 사용할 수 있는 실시간 비전 기반 얼굴 애니메이션을 제안한다. 이를 위해서 실시간으로 얼굴 구성요소를 추출하고, 이를 정량화 하였다. 정량화된 값과 자연스럽게 매핑하기 위해서 정합함수를 통해 3차원 모델에 맵핑하기 위한 방안을 제안한다. 일반적으로 3차원 애니메이션을 수행할 경우, 기본 모델을 중심으로 특정한 사용자만을 위주로 수행되나, 본 논문에서는 임의의 일반 사용자를 위한 3차원 애니메이션을 수행하였다. 여러 사용자에 대하여 얼굴 구성요소 추출을 이용한 3차원 얼굴 애니메이션 동작에 대하여 실험하였으며 실험결과 여러 사용자 얼굴 애니메이션 동작에 대하여 만족할 만한 성능을 보였다.

• Journal of Broadcast Engineering
• /
• v.24 no.3
• /
• pp.440-451
• /
• 2019

We propose a system that allows three dimensional manipulation of face in video. The 3D face manipulation of the proposed system overlays the 3D face model with the user 's manipulation on the face region of the video frame, and it allows 3D manipulation of the video in real time unlike existing applications or methods. To achieve this feature, first, the 3D morphable face model is registered with the image. At the same time, user's manipulation is applied to the registered model. Finally, the frame image mapped to the model as texture, and the texture-mapped and deformed model is rendered. Since this process requires lots of operations, parallel processing is adopted for real-time processing; the system is divided into modules according to functionalities, and each module runs in parallel on each thread. Experimental results show that specific parts of the face in video can be manipulated in real time.