• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.508-515
• /
• 2012

본 논문은 Active Appearance Model(AAM)을 사용하여 주어진 얼굴영상의 포즈추정과 임의 포즈합성 방법을 설명한다. AAM은 다양한 응용분야에 성공적으로 적용되어지고 있는 예제기반 학습모델로 예제들의 변화정도를 학습한다. 그러나 하나의 모델로는 각도 변화가 큰 포즈 변화량을 수용하기 어렵다. 본 논문은 좁은 범위의 각도 변화를 다루는 모델을 포즈별로 생성한다. 주어진 포즈 얼굴을 다룰 수 있는 모델을 이용하여 정확한 포즈추정과 합성이 가능하다. 이때 합성하고자 하는 포즈의 각도가 포즈 추정을 위해 사용된 모델에 학습되어 있지 않은 경우, 미리 학습된 모델간의 선형관계를 통해 문제를 해결한다. Yale B 공개 얼굴 데이터베이스에 대한 실험을 통해 포즈추정 및 합성 정확도를 보이고, 자체 수집한 포즈변화가 큰 얼굴영상에 대한 성공적인 정면 합성 결과를 제시한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권2호
• /
• pp.182-188
• /
• 2004

얼굴 구성 요소 각각에 대한 파라미터로부터 특정한 포즈나 표정을 갖는 얼굴 이미지를 합성하는 방법을 제안한다 이러한 파라미터화는 얼굴 이미지의 표현과 저장, 전송을 효과적으로 수행할 수 있도록 한다. 그러나 얼굴 이미지의 변화는 고차원의 이미지 공간에서 복잡한 비선형 매니폴드를 구성하기 때문에 파라미터화 하는 것이 쉽지 않다. 이러한 문제점을 해결하기 위해, 얼굴 이미지에 대한 표현방법으로 LLE (Locally Linear Embedding) 알고리즘을 사용한다. LLE 알고리즘은 얼굴 이미지들 사이의 관계를 유지하면서 저차원의 특징 공간으로 투사된 매니폴드를 더욱 부드럽고 연속적으로 만들어준다. 그 다음, 특징공간에서 특정한 포즈나 표정 파라미터에 해당하는 포인트를 추정하기 위해 snake 모델을 적용한다. 마지막으로, 추정된 특징 값의 주변에 있는 여러 장의 얼굴 이미지들의 가중치 평균을 구해 합성된 결과이미지를 만든다 실험결과를 통해 제안된 방법을 이용하면 겹침 현상이 적고 포즈나 표정에 대한 파라미터의 변화와 일치하는 이미지를 합성한다는 것을 보인다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제2권2호
• /
• pp.120-133
• /
• 2008

This paper presents a novel approach for facial motion tracking and facial expression cloning to create a realistic facial animation of a 3D avatar. The exact head pose estimation and facial expression tracking are critical issues that must be solved when developing vision-based computer animation. In this paper, we deal with these two problems. The proposed approach consists of two phases: dynamic head pose estimation and facial expression cloning. The dynamic head pose estimation can robustly estimate a 3D head pose from input video images. Given an initial reference template of a face image and the corresponding 3D head pose, the full head motion is recovered by projecting a cylindrical head model onto the face image. It is possible to recover the head pose regardless of light variations and self-occlusion by updating the template dynamically. In the phase of synthesizing the facial expression, the variations of the major facial feature points of the face images are tracked by using optical flow and the variations are retargeted to the 3D face model. At the same time, we exploit the RBF (Radial Basis Function) to deform the local area of the face model around the major feature points. Consequently, facial expression synthesis is done by directly tracking the variations of the major feature points and indirectly estimating the variations of the regional feature points. From the experiments, we can prove that the proposed vision-based facial expression cloning method automatically estimates the 3D head pose and produces realistic 3D facial expressions in real time.

• 한국멀티미디어학회논문지
• /
• 제22권5호
• /
• pp.535-546
• /
• 2019

Recently, there have been a lot of researches on the whole face replacement system, but it is not easy to obtain stable results due to various attitudes, angles and facial diversity. To produce a natural synthesis result when replacing the face shown in the video image, technologies such as face area detection, feature extraction, face alignment, face area segmentation, 3D attitude adjustment and facial transposition should all operate at a precise level. And each technology must be able to be interdependently combined. The results of our analysis show that the difficulty of implementing the technology and contribution to the system in facial replacement technology has increased in facial feature point extraction and facial alignment technology. On the other hand, the difficulty of the facial transposition technique and the three-dimensional posture adjustment technique were low, but showed the need for development. In this paper, we propose four facial replacement models such as 2-D Faceswap, OpenPose, Deekfake, and Cycle GAN, which are suitable for the Cox platform. These models have the following features; i.e. these models include a suitable model for front face pose image conversion, face pose image with active body movement, and face movement with right and left side by 15 degrees, Generative Adversarial Network.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권11호
• /
• pp.465-472
• /
• 2022

본 연구에서는 기존의 동영상 합성 네트워크에 스타일 합성 네트워크를 접목시켜 동영상에 대한 스타일 합성의 한계점을 극복하고자 한다. 본 논문의 네트워크에서는 동영상 합성을 위해 스타일갠 학습을 통한 스타일 합성과 동영상 합성 네트워크를 통해 스타일 합성된 비디오를 생성하기 위해 네트워크를 학습시킨다. 인물의 시선이나 표정 등이 안정적으로 전이되기 어려운 점을 개선하기 위해 3차원 얼굴 복원기술을 적용하여 3차원 얼굴 정보를 이용하여 머리의 포즈와 시선, 표정 등의 중요한 특징을 제어한다. 더불어, 헤드투헤드++ 네트워크의 역동성, 입 모양, 이미지, 시선 처리에 대한 판별기를 각각 학습시켜 개연성과 일관성이 더욱 유지되는 안정적인 스타일 합성 비디오를 생성할 수 있다. 페이스 포렌식 데이터셋과 메트로폴리탄 얼굴 데이터셋을 이용하여 대상 얼굴의 일관된 움직임을 유지하면서 대상 비디오로 변환하여, 자기 얼굴에 대한 3차원 얼굴 정보를 이용한 비디오 합성을 통해 자연스러운 데이터를 생성하여 성능을 증가시킴을 확인했다.

• 정보처리학회논문지B
• /
• 제18B권1호
• /
• pp.21-28
• /
• 2011

얼굴의 3차원 정보는 얼굴 인식이나 얼굴 합성, Human Computer Interaction (HCI) 등 다양한 분야에서 유용하게 이용될 수 있다. 그러나 일반적으로 3차원 정보는 3D 스캐너와 같은 고가의 장비를 이용하여 획득되기 때문에 얼굴의 3차원 정보를 얻기 위해서는 많은 비용이 요구된다. 본 논문에서는 일반적으로 손쉽게 얻을 수 있는 2차원의 얼굴 영상 시퀀스로부터 효과적으로 3차월 얼굴 형태를 추적하고 재구성하기 위한 3차원 Active Appearance Model (3D-AAM) 방법을 제안한다. 얼굴의 3차원 변화 정보를 추정하기 위해 학습 영상은 정면 얼굴 포즈로 다양한 얼굴 표정 변화를 포함한 영상과 표정 변화를 갖지 않으면서 서로 크게 다른 얼굴 포즈를 갖는 영상으로 구성한다. 입력 영상의 3차원 얼굴 변화를 추정하기 위해 먼저 서로 다른 포즈를 갖는 학습 영상으로부터 얼굴의 각 특징점(Land-mark)의 기하학적 변화를 이용하여 깊이 정보를 추정하고 추정된 특징점의 깊이 정보를 입력 영상의 2차원 얼굴 변화에 추가하여 최종적으로 입력 얼굴의 3차원 변화를 추정한다. 본 논문에서 제안된 방법은 얼굴의 다양한 표정 변화와 함께 3차원의 얼굴 포즈 변화를 포함한 실험 영상을 이용하여 기존의 AAM에 비해 효과적이면서 빠르게 입력 얼굴을 추적(Fitting)할 수 있으며 입력 영상의 정확한 3차원 얼굴 형태를 생성할 수 있음을 보였다.