Face Image Synthesis using Nonlinear Manifold Learning

This paper proposes to synthesize facial images from a few parameters for the pose and the expression of their constituent components. This parameterization makes the representation, storage, and transmission of face images effective. But it is difficult to parameterize facial images because variations of face images show a complicated nonlinear manifold in high-dimensional data space. To tackle this problem, we use an LLE (Locally Linear Embedding) technique for a good representation of face images, where the relationship among face images is preserving well and the projected manifold into the reduced feature space becomes smoother and more continuous. Next, we apply a snake model to estimate face feature values in the reduced feature space that corresponds to a specific pose and/or expression parameter. Finally, a synthetic face image is obtained from an interpolation of several neighboring face images in the vicinity of the estimated feature value. Experimental results show that the proposed method shows a negligible overlapping effect and creates an accurate and consistent synthetic face images with respect to changes of pose and/or expression parameters.

비선형 매니폴드 학습을 이용한 얼굴 이미지 합성

얼굴 구성 요소 각각에 대한 파라미터로부터 특정한 포즈나 표정을 갖는 얼굴 이미지를 합성하는 방법을 제안한다 이러한 파라미터화는 얼굴 이미지의 표현과 저장, 전송을 효과적으로 수행할 수 있도록 한다. 그러나 얼굴 이미지의 변화는 고차원의 이미지 공간에서 복잡한 비선형 매니폴드를 구성하기 때문에 파라미터화 하는 것이 쉽지 않다. 이러한 문제점을 해결하기 위해, 얼굴 이미지에 대한 표현방법으로 LLE (Locally Linear Embedding) 알고리즘을 사용한다. LLE 알고리즘은 얼굴 이미지들 사이의 관계를 유지하면서 저차원의 특징 공간으로 투사된 매니폴드를 더욱 부드럽고 연속적으로 만들어준다. 그 다음, 특징공간에서 특정한 포즈나 표정 파라미터에 해당하는 포인트를 추정하기 위해 snake 모델을 적용한다. 마지막으로, 추정된 특징 값의 주변에 있는 여러 장의 얼굴 이미지들의 가중치 평균을 구해 합성된 결과이미지를 만든다 실험결과를 통해 제안된 방법을 이용하면 겹침 현상이 적고 포즈나 표정에 대한 파라미터의 변화와 일치하는 이미지를 합성한다는 것을 보인다.