• 방송공학회논문지
• /
• 제27권3호
• /
• pp.369-377
• /
• 2022

최근 딥러닝 기반의 얼굴 합성 연구는 전체적인 스타일이나 헤어, 안경, 화장과 같은 요소를 포함하는 매우 사실적인 얼굴을 생성하는 결과를 보인다. 그러나 피부의 미세 구조와 같은 매우 세부적인 수준의 얼굴은 생성하지 못한다. 본 논문에서는 이러한 한계점을 극복하고자 한 장의 얼굴 라벨 영상으로부터 피부 미세 요소의 종류와 강도 조절을 통해 더욱 사실적인 얼굴 영상을 합성하는 기법을 제안한다. 제안하는 기법은 Image-to-Image Translation 방법인 Pix2PixHD를 이용해 얼굴 영역과 피부 요소인 주름, 모공, 홍조가 표시된 라벨 영상을 변환하여 미세 요소가 추가된 얼굴 영상을 생성한다. 피부 요소 영역을 조절한 라벨 영상을 다양하게 생성함으로써 이에 대응하는 미세한 피부 요소가 반영된 다양한 사실적인 얼굴 영상을 생성할 수 있음을 실험을 통해 보인다.

• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.508-515
• /
• 2012

본 논문은 Active Appearance Model(AAM)을 사용하여 주어진 얼굴영상의 포즈추정과 임의 포즈합성 방법을 설명한다. AAM은 다양한 응용분야에 성공적으로 적용되어지고 있는 예제기반 학습모델로 예제들의 변화정도를 학습한다. 그러나 하나의 모델로는 각도 변화가 큰 포즈 변화량을 수용하기 어렵다. 본 논문은 좁은 범위의 각도 변화를 다루는 모델을 포즈별로 생성한다. 주어진 포즈 얼굴을 다룰 수 있는 모델을 이용하여 정확한 포즈추정과 합성이 가능하다. 이때 합성하고자 하는 포즈의 각도가 포즈 추정을 위해 사용된 모델에 학습되어 있지 않은 경우, 미리 학습된 모델간의 선형관계를 통해 문제를 해결한다. Yale B 공개 얼굴 데이터베이스에 대한 실험을 통해 포즈추정 및 합성 정확도를 보이고, 자체 수집한 포즈변화가 큰 얼굴영상에 대한 성공적인 정면 합성 결과를 제시한다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제2권1호
• /
• pp.27-35
• /
• 2013

This paper proposes a face tracking algorithm for a viewpoint adaptive multi-view synthesis system. The original scene captured by a depth camera contains a texture image and 8 bit gray-scale depth map. From this original image, multi-view images that correspond to the viewer's position can be synthesized using geometrical transformations, such as rotation and translation. The proposed face tracking technique gives a motion parallax cue by different viewpoints and view angles. In the proposed algorithm, the viewer's dominant face, which is established initially from a camera, can be tracked using the statistical characteristics of face colors and deformable templates. As a result, a motion parallax cue can be provided by detecting the viewer's dominant face area and tracking it, even under a heterogeneous background, and synthesized sequences can be displayed successfully.

• Journal of Information Processing Systems
• /
• 제15권6호
• /
• pp.1449-1461
• /
• 2019

Face sketch synthesis plays an important role in public security and digital entertainment. In this paper, we present a novel face sketch synthesis method via local similarity and nonlocal similarity regularization terms. The local similarity can overcome the technological bottlenecks of the patch representation scheme in traditional learning-based methods. It improves the quality of synthesized sketches by penalizing the dissimilar training patches (thus have very small weights or are discarded). In addition, taking the redundancy of image patches into account, a global nonlocal similarity regularization is employed to restrain the generation of the noise and maintain primitive facial features during the synthesized process. More robust synthesized results can be obtained. Extensive experiments on the public databases validate the generality, effectiveness, and robustness of the proposed algorithm.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권11호
• /
• pp.465-472
• /
• 2022

본 연구에서는 기존의 동영상 합성 네트워크에 스타일 합성 네트워크를 접목시켜 동영상에 대한 스타일 합성의 한계점을 극복하고자 한다. 본 논문의 네트워크에서는 동영상 합성을 위해 스타일갠 학습을 통한 스타일 합성과 동영상 합성 네트워크를 통해 스타일 합성된 비디오를 생성하기 위해 네트워크를 학습시킨다. 인물의 시선이나 표정 등이 안정적으로 전이되기 어려운 점을 개선하기 위해 3차원 얼굴 복원기술을 적용하여 3차원 얼굴 정보를 이용하여 머리의 포즈와 시선, 표정 등의 중요한 특징을 제어한다. 더불어, 헤드투헤드++ 네트워크의 역동성, 입 모양, 이미지, 시선 처리에 대한 판별기를 각각 학습시켜 개연성과 일관성이 더욱 유지되는 안정적인 스타일 합성 비디오를 생성할 수 있다. 페이스 포렌식 데이터셋과 메트로폴리탄 얼굴 데이터셋을 이용하여 대상 얼굴의 일관된 움직임을 유지하면서 대상 비디오로 변환하여, 자기 얼굴에 대한 3차원 얼굴 정보를 이용한 비디오 합성을 통해 자연스러운 데이터를 생성하여 성능을 증가시킴을 확인했다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권2호
• /
• pp.182-188
• /
• 2004

얼굴 구성 요소 각각에 대한 파라미터로부터 특정한 포즈나 표정을 갖는 얼굴 이미지를 합성하는 방법을 제안한다 이러한 파라미터화는 얼굴 이미지의 표현과 저장, 전송을 효과적으로 수행할 수 있도록 한다. 그러나 얼굴 이미지의 변화는 고차원의 이미지 공간에서 복잡한 비선형 매니폴드를 구성하기 때문에 파라미터화 하는 것이 쉽지 않다. 이러한 문제점을 해결하기 위해, 얼굴 이미지에 대한 표현방법으로 LLE (Locally Linear Embedding) 알고리즘을 사용한다. LLE 알고리즘은 얼굴 이미지들 사이의 관계를 유지하면서 저차원의 특징 공간으로 투사된 매니폴드를 더욱 부드럽고 연속적으로 만들어준다. 그 다음, 특징공간에서 특정한 포즈나 표정 파라미터에 해당하는 포인트를 추정하기 위해 snake 모델을 적용한다. 마지막으로, 추정된 특징 값의 주변에 있는 여러 장의 얼굴 이미지들의 가중치 평균을 구해 합성된 결과이미지를 만든다 실험결과를 통해 제안된 방법을 이용하면 겹침 현상이 적고 포즈나 표정에 대한 파라미터의 변화와 일치하는 이미지를 합성한다는 것을 보인다.

• 한국정보통신학회논문지
• /
• 제26권8호
• /
• pp.1136-1141
• /
• 2022

코로나19 팬데믹으로 인해 마스크 착용이 일상화되면서 마스크 착용 얼굴을 식별하는 얼굴인식 연구에 대한 중요도가 높아지고 있다. 안정된 얼굴인식 성능을 위해서는 인식 대상에 대한 풍부한 학습용 이미지 확보가 필요하지만 인물 별로 마스크 착용 얼굴 이미지를 다량 확보하는 것은 쉽지 않다. 본 논문에서는 마스크 미착용 얼굴 이미지에 가상의 마스크 패턴을 합성하는 새로운 방법을 제안한다. 제안 방법은 동일 인물에 대해 마스크 미착용 얼굴 이미지와 마스크 착용 얼굴 이미지를 쌍으로 컨볼루션 오토인코더에 입력하여 얼굴과 마스크의 기하학적 관계를 학습한다. 학습이 완료된 컨볼루션 오토인코더는 학습에 사용되지 않은 새로운 마스크 미착용 얼굴 이미지에 가상의 마스크 패턴을 자연스러운 형태로 합성해준다. 제안 방법은 고속으로 대량의 마스크 착용 얼굴 이미지를 생성할 수 있으며, 얼굴 특징점 추출에 기반하는 마스크 합성 방법에 비해 실용적이다.

• 한국컴퓨터정보학회논문지
• /
• 제16권7호
• /
• pp.117-125
• /
• 2011

본 논문에서는 특징 기반 방법인 YCbCr 컬러 모델을 이용하여 얼굴색 분포를 분할하고, 전처리 과정에서 양자화를 하여 특징 기반의 단점 중의 하나인 조명에 민감한 것을 둔감하도록 하였다. 또한 러프 집합을 이용하여 패턴의 형태로 가장 근사한 영상의 객체를 선택하는 특성을 가지게 함으로 영상 합성의 정확도를 높였다. 본 논문에서 제안된 얼굴 검출 알고리즘은 다양한 얼굴 크기 및 방향에 관계없이 기존의 알고리즘보다 약 2~3%정도 우수함을 시뮬레이션을 통해 확인하였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 하계종합학술대회 논문집
• /
• pp.1029-1032
• /
• 1999

Muscle based face image synthesis is one of the most realistic approach to realize life-like agent in computer. Facial muscle model is composed of facial tissue elements and muscles. In this model, forces are calculated effecting facial tissue element by contraction of each muscle strength, so the combination of each muscle parameter decide a specific facial expression. Now each muscle parameter is decided on trial and error procedure comparing the sample photograph and generated image using our Muscle-Editor to generate a specific face image. In this paper, we propose the strategy of automatic estimation of facial muscle parameters from 2D marker movement using neural network. This also 3D motion estimation from 2D point or flow information in captered image under restriction of physics based face model.

• 전자공학회논문지S
• /
• 제35S권7호
• /
• pp.95-102
• /
• 1998

This paper proposes a synchronization method of synthetic facial iamge sequences and synthetic speech. The LP-PSOLA synthesizes the speech for each demi-syllable. We provide the 3,040 demi-syllables for unlimited synthesis of the Korean speech. For synthesis of the Facial image sequences, the paper defines the total 11 fundermental patterns for the lip shapes of the Korean consonants and vowels. The fundermental lip shapes allow us to pronounce all Korean sentences. Image synthesis method assigns the fundermental lip shapes to the key frames according to the initial, the middle and the final sound of each syllable in korean input text. The method interpolates the naturally changing lip shapes in inbetween frames. The number of the inbetween frames is estimated from the duration time of each syllable of the synthetic speech. The estimation accomplishes synchronization of the facial image sequences and speech. In speech synthesis, disk memory is required to store 3,040 demi-syllable. In synthesis of the facial image sequences, however, the disk memory is required to store only one image, because all frames are synthesized from the neutral face. Above method realizes synchronization of system which can real the Korean sentences with the synthetic speech and the synthetic facial iage sequences.