• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권11호
• /
• pp.465-472
• /
• 2022

본 연구에서는 기존의 동영상 합성 네트워크에 스타일 합성 네트워크를 접목시켜 동영상에 대한 스타일 합성의 한계점을 극복하고자 한다. 본 논문의 네트워크에서는 동영상 합성을 위해 스타일갠 학습을 통한 스타일 합성과 동영상 합성 네트워크를 통해 스타일 합성된 비디오를 생성하기 위해 네트워크를 학습시킨다. 인물의 시선이나 표정 등이 안정적으로 전이되기 어려운 점을 개선하기 위해 3차원 얼굴 복원기술을 적용하여 3차원 얼굴 정보를 이용하여 머리의 포즈와 시선, 표정 등의 중요한 특징을 제어한다. 더불어, 헤드투헤드++ 네트워크의 역동성, 입 모양, 이미지, 시선 처리에 대한 판별기를 각각 학습시켜 개연성과 일관성이 더욱 유지되는 안정적인 스타일 합성 비디오를 생성할 수 있다. 페이스 포렌식 데이터셋과 메트로폴리탄 얼굴 데이터셋을 이용하여 대상 얼굴의 일관된 움직임을 유지하면서 대상 비디오로 변환하여, 자기 얼굴에 대한 3차원 얼굴 정보를 이용한 비디오 합성을 통해 자연스러운 데이터를 생성하여 성능을 증가시킴을 확인했다.

• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.508-515
• /
• 2012

본 논문은 Active Appearance Model(AAM)을 사용하여 주어진 얼굴영상의 포즈추정과 임의 포즈합성 방법을 설명한다. AAM은 다양한 응용분야에 성공적으로 적용되어지고 있는 예제기반 학습모델로 예제들의 변화정도를 학습한다. 그러나 하나의 모델로는 각도 변화가 큰 포즈 변화량을 수용하기 어렵다. 본 논문은 좁은 범위의 각도 변화를 다루는 모델을 포즈별로 생성한다. 주어진 포즈 얼굴을 다룰 수 있는 모델을 이용하여 정확한 포즈추정과 합성이 가능하다. 이때 합성하고자 하는 포즈의 각도가 포즈 추정을 위해 사용된 모델에 학습되어 있지 않은 경우, 미리 학습된 모델간의 선형관계를 통해 문제를 해결한다. Yale B 공개 얼굴 데이터베이스에 대한 실험을 통해 포즈추정 및 합성 정확도를 보이고, 자체 수집한 포즈변화가 큰 얼굴영상에 대한 성공적인 정면 합성 결과를 제시한다.

• Journal of Information Processing Systems
• /
• 제15권6호
• /
• pp.1449-1461
• /
• 2019

Face sketch synthesis plays an important role in public security and digital entertainment. In this paper, we present a novel face sketch synthesis method via local similarity and nonlocal similarity regularization terms. The local similarity can overcome the technological bottlenecks of the patch representation scheme in traditional learning-based methods. It improves the quality of synthesized sketches by penalizing the dissimilar training patches (thus have very small weights or are discarded). In addition, taking the redundancy of image patches into account, a global nonlocal similarity regularization is employed to restrain the generation of the noise and maintain primitive facial features during the synthesized process. More robust synthesized results can be obtained. Extensive experiments on the public databases validate the generality, effectiveness, and robustness of the proposed algorithm.

• Journal of International Society for Simulation Surgery
• /
• 제2권2호
• /
• pp.47-51
• /
• 2015

Faces play a key role in revealing the personalized attributes such as the identity, emotion, health condition, etc. Due to the importance of faces, computer-assisted face modeling and reconstruction have been actively studied both in computer vision and graphics community. Especially, face reconstruction and realistic face synthesis are well-grounded research problems and various approaches have been proposed during the last decade. In this paper, we discuss a wide range of existing work in face modeling by introducing their target applications, categorizing them upon their methodology and addressing their strength and weakness on performance. Finally, we introduce remaining research issues and suggest the future research direction in face modeling. We believe that this paper provides a high-level overview on face modeling techniques and helps understand the major research issues and the trends of methodology.

• IEIE Transactions on Smart Processing and Computing
• /
• 제2권1호
• /
• pp.27-35
• /
• 2013

This paper proposes a face tracking algorithm for a viewpoint adaptive multi-view synthesis system. The original scene captured by a depth camera contains a texture image and 8 bit gray-scale depth map. From this original image, multi-view images that correspond to the viewer's position can be synthesized using geometrical transformations, such as rotation and translation. The proposed face tracking technique gives a motion parallax cue by different viewpoints and view angles. In the proposed algorithm, the viewer's dominant face, which is established initially from a camera, can be tracked using the statistical characteristics of face colors and deformable templates. As a result, a motion parallax cue can be provided by detecting the viewer's dominant face area and tracking it, even under a heterogeneous background, and synthesized sequences can be displayed successfully.

• 방송공학회논문지
• /
• 제27권3호
• /
• pp.369-377
• /
• 2022

최근 딥러닝 기반의 얼굴 합성 연구는 전체적인 스타일이나 헤어, 안경, 화장과 같은 요소를 포함하는 매우 사실적인 얼굴을 생성하는 결과를 보인다. 그러나 피부의 미세 구조와 같은 매우 세부적인 수준의 얼굴은 생성하지 못한다. 본 논문에서는 이러한 한계점을 극복하고자 한 장의 얼굴 라벨 영상으로부터 피부 미세 요소의 종류와 강도 조절을 통해 더욱 사실적인 얼굴 영상을 합성하는 기법을 제안한다. 제안하는 기법은 Image-to-Image Translation 방법인 Pix2PixHD를 이용해 얼굴 영역과 피부 요소인 주름, 모공, 홍조가 표시된 라벨 영상을 변환하여 미세 요소가 추가된 얼굴 영상을 생성한다. 피부 요소 영역을 조절한 라벨 영상을 다양하게 생성함으로써 이에 대응하는 미세한 피부 요소가 반영된 다양한 사실적인 얼굴 영상을 생성할 수 있음을 실험을 통해 보인다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권2호
• /
• pp.182-188
• /
• 2004

얼굴 구성 요소 각각에 대한 파라미터로부터 특정한 포즈나 표정을 갖는 얼굴 이미지를 합성하는 방법을 제안한다 이러한 파라미터화는 얼굴 이미지의 표현과 저장, 전송을 효과적으로 수행할 수 있도록 한다. 그러나 얼굴 이미지의 변화는 고차원의 이미지 공간에서 복잡한 비선형 매니폴드를 구성하기 때문에 파라미터화 하는 것이 쉽지 않다. 이러한 문제점을 해결하기 위해, 얼굴 이미지에 대한 표현방법으로 LLE (Locally Linear Embedding) 알고리즘을 사용한다. LLE 알고리즘은 얼굴 이미지들 사이의 관계를 유지하면서 저차원의 특징 공간으로 투사된 매니폴드를 더욱 부드럽고 연속적으로 만들어준다. 그 다음, 특징공간에서 특정한 포즈나 표정 파라미터에 해당하는 포인트를 추정하기 위해 snake 모델을 적용한다. 마지막으로, 추정된 특징 값의 주변에 있는 여러 장의 얼굴 이미지들의 가중치 평균을 구해 합성된 결과이미지를 만든다 실험결과를 통해 제안된 방법을 이용하면 겹침 현상이 적고 포즈나 표정에 대한 파라미터의 변화와 일치하는 이미지를 합성한다는 것을 보인다.

• 인지과학
• /
• 제11권2호
• /
• pp.1-10
• /
• 2000

최근 사용자에게 친근감있는 인터페이스를 제공하기 위해 자연스러운 얼굴 애니메이션에 대한 연구가 활발히 진행 중이다. 얼굴은 인간의 신체부위 중 가장 쉽게 개개인을 구분할 수 있고, 감정과 정서 등의 내적 상태를 명백하게 이해할 수 있도록 해주는 중요한 의사소통의 수단으로 여겨지고 있다. 이러한 얼굴은 이용하여 인간과 컴퓨터간의 의사 전달에 있어서 효율적으로 인간의 감정을 인식하고 전달하여 대화할 수 있도록 하기 위해서 컴퓨터상의 얼굴은 인간과 유사하게 대화할 수 있고, 감정을 표현할 수 있도록 친숙하고 현실감이 있어야 한다. 본 논문에서는 자연스러운 얼굴의 합성을 위한 얼굴 모델링 및 애니메이션 방법을 제안하였다. 특정한 사람을 모델로 한 얼굴 애니메이션을 위하여 우선 3차원 메쉬로 구성된 일반 모델(generic model)을 특성 사람에게 정합하여 특정인의 3차원 얼굴 모델을 얻을 수 있다. 본 논문에서는 기존 연구들과 다르게 표준 한국인 얼굴을 이용한 일반 모델을 생성하여, 임의의 얼굴에 대하여 좀 더 정확하고 자연스러운 3차원 모델이 이루어질 수 있도록 하였다. 그리고 얼굴 표정합성을 위하여, 실제 얼굴의 근육 및 피부 조직 등 해부학적 구조에 기반한 근육 기반 모델 방법을 사용하여 현실감 있고 자연스러운 얼굴 애니메이션이 이루어질 수 있도록 하였다. 이러한 얼굴 모델링 및 합성 기술은 화상회의, 가상현실, 교육, 영화 등 여러 분야에서 활용될 수 있다.

• 한방비만학회지
• /
• 제19권1호
• /
• pp.24-30
• /
• 2019

Objectives: Eating self-efficacy is an important predictor of successful weight control behaviors during obesity treatment. The Weight Efficacy Life-Style Questionnaire (WEL) is an internationally used measure of eating self-efficacy. The objective of this study was to develop the Korean version of WEL (K-WEL) and verify face validity. Methods: According to previously published guidelines, the cross-cultural translation was conducted through organizing the expert committee, translation, back-translation, synthesis, grammar review, and final synthesis. Following the translation of the WEL into Korean, face validity was performed for 35 subjects. Results: After all the versions of the questionnaire were examined, the translated WEL questionnaires were finally synthesized and licensed by the developer in writing. Regarding the translated WEL questionnaires, seven out of 35 subjects (20%) offered ideas about ambiguous expressions in them. All four points indicated in the face validity verification were additionally modified for greater clarity and understanding. Conclusions: We developed the Korean version of WEL and completed face validity. In future research, it would be necessary to provide further study on the reliability and validity of the Korean version of WEL.

• 한국통신학회논문지
• /
• 제30권2C호
• /
• pp.16-24
• /
• 2005

본 논문에서는 관찰자의 시점에 적응적인 다시점 영상 합성 시스템을 위한 얼굴 추적 기법을 제안한다. depth 카메라를 이용하여 텍스쳐 영상과 깊이 정보를 획득한 후, 회전(rotation)과 이동(translation) 등 기하학적인 변환을 이용하여 관찰자의 위치를 고려한 다시점 영상을 생성할 수 있다. 관찰 시점의 위치와 각도에 의한 입체감(motion parallex cue)을 제공하기 위하여 주 관찰자의 얼굴을 추적하는 기법을 제안한다. 제안된 기법에서는 모니터에 설치된 얼굴 획득용 카메라로부터 얻은 영상에서 얼굴 색상의 통계학적 특성과 변형적 형판(template)을 이용하여, 실시간으로 초기에 설정된 주요 관찰자(dominant face)의 얼굴영역을 추적하게 된다. 실험 결과 복잡한 배경 하에서도 얼굴 영역의 위치를 성공적으로 검출 및 추적하여 관찰자 시점에 해당하는 3차원 입체 영상을 디스플레이 할 수 있었다.