• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.508-515
• /
• 2012

본 논문은 Active Appearance Model(AAM)을 사용하여 주어진 얼굴영상의 포즈추정과 임의 포즈합성 방법을 설명한다. AAM은 다양한 응용분야에 성공적으로 적용되어지고 있는 예제기반 학습모델로 예제들의 변화정도를 학습한다. 그러나 하나의 모델로는 각도 변화가 큰 포즈 변화량을 수용하기 어렵다. 본 논문은 좁은 범위의 각도 변화를 다루는 모델을 포즈별로 생성한다. 주어진 포즈 얼굴을 다룰 수 있는 모델을 이용하여 정확한 포즈추정과 합성이 가능하다. 이때 합성하고자 하는 포즈의 각도가 포즈 추정을 위해 사용된 모델에 학습되어 있지 않은 경우, 미리 학습된 모델간의 선형관계를 통해 문제를 해결한다. Yale B 공개 얼굴 데이터베이스에 대한 실험을 통해 포즈추정 및 합성 정확도를 보이고, 자체 수집한 포즈변화가 큰 얼굴영상에 대한 성공적인 정면 합성 결과를 제시한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
• /
• pp.499-501
• /
• 2001

본 논문에서는 사실적인 아바타(avata) 구현의 핵심이라 할 수 있는 입체적인 얼굴 표현을 위해, (※원문참조) 기하학적인 정보를 사용하지 않고 중첩 메쉬를 허용하는 개선된 메쉬 워프 알고리즘(mesh warp algor※원문참조)을 이용하여 IBR(Image Based Rendering)을 구현하는 방법을 제안한다. 3차원 모델을 대신하기 위해 (※원문참조) 인물의 정면, 좌우 반측면, 좌우 측면의 얼굴 영상들에 대해 작성된 메쉬를 사용한다. 합성하고자 하는 (※원문참조) 정면 얼굴 영상에 대해서는 정면 메쉬만을 작성하고, 반측면이나 측면 메쉬는 표준 메쉬를 근거로 자(※원문참조)된다. 얼굴 포즈 합성의 성능을 펴가하기 위해, 얼굴을 수평으로 회전하는 실제 포즈 영상과 합성된 포(※원문참조)에 대해 주요 특징점 들을 정규화 한 위치 오차를 측정한 결과, 평균적으로 양 눈의 중심에서 입의 (※원문참조)리에 대해 약 5%의 위치 오차만이 발생한 것으로 나타났다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권2호
• /
• pp.182-188
• /
• 2004

얼굴 구성 요소 각각에 대한 파라미터로부터 특정한 포즈나 표정을 갖는 얼굴 이미지를 합성하는 방법을 제안한다 이러한 파라미터화는 얼굴 이미지의 표현과 저장, 전송을 효과적으로 수행할 수 있도록 한다. 그러나 얼굴 이미지의 변화는 고차원의 이미지 공간에서 복잡한 비선형 매니폴드를 구성하기 때문에 파라미터화 하는 것이 쉽지 않다. 이러한 문제점을 해결하기 위해, 얼굴 이미지에 대한 표현방법으로 LLE (Locally Linear Embedding) 알고리즘을 사용한다. LLE 알고리즘은 얼굴 이미지들 사이의 관계를 유지하면서 저차원의 특징 공간으로 투사된 매니폴드를 더욱 부드럽고 연속적으로 만들어준다. 그 다음, 특징공간에서 특정한 포즈나 표정 파라미터에 해당하는 포인트를 추정하기 위해 snake 모델을 적용한다. 마지막으로, 추정된 특징 값의 주변에 있는 여러 장의 얼굴 이미지들의 가중치 평균을 구해 합성된 결과이미지를 만든다 실험결과를 통해 제안된 방법을 이용하면 겹침 현상이 적고 포즈나 표정에 대한 파라미터의 변화와 일치하는 이미지를 합성한다는 것을 보인다.

• 정보처리학회논문지B
• /
• 제18B권1호
• /
• pp.21-28
• /
• 2011

얼굴의 3차원 정보는 얼굴 인식이나 얼굴 합성, Human Computer Interaction (HCI) 등 다양한 분야에서 유용하게 이용될 수 있다. 그러나 일반적으로 3차원 정보는 3D 스캐너와 같은 고가의 장비를 이용하여 획득되기 때문에 얼굴의 3차원 정보를 얻기 위해서는 많은 비용이 요구된다. 본 논문에서는 일반적으로 손쉽게 얻을 수 있는 2차원의 얼굴 영상 시퀀스로부터 효과적으로 3차월 얼굴 형태를 추적하고 재구성하기 위한 3차원 Active Appearance Model (3D-AAM) 방법을 제안한다. 얼굴의 3차원 변화 정보를 추정하기 위해 학습 영상은 정면 얼굴 포즈로 다양한 얼굴 표정 변화를 포함한 영상과 표정 변화를 갖지 않으면서 서로 크게 다른 얼굴 포즈를 갖는 영상으로 구성한다. 입력 영상의 3차원 얼굴 변화를 추정하기 위해 먼저 서로 다른 포즈를 갖는 학습 영상으로부터 얼굴의 각 특징점(Land-mark)의 기하학적 변화를 이용하여 깊이 정보를 추정하고 추정된 특징점의 깊이 정보를 입력 영상의 2차원 얼굴 변화에 추가하여 최종적으로 입력 얼굴의 3차원 변화를 추정한다. 본 논문에서 제안된 방법은 얼굴의 다양한 표정 변화와 함께 3차원의 얼굴 포즈 변화를 포함한 실험 영상을 이용하여 기존의 AAM에 비해 효과적이면서 빠르게 입력 얼굴을 추적(Fitting)할 수 있으며 입력 영상의 정확한 3차원 얼굴 형태를 생성할 수 있음을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권11호
• /
• pp.465-472
• /
• 2022

본 연구에서는 기존의 동영상 합성 네트워크에 스타일 합성 네트워크를 접목시켜 동영상에 대한 스타일 합성의 한계점을 극복하고자 한다. 본 논문의 네트워크에서는 동영상 합성을 위해 스타일갠 학습을 통한 스타일 합성과 동영상 합성 네트워크를 통해 스타일 합성된 비디오를 생성하기 위해 네트워크를 학습시킨다. 인물의 시선이나 표정 등이 안정적으로 전이되기 어려운 점을 개선하기 위해 3차원 얼굴 복원기술을 적용하여 3차원 얼굴 정보를 이용하여 머리의 포즈와 시선, 표정 등의 중요한 특징을 제어한다. 더불어, 헤드투헤드++ 네트워크의 역동성, 입 모양, 이미지, 시선 처리에 대한 판별기를 각각 학습시켜 개연성과 일관성이 더욱 유지되는 안정적인 스타일 합성 비디오를 생성할 수 있다. 페이스 포렌식 데이터셋과 메트로폴리탄 얼굴 데이터셋을 이용하여 대상 얼굴의 일관된 움직임을 유지하면서 대상 비디오로 변환하여, 자기 얼굴에 대한 3차원 얼굴 정보를 이용한 비디오 합성을 통해 자연스러운 데이터를 생성하여 성능을 증가시킴을 확인했다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권1_2호
• /
• pp.153-163
• /
• 2003

본 논문에서는 기하학적인 3차원 모델을 사용하지 않고 정면이 얼굴 영상 및 2차원 메쉬만으로 얼굴의 포즈 변형을 수행하는 영상기반 렌더링(Image Based Rendering; IBR) 기법을 제안한다. 3차원 기하학적 모델을 대신하기 위해, 먼저 표준 인물의 정면, 좌우 반측면, 좌우 측면의 얼굴 영상에 대한 표준 메쉬를 작성한다. 합성하고자 하는 임의의 인물에 대해서는 주어진 정면 얼굴 영상의 메쉬만을 작성하고, 그 밖의 메쉬는 표준 메쉬 집합을 근거로 자동 생성된다. 그런 다음, 메쉬 제어점들의 중첩 및 역전을 허용하도록 개선한 역전가능 메쉬워프 알고리즘(invertible meshwarp algorithm)을 이용하여 얼굴의 입체적인 회전 변형을 수행한다. 또한, 눈이나 입의 개폐 변형도 동일한 워핑 알고리즘으로 구현한다. 얼굴 변형 성능을 평가하기 위해, 총 10명으로부터 머리를 수평으로 회전하면서 동영상을 취득한 후, 실제 영상과 변형 영상마다 양 눈의 중간 위치인 기준점에서 각 특징점까지의 거리를 계산하여 평균 차이를 구하였다. 그 결과, 기준점에서 입의 중간 위치까지의 거리에 비해 약 7.0%의 평균 위치 오차만이 발생하였다.