• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.613-615
• /
• 2001

본 논문은 동영상 내의 얼굴을 특정인 얼굴로 자동 변환 및 정합하는 기술을 제안한다. 얼굴에 나타난 동작이나 표정은 높은 자유도로 인하여 기존에 사용되어온 2차원적이고 고정된 물체 위주의 동영상 정합 기술로는 자연스러운 결과물을 얻기가 어렵다. 본 논문에서는 입력 받은 정면 유사방향의 사진으로부터 3차원 얼굴 모델을 복원한다. 각 프레임에 등장한 얼굴의 3차원 방향을 추출하여 복원한 3차원 얼굴 모델에 적용한 후 대체할 얼굴 영역에 저합시킨다. 정합 과정 시 비디오 프레임 내의 조명효과와 얼굴색 등을 분석하고 3차원 얼굴 모델에 블렌딩하여 비디오 프레임과 자연스럽게 정합할 수 있도록 한다.

• Journal of the Korea Society of Computer and Information
• /
• v.17 no.8
• /
• pp.31-40
• /
• 2012

In this paper, we propose a method of synthesizing faces of a user and an animation character using a 3D face model. The suggested method first receives two orthogonal 2D face images and extracts major features of the face through the template snake. It then generates a user-customized 3D face model by adjusting a generalized face model using the extracted facial features and by mapping texture maps obtained from two input images to the 3D face model. Finally, it generates a user-customized animation character by synthesizing the generated 3D model to an animation character reflecting the position, size, facial expressions, and rotational information of the character. Experimental results show some results to verify the performance of the suggested algorithm. We expect that our method will be useful to various applications such as games and animation movies.

• Journal of the Korea Society of Computer and Information
• /
• v.16 no.8
• /
• pp.49-56
• /
• 2011

Recently, animation contents has become extensively available along with the development of cultural industry. In this paper, we propose a method to analyze a face of animation character and extract 3D rotational information of the face. The suggested method first generates a dominant color model of a face by learning the face image of animation character. Our system then detects the face and its components with the model, and establishes two coordinate systems: base coordinate system and target coordinate system. Our system estimates three dimensional rotational information of the animation character face using the geometric relationship of the two coordinate systems. Finally, in order to visually represent the extracted 3D information, a 3D face model in which the rotation information is reflected is displayed. In experiments, we show that our method can extract 3D rotation information of a character face reasonably.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.48 no.1
• /
• pp.122-131
• /
• 2011

A widely used single image-based 3D face reconstruction method, 3D morphable shape model, reconstructs an accurate 3D facial shape when 2D facial feature points are correctly extracted from an input face image. However, in the case that a user's cooperation is not available such as a real-time 3D face reconstruction system, this method can be vulnerable to the errors of automatic facial feature point extraction. In order to solve this problem, we automatically classify extracted facial feature points into two groups, erroneous and correct ones, and then reconstruct a 3D facial shape by using only the correctly extracted facial feature points. The experimental results showed that the 3D reconstruction performance of the proposed method was remarkably improved compared to that of the previous method which does not consider the errors of automatic facial feature point extraction.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.780-785
• /
• 2006

HCI, 비전 기반 사용자 인터페이스 또는 제스쳐 인식과 같은 많은 분야에서 3 차원 얼굴 모션을 추정하는 것은 중요한 작업이다. 연속된 2 차원 이미지로부터 3 차원 모션을 추정하기 위한 방법으로는 크게 외형 기반 방법이나 모델을 이용하는 방법이 있다. 본 연구에서는 동영상으로부터 3 차원 실린더 모델과 Optical flow를 이용하여 실시간으로 얼굴 모션을 추정하는 방법을 제안하고자 한다. 초기 프레임으로부터 얼굴의 피부색과 템플릿 매칭을 이용하여 얼굴 영역을 검출하고 검출된 얼굴 영역에 3 차원 실린더 모델을 투영하게 된다. 연속된 프레임으로 부터 Lucas-Kanade 의 Optical flow 를 이용하여 얼굴 모션을 추정한다. 정확한 얼굴 모션 추정을 하기 위해 IRLS 방법을 이용하여 각 픽셀에 대한 가중치를 설정하게 된다. 또한, 동적 템플릿을 이용해 오랫동안 정확한 얼굴 모션 추정하는 방법을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.628-630
• /
• 2001

사용자에게 친근감 있는 인터페이스를 제공하는 얼굴 모델링에 대한 연구가 활발히 진행 중이다. 본 논문에서는 기존 방법인 3차원 스캐너가 카메라를 이용하지 않고 얼굴의 정면상과 측면상의 사진을 이용하여 크기와 배경의 복잡성에 상관없이 일반적인 특징점을 추출하여 삼각형 메쉬로 구성된 표준 모델을 생성하고 이를 이용해서 3차원 얼굴의 형태를 생성하는 시스템을 제안한다. 추출된 특징점은 각개인의 얼굴 형태에 맞게 변형함으로서 좀더 현실적인 3차원 얼굴 모델링을 제공한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10c
• /
• pp.600-602
• /
• 1998

본 논문은 정면과 측면 얼굴 이미지의 특성을 살린 3차원 개인 아바타 합성에 관한 연구이다. 표준 얼굴 메쉬를 얼굴 이미지의 특징점에 맞추려는 힘을 특징점 이외의 점들까지의 거리에 대한 가우스 분포를 따라 부드럽게 전달시켜 매쉬를 탄성있게 변형하는 힘으로 작용시켜 메쉬를 얼굴 이미지의 윤곽선을 중심으로 매칭시키고, 매칭된 메쉬가 매칭 이전의 메쉬의 기하학적 특성을 유지할 수 있도록 메쉬에 동적 피부 모델을 적용한다. 이렇게 생성한 3차원 메쉬에 이미지를 텍스춰 매핑하여 개인 특성을 살린 3차원 개인 아바타를 생성한다.

• The KIPS Transactions:PartB
• /
• v.8B no.1
• /
• pp.28-34
• /
• 2001

컴퓨터 시각 인식 방법을 이용하여 얼굴의 3차원 움직임 량을 추정하고자 하는 연구는 가상 현실 환경에서 얼굴 움직임에 의한 3차원 그래픽 화면 조정, 시뮬레이터에서의 훈련자 얼굴 움직임에 의한 화면 조정 및 모니터상의 시선 위치 파악 등을 위해 필수적으로 요구되는 기술로서 최근 활발히 연구되고 있다. 기존에 얼굴의 3차원 움직임 량을 추정하고자 하는 연구들은 대부분 확장 칼만 필터(extended kalman filter)를 이용하였으나, 이러한 방법은 필터의 초기 값을 정확하게 설정해야하는 제약 요소를 갖고 있으며, 또한 얼굴의 회전 방향 변화 시 이에 대처하지 못하는 경우 역시 종종 발생한다. 본 논문에서는 이러한 문제점을 해결하기 위하여 확장 칼만 필터의 변형 형태인 반복적 확장 칼만 필터를 이용하여 얼굴의 3차원 움직임 량을 추정하였다. 반복적 확장 칼만 필터에서는 확장 칼만 필터에서 계산되어 나오는 추정 오차 공분산 행렬 값이 미리 정해진 임계치보다 커지는 경우, 현재 얼굴의 움직임 량을 제대로 추정하지 못하고 있는 것으로 판단하여 칼만 필터에서 사용하는 회전 및 이동 속도, 그리고 회전 및 이동 각 속도를 변형함으로써 얼굴의 움직임 량을 정확하게 추정할 수 있도록 하는 방법이다. 실험 결과 반복적 확장 칼만 필터를 사용하였을 경우에 얼굴의 급격한 회전 방향 변화에도 얼굴의 3차원 움직임 량을 정확하게 추정할 수 있음을 알 수 있었다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2011.01a
• /
• pp.47-49
• /
• 2011

본 논문에서는 사용자의 정면, 측면 영상을 이용하여 3차원 얼굴 모델에 적합한 텍스쳐 맵을 생성, 이를 이용하여 3차원 얼굴 모델을 생성하는 방법을 제안한다. 기존 3차원 얼굴 모델은 매핑 할 텍스쳐 영상들을 하나로 통합하여 이를 원통형 좌표계를 통해 텍스쳐링 하는 방법이 이용되고 있다. 이때 정면과 측면의 영상을 3차원 얼굴 모델의 중심축을 기준으로 계산하여 좌표에 맞게 투영시키고 통합 및 보간하여 텍스쳐링 하게 된다. 사용자는 이를 위하여 정면과 측면 영상을 원통형 좌표에 맞게 통합시키는 작업이 필요하다. 본 논문은 사용자에게 수반되는 이러한 작업을 줄이고 발생될 수 있는 텍스쳐의 왜곡을 최소화하기 위한 방법을 제시한다. 2차원 정면 측면 이미지를 3차원 얼굴모델에 투영시키고 정면과 측면을 구분하여 각 텍스쳐 간 경계 부분을 자연스럽게 처리하기 위해 파노라마 이미지 스티칭 기술을 이용하여 텍스쳐링 한 뒤 얼굴 모델을 생성하는 방법에 대해서 기술한다.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 1998.11a
• /
• pp.40-44
• /
• 1998

사용자에 게 친근감 있는 인터페이스를 제공하기 위해 자연스러운 얼굴 애니메이션에 대한 연구가 활발히 진행 중이다.[5][6] 본 논문에서는 자연스러운 얼굴의 표정 합성을 위한 애니메이션 방법 을 제안하였다. 특정한 사람을 모델로 한 얼굴 애니메이션을 위하여 우선 3차원 메쉬로 구성된 일반 모델(generic model)을 특정 사람에게 정합 하여 특정인의 3차원 얼굴 모델을 얻을 수 있다 본 논문에서는 한국인의 자연스러운 얼굴 표정합성을 위하여, 한국인의 표준얼굴에 관한 연구결과를 토대로 한국인 얼굴의 특징을 반영한 일반모델을 만들고 이를 이용하여 특정인의 3차원 얼굴 모델을 얻을 수 있도록 하였다. 실제 얼굴의 근육 및 피부 조직 등 해부학적 구조에 기반 한 표정 합성방법을 사용하여 현실감 있고 자연스러운 얼굴 애니메이션이 이루어질 수 있도록 하였다.