Facial Expression Control of 3D Avatar using Motion Data

This paper propose a method that controls facial expression of 3D avatar by having the user select a sequence of facial expressions in the space of facial expressions. And we setup its system. The space of expression is created from about 2400 frames consist of motion captured data of facial expressions. To represent the state of each expression, we use the distance matrix that represents the distances between pairs of feature points on the face. The set of distance matrices is used as the space of expressions. But this space is not such a space where one state can go to another state via the straight trajectory between them. We derive trajectories between two states from the captured set of expressions in an approximate manner. First, two states are regarded adjacent if the distance between their distance matrices is below a given threshold. Any two states are considered to have a trajectory between them If there is a sequence of adjacent states between them. It is assumed . that one states goes to another state via the shortest trajectory between them. The shortest trajectories are found by dynamic programming. The space of facial expressions, as the set of distance matrices, is multidimensional. Facial expression of 3D avatar Is controled in real time as the user navigates the space. To help this process, we visualized the space of expressions in 2D space by using the multidimensional scaling(MDS). To see how effective this system is, we had users control facial expressions of 3D avatar by using the system. As a result of that, users estimate that system is very useful to control facial expression of 3D avatar in real-time.

모션 데이터를 이용한 3차원 아바타 얼굴 표정 제어

본 논문은 사용자로 하여금 얼굴표정들의 공간으로부터 일련의 표정을 실시간 적으로 선택하게 함으로써 3차원 아바타의 얼굴 표정을 제어하는 기법을 제안하고, 해당 시스템을 구축한다. 본 시스템에서는 얼굴 모션 캡쳐 데이터로 구성된 2400여개의 표정 프레임을 이용하여 표정공간을 구성하였다. 본 기법에서는 한 표정을 표시하는 상태표현으로 얼굴특징 점들 간의 상호거리를 표시하는 거리행렬을 사용한다. 이 거리행렬의 집합을 표정공간으로 한다. 그러나 이 표정공간은 한 표정에서 다른 표정까지 이동할 때 두 표정간의 직선경로를 통해 이동할 수 있는 그런 공간이 아니다. 본 기법에서는 이 경로를 표정 데이터로부터 근사적으로 유추한다. 우선, 각 표정상태를 표현하는 거리행렬간의 거리가 일정 값 이하인 경우 두 표정을 인접해 있다고 간주한다. 임의의 두 표정 상태가 일련의 인접표정들의 집합으로 연결되어 있으면 두 표정간에 경로가 존재한다고 간주한다. 한 표정에서 다른 표정으로 변화할 때 두 표정간의 최단경로를 통해 이동한다고 가정한다. 두 표정간의 최단거리를 구하기 위해 다이내믹 프로그래밍 기법을 이용한다. 이 거리행렬의 집합인 표정공간은 다차원 공간이다. 3차원 아바타의 얼굴 표정은 사용자가 표정공간을 항해하면서 원하는 표정을 실시간 적으로 선택함으로써 제어한다. 이를 도와주기 위해 표정공간을 다차원 스케일링 기법을 이용하여 2차원 공간으로 가시화 했다. 본 시스템이 어떤 효과가 있는지를 알기 위해 사용자들로 하여금 본 시스템을 사용하여 3차원 아바타의 얼굴 표정을 제어하게 해본 결과, 3차원 아바타의 실시간 얼굴 표정 제어가 필요한 각 분야에서 매우 유용하게 사용될 것으로 판단되었다.24시간 경과시킨 후 치아의 장축에 따라 절단하여 침투된 색소의 정도를 광학현미경상에서 40배로 관찰하였다. 각각의 실험결과는 ANOVA/Tukey's test 및 Kruskal-Wallis non-parametric independent analysis와 Mann-Whitney U test에 의하여 통계 분석하여 다음과 같은 결론을 얻었다. 1. 대조군에 있어서 혼합형 복합레진의 미세인장 결합강도는 미세혼합형에 비하여 높았으며, 실험군 사이에는 유의차를 보이지 않았다. 2.모든 복합레진의 미세인장 결합강도는 와동의 C-factor증가에 따라 감소하는 경향을 나타내었고, 혼합형 복합레진의 실험군은 대조군에 비하여 낮게 나타났으며, 미세혼합형 복합레진에서는 유의차를 보이지 않았다. 3. 절단측 및 치은측 변연부의 미세누출정도는 혼합형 복합레진이 미세혼합형에 비하여 대체로 높게 나타났다. 4. 모든 실험군에서 미세누출은 C-factor증가에 따라 증가하였고 절단측에 비하여 치은측 변연이 높게 나타났으나 통계학적 유의차는 보이지 않았다. C-factor의 변화에 대하여 필러함량과 탄성계수가 높은 혼합형 복합레진이 미세혼합형에 비하여 더 민감한 결과를 보인다. 이는 복합레진 수복시 재료의 선택과 중합수축의 적절한 조절이 중요한 요소임을 시사한다.s에서는 1주, 2주에서 강한 염증반응을 보였으나 12주에서는 염증반응이 감소하였다. 4) 새로 개발된 봉함제 Adseal-1,2는 1주, 2주에서는 가장 약한 염증반응을 보이나 4주, 12주 후에는 AH Plus와 비슷한 수준의 염증 반응을 보였다. 5) Pulp Canal Sealer를 제외한 모든 군에서 인정할 만한 생체친화성을 보였다. 6)