• Journal of Information Science Theory and Practice
• /
• 제7권2호
• /
• pp.32-39
• /
• 2019

A convolutional neural network (CNN) has been widely used in facial expression recognition (FER) because it can automatically learn discriminative appearance features from an expression image. To make full use of its discriminating capability, this paper suggests a simple but effective method for CNN based FER. Specifically, instead of an original expression image that contains facial appearance only, the expression image with facial geometry visualization is used as input to CNN. In this way, geometric and appearance features could be simultaneously learned, making CNN more discriminative for FER. A simple CNN extension is also presented in this paper, aiming to utilize geometric expression change derived from an expression image sequence. Experimental results on two public datasets (CK+ and MMI) show that CNN using facial geometry visualization clearly outperforms the conventional CNN using facial appearance only.

• 한국콘텐츠학회논문지
• /
• 제8권2호
• /
• pp.18-26
• /
• 2008

본 논문은 사용자로 하여금 표정공간으로부터 일련의 표정들을 선택하게 함으로써 3차원 아바타의 표정을 제어할 수 있는 표정공간의 단계적 가시화 기법을 기술한다. 본 기법에 의한 시스템은 무표정 상태를 포함하여 11개의 서로 다른 모션들로 구성된 2400여개의 표정 프레임으로 2차원 표정공간을 구성하였으며, 3차원 아바타의 표정 제어는 사용자가 표정공간을 항해함으로서 수행되어진다. 그러나 표정공간에서는 과격한 표정 변화에서부터 세밀한 표정 변화까지 다양한 표정 제어를 수행할 수 있어야하기 때문에 단계적 가시화 기법이 필요하다. 표정공간을 단계적으로 가시화하기 위해서는 퍼지 클러스터링을 이용한다. 초기 단계에서는 11개의 클러스터 센터를 가지도록 클러스터링하고, 단계가 증가될 때 마다 클러스터 센터의 수를 두 배씩 증가시켜 표정들을 클러스터링한다. 이때 클러스터 센터와 표정공간에 분포된 표정들의 위치는 서로 다른 경우가 많기 때문에, 클러스터 센터에서 가장 가까운 표정상태를 찾아 클러스터 센터로 간주한다. 본 논문은 본 시스템이 어떤 효과가 있는지를 알기 위해 사용자들로 하여금 본 시스템을 사용하여 3차원 아바타의 단계적 표정 제어를 수행하게 하였으며, 그 결과를 평가한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권7호
• /
• pp.578-583
• /
• 2010

본 논문에서는 소스코드의 코딩 스타일을 검사하고 코딩 스타일 점수를 얼굴 표정을 이용해 시각화하는 시스템인 StyleVisualizer 를 제안한다. StyleVisualizer 는 스타일 평가 점수에 따라 몇 가지 얼굴로 표현한다. 웃는 표정은 소스코드가 코딩 표준을 잘 준수했음을 의미한다. StyleVisualizer 의 효과를 알아보기 위해 두 분반의 실용 컴퓨터 교과목 수강생을 대상으로 실험을 진행하였다. 실험에서는 StyleVisualizer 를 사용한 분반과 사용하지 않은 분반에 대해 코딩 표준 준수에 대한 오류 비율을 비교했다. 실험결과, StyleVisualizer 를 사용한 경우 30% 이상 오류 비율이 감소하였다. 논문에서 제안하는 시스템은 학생들에게 자신들의 프로그램에 대한 시각화된 결과를 피드백해 줌으로써 코딩 표준을 준수하고 가독성이 높은 프로그램을 작성하는 능력을 기르는 데 도움을 줄 수 있을 것으로 기대된다.

• 정보처리학회논문지A
• /
• 제11A권4호
• /
• pp.277-284
• /
• 2004

본 논문은 사용자로 하여금 계층적 가시화 기법에 의한 표정들의 공간으로부터 일련의 표정을 선택하게 함으로써 3차원 아바타의 표정 제어기법을 기술한다. 본 시스템에서는 2,40P0여개의 표정 프레임을 이용하여 2차원 표정공간을 구성하였으며, 3차원 아바타의 표정 제어는 사용자가 표정공간을 항해하면서 수행한다. 그러나 표정의 수가 너무 많아 사용자가 항해를 하는데 어려움이 많기 때문에 계층적 가시화 기법이 필요하다. 표정공간을 계층적으로 분할하기 위해, 퍼지 클러스터링을 이용한다. 초기 단계에서는 2,400여개의 표정들을 이용하여 약 11개의 클러스터센터를 가지도록 클러스터링한다. 클러스터 센터들은 2차원 평면에 표시되며 후보 키 프레임으로 사용된다 사용자는 후보 키 프레임들 중에서 특정 키 프레임들을 선택하여 초기 항해경로를 생성한다. 사용자가 줌 인(이산적인 단계를 가지고 있음)을 하면 상세한 단계를 보기를 원한다는 의미이므로 줌 인된 단계에 적합한 표정 클러스터들을 생성한다. 단계가 증가될 때 마다 클러스터의 수를 두 배로 하고, 클러스터의 수만큼 표정들을 클러스터링한다. 사용자는 현재 단계에서 그전 단계의 항해경로를 따라 새로운 키 프레임(클러스터 센터)들을 선택하여 항해경로를 갱신한다. 줌 인을 최대로 한 마지막 단계에서 항해경로를 갱신하면 표정 제어 설정이 끝난다. 사용자는 언제든지 줌 아웃을 통해 그 전단계로 돌아가서 항해경로를 수정할 수 있다. 본 논문은 본 시스템이 어떤 효과가 있는지를 알기 위해 사용자들로 하여금 본 시스템을 사용하여 3차원 아바타의 표정 제어를 수행하게 하였으며, 그 결과를 평가한다.

• 한국정보과학회논문지:시스템및이론
• /
• 제31권12호
• /
• pp.726-734
• /
• 2004

본 논문은 애니메이터로 하여금 계층적 가시화 기법에 의한 표정들의 공간으로부터 일련의 표정을 실시간적으로 선택하게 함으로써 얼굴 표정 애니메이션을 생성하는 기법을 기술한다 본 시스템에서는 약 2400여개의 표정 프레임을 이용하여 2차원 표정공간을 구성하였으며, 이를 위해서는 한 표정을 표시하는 상태표현으로 얼굴 특징 점들 간의 상호거리를 표시하는 거리 행렬을 사용한다. 또한 두 표정 간의 최단거리를 구하기 위해 다이내믹 프로그래밍 기법을 사용한다. 그리고 다차원 공간인 표정공간을 항해하기 위해서 다차원 스케일링 기법을 이용하여 2차원 공간으로 가시화한다. 그러나 표정의 수가 너무 많아 애니메이터가 항해를 하는데 어려움이 많기 때문에 계층적 가시화 기법이 필요하다. 표정공간을 계층적으로 분할하기 위해, 퍼지 클러스터링을 이용한다. 초기 단계에서는 약 10개의 클러스터 센터(후보 키 프레임)를, 단계가 증가될 때마다 후보 키 프레임의 수를 두 배로 하여 클러스터링하고 2차원 평면에 표시한다. 애니메이터는 초기 단계의 후보 키 프레임들 중에서 특정 키 프레임들을 선택하여 항해경로를 생성한다. 특정 단계에서는 그전 단계의 항해경로를 따라 새로운 키 프레임들을 선택하여 항해경로를 갱신하고, 마지막 단계에서 항해경로를 갱신하면 애니메이션 설정이 끝난다. 본 논문은 본 시스템이 어떤 효과가 있는지를 알기 위해 애니메이터들로 하여금 본 시스템을 사용하여 얼굴 애니메이션을 생성하게 하였으며, 그 결과를 평가한다.

• Journal of Korean Neurosurgical Society
• /
• 제56권1호
• /
• pp.11-15
• /
• 2014

Objective : Facial nerve palsy is a common complication of treatment for vestibular schwannoma (VS), so preserving facial nerve function is important. The preoperative visualization of the course of facial nerve in relation to VS could help prevent injury to the nerve during the surgery. In this study, we evaluate the accuracy of diffusion tensor tractography (DTT) for preoperative identification of facial nerve. Methods : We prospectively collected data from 11 patients with VS, who underwent preoperative DTT for facial nerve. Imaging results were correlated with intraoperative findings. Postoperative DTT was performed at postoperative 3 month. Facial nerve function was clinically evaluated according to the House-Brackmann (HB) facial nerve grading system. Results : Facial nerve courses on preoperative tractography were entirely correlated with intraoperative findings in all patients. Facial nerve was located on the anterior of the tumor surface in 5 cases, on anteroinferior in 3 cases, on anterosuperior in 2 cases, and on posteroinferior in 1 case. In postoperative facial nerve tractography, preservation of facial nerve was confirmed in all patients. No patient had severe facial paralysis at postoperative one year. Conclusion : This study shows that DTT for preoperative identification of facial nerve in VS surgery could be a very accurate and useful radiological method and could help to improve facial nerve preservation.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권6호
• /
• pp.2115-2127
• /
• 2021

Although significant progress has been made in synthesizing visually realistic face images by Generative Adversarial Networks (GANs), there still lacks effective approaches to provide fine-grained control over the generation process for semantic facial attribute editing. In this work, we propose a novel cross channel self-attention based generative adversarial network (CCA-GAN), which weights the importance of multiple channels of features and archives pixel-level feature alignment and conversion, to reduce the impact on irrelevant attributes while editing the target attributes. Evaluation results show that CCA-GAN outperforms state-of-the-art models on the CelebA dataset, reducing Fréchet Inception Distance (FID) and Kernel Inception Distance (KID) by 15~28% and 25~100%, respectively. Furthermore, visualization of generated samples confirms the effect of disentanglement of the proposed model.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 2부
• /
• pp.346-357
• /
• 2008

관상학(Physiognomy)이란 사람의 얼굴을 보고 그의 운명, 성격, 수명 따위를 판단하는 방법을 연구하는 학문을 말한다. 이 논문에서 언급하는 관상학은 동양에서 말하는 관상학, 특히 얼굴의 부분적 특성이나 전체적인 조화를 통해 성격과 운영을 예측하는 학문을 의미한다. 이 연구는 동양 관상학을 적용한 성격별 얼굴 설계 시스템 구축에 관한 것으로, 첫째, 보편적인 성격 분류를 위해 MBTI에서 다루는 성격 어휘 161개를 군집분석을 통해 39개의 대표 어휘로 추출하였다. 추출된 대표 성격 어휘의 의미상 거리를 나타내기 위하여 서베이를 통해 얻은 데이터를 다차원 척도법을 통해 2차원 공간상에 성격 어휘의 관계를 분석하였다. 둘째, 얼굴 시각화를 위해 먼저 얼굴의 형태적 특성을 결정짓는 요소를 크게 얼굴형, 눈, 코, 입, 이마, 눈썹으로 분류하고, 분류된 6가지 얼굴 형태의 29가지 하위요소 별 성격을 한국인의 얼굴 특성을 기준으로 관상학적 정리 및 숫자형식 코드화를 하였다. 추출된 대표 성격 어휘별 얼굴 요소의 형태를 앞서 정리된 코드에 따라 하나의 얼굴 형태로 조합하여 39가지 얼굴을 시각화 하여 마지막으로, 성격별 얼굴 설계 시스템 'FACE'를 제작하였다. 이 연구는 사람의 성격 특성에 따라 그에 맞는 얼굴 형태를 구현하는 시스템을 제작하여 일반 사용자 뿐 아니라 애니메이션 캐릭터 개발자에게 객관적인 도움을 줄 수 있으며 또한 예로부터 내려오는 관상학의 적용 범위를 넓힐 수 있는 가능성을 보여주었다고 할 수 있다.

• 한국콘텐츠학회논문지
• /
• 제7권2호
• /
• pp.117-124
• /
• 2007

본 논문은 얼굴 모션 캡쳐 데이터를 재사용하여 실시간 표정 제어 및 표정 애니메이션을 생성하기 위한 방법론을 기술한다. 이 방법의 핵심요소는 얼굴 표정들을 정의할 수 있는 표정상태 표현법을 정하고, 이를 LLE 알고리즘에 적용하여 표정들을 적당한 공간에 분포시키는 방법론과, 이 공간을 사용하여 실시간 표정 애니메이션 생성 및 표정제어를 수행하기 위한 사용자 인터페이스 기법이다. 본 논문에서는 약 2400개의 얼굴 표정 프레임 데이터를 이용하여 공간을 생성하고, 애니메이터가 이 공간을 자유롭게 항해할 때, 항해경로 상에 위치한 얼굴 표정 프레임 데이터들이 연속적으로 선택되어 하나의 애니메이션이 생성되거나 표정제어가 가능하도록 하였다. 약 2400개의 얼굴 표정 프레임 데이터들을 직관적인 공간상에 분포하기 위해서는 얼굴 표정 프레임 데이터로부터 얼굴 표정상태를 표현할 필요가 있고, 이를 위해서는 임의의 두 마커 사이의 거리들로 구성된 거리행렬 벡터를 이용한다. 직관적인 공간에서의 데이터 배치는 얼굴 표정상태벡터들의 집합을 LLE 알고리즘에 적용하고, 이로부터 2차원 평면에 균일하게 분포하였다. 본 논문에서는 애니메이터로 하여금 사용자 인터페이스를 사용하여 실시간으로 표정 애니메이션을 생성하거나 표정제어를 수행하도록 하였으며, 그 결과를 평가한다.

• Investigative Magnetic Resonance Imaging
• /
• 제23권2호
• /
• pp.167-171
• /
• 2019

$M\ddot{o}bius$ syndrome is a rare congenital condition, characterized by abducens and facial nerve palsy, resulting in limitation of lateral gaze movement and facial diplegia. However, to our knowledge, there have been few studies on evaluation of cranial nerves, on MR imaging in $M\ddot{o}bius$ syndrome. Herein, we describe a rare case of $M\ddot{o}bius$ syndrome representing limitation of lateral gaze, and weakness of facial expression, since the neonatal period. In this case, high-resolution MR imaging played a key role in diagnosing $M\ddot{o}bius$ syndrome, by direct visualization of corresponding cranial nerves abnormalities.