• The KIPS Transactions:PartB
• /
• v.12B no.7 s.103
• /
• pp.795-802
• /
• 2005

In this paper, we present a facial expression recognition-synthesis system that recognizes 7 basic emotion information automatically and renders face with non-photorelistic style in PDA For the recognition of the facial expressions, first we need to detect the face area within the image acquired from the camera. Then, a normalization procedure is applied to it for geometrical and illumination corrections. To classify a facial expression, we have found that when Gabor wavelets is combined with enhanced Fisher model the best result comes out. In our case, the out put is the 7 emotional weighting. Such weighting information transmitted to the PDA via a mobile network, is used for non-photorealistic facial expression animation. To render a 3-D avatar which has unique facial character, we adopted the cartoon-like shading method. We found that facial expression animation using emotional curves is more effective in expressing the timing of an expression comparing to the linear interpolation method.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.44 no.6
• /
• pp.16-23
• /
• 2007

Changeable biometrics has been developed as a solution to problem of enhancing security and privacy. The idea is to transform a biometric signal or feature into a new one for the purposes of enrollment and matching. In this paper, we propose a changeable biometric system that can be applied to appearance based face recognition system. In the first step when using feature extraction, ICA(Independent Component Analysis) coefficient vectors extracted from an input face image are replaced randomly using their mean and variation. The transformed vectors by replacement are scrambled randomly and a new transformed face coefficient vector (transformed template) is generated by combination of the two transformed vectors. When this transformed template is compromised, it is replaced with new random numbers and a new scrambling rule. Because e transformed template is generated by e addition of two vectors, e original ICA coefficients could not be easily recovered from the transformed coefficients.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 1997.11a
• /
• pp.215-219
• /
• 1997

내적 감성상태와 표정을 연결하는 상관모형을 개발하기 위\ulcorner 기초자료로서 광범위한 얼굴표정자료를 수집하였다. 다양한 얼굴유형의 표정자료를 DB화하기 위해서는 궁극적으로 50명 이상의 인물표정 자료수집이 필요하다고 보고, 우선 영화배우 10면분의 표정자료를 수집하였다. 이를 위해 표정연기가 자연스럽다고 평가된 영화배우 10명을 선정하고, 이들이 출연한 50여편의 영화비디오에서 표정자료를 수집하였다. 한사람의 인물당 50개의 표정을 한세트로 하여 총 10명분 500가지의 표정자료수집을 완료하였다. 한사람의 인물당 50개의 표정을 한 세트로 하여 총 10명분 500가지의 표정자료수집을 완료하였다. 각각의 표정은 시작-상승-절정-하강-종료의 연속 5단계를 비율적으로 표집하여 동적정보를 포함하고 있다. 이들 자료들은 등자인물의 출연맥락이나 상황별로 분류하여 표정관련 맥락단서를 기록하였고, 후속연구를 통해 각 표정에 대응되는 내적상태를 기록할 수 있도록 DB화 하였다. 이와같이 구조화된 자료들은 표정인식과 합성의 입출력모형을 위한 기초자료로 활용될 뿐 아니라, 한국인의 얼굴 프로토타입 DB구축 및 향후 표정관련 연구의 타당성을 검증할 수 있는 Benchmarking 정보를 제공할 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.505-507
• /
• 2000

본 논문에서는 3차원 머리 모델에 몇 장의 사진으로부터 얻은 텍스쳐를 입혀 실물처럼 보이는 3차원 인물 모델을 얻는 방법을 제시한다. 모델에 사진들을 맞추는 방법으로는 특징선을 정합하는 방법을 사용한다. 모델에는 얼굴의 특징을 나타낼 수 있는 눈/코/입/눈썹 등의 특징선을 지정하였으며 이들을 사진에 정합시킴으로써 모델의 각 부위에 필요한 텍스쳐 영상을 얻는다. 여러 방향에서 본 사진들을 사용함으로써 더욱 정확한 얼굴 모델을 얻을 수 있는데, 이때 모델의 한 면은 여러 장의 사진에서 합성되어야 하는 경우가 생긴다. 이는 각 사진에서 얼굴이 보는 방향과 모델면이 이루는 각을 이용하여 그 사진이 그 면의 텍스쳐에 기여하는 정도를 계산할 수 있다. 이렇게 함으로써 사진을 이용한 저가의 3차원 캡쳐 시스템을 구현할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.40-42
• /
• 2020

본 논문에서는 합성곱 기반의 얼굴 검출기 Dual Shot Face Detector (DSFD)에 대하여, 특징점 맵의 희소화와 채널 프루닝 목적 함수를 사용하여 네트웍 경량화를 수행하였다. 특징점 맵을 희소화하기 위해 L1 목적 함수를 사용했고, 특징점 맵의 채널 프루닝을 하기 위해 채널 최대값이 가장 낮은 채널들의 합을 최소화 시키는 목적함수를 적용했다. 기존의 신경망은 특징점 맵 희소화 비율이 45%였고 두 목적 함수를 적용했을 때 69.67% 로 희소화 비율이 높아진 것을 확인했다. 얼굴 검출 성능을 다양한 조명, 크기, 환경, 각도, 표정의 얼굴들을 포함하는 영상들로 이뤄진 Wider Face 데이터 셋으로 실험한 결과, average precision은 하락 했고 easy validation set에서 0.9257, hard validation set에서 0.8363 였다.

• Journal of the Korea Society of Computer and Information
• /
• v.17 no.1
• /
• pp.97-104
• /
• 2012

Natural User Interface(NUI) technologies introduce new trends in using devices such as computer and any other electronic devices. In this paper, an augmented reality on a mobile device is implemented by using face detection, recognition and motion tracking. The face detection is obtained by using Viola-Jones algorithm from the images of the front camera. The Eigenface algorithm is employed for face recognition and face motion tracking. The augmented reality is implemented by overlapping the rear camera image and GPS, accelerator sensors' data with the 3D graphic object which is correspond with the recognized face. The algorithms and methods are limited by the mobile device specification such as processing ability and main memory capacity.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.11a
• /
• pp.151-154
• /
• 2012

본 논문에서는 화상통신의 현실감을 증진시킬 수 있는 화자 간 시선 맞춤 시스템을 제안한다. 제안하는 방법은 Kinect 거리 카메라로부터 입력된 영상에서 화자의 얼굴 영역을 획득하여 화자의 시선이 카메라를 응시하도록 획득한 영역을 변환한 후에 원본 영상과 합성한다. Kinect 거리 카메라에서 획득한 얼굴 영역에는 다양한 형태의 잡음이 많아 미디언 필터와 모폴로지 연산을 통해 얼굴 영역의 잡음을 제거한다. 화자의 위치에 상관 없이 화자가 카메라를 응시하는 영상을 생성하기 위해서 Kinect 가 제공하는 거리 정보를 이용하여 시선 보정 각도와 회전 축을 획득한다. 시선이 보정된 얼굴 영역은 원본 영상에서 존재하지 않는 영역을 포함하고 있기 때문에, 원본 영상의 각 화소를 삼각형 메쉬로 구성한 후 해당 영역을 보간하여 최종적으로 시선이 보정된 영상을 생성한다. 제안하는 방법은 시선 맞춤 영상을 생성하는 데 필수적인 눈과 주변 얼굴 영역만 선택해서 변환하므로 영상의 왜곡이 적고 실시간 처리가 가능하다는 장점이 있다. 또한 카메라와 화자 사이의 거리 정보를 이용해 화자의 위치에 적응적인 시선 맞춤 영상을 생성할 수 있다. 실험을 통해 Intel i5 CPU 를 장착한 PC에서 $320{\times}240$ 크기의 영상을 사용할 경우 초당 약 35 프레임의 보정된 영상을 생성하여 제안하는 방법이 실시간 처리가 가능하다는 것을 확인하였다.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.43 no.3 s.309
• /
• pp.67-75
• /
• 2006

Facial expressions exhibit not only facial feature motions, but also subtle changes in illumination and appearance. Since it is difficult to generate realistic facial expressions by using only geometric deformations, detailed features such as textures should also be deformed to achieve more realistic expression. The existing methods such as the expression ratio image have drawbacks, in that detailed changes of complexion by lighting can not be generated properly. In this paper, we propose a nonlinear model for skin color change and a model-based synthesis method for facial expression that can apply realistic expression details under different lighting conditions. The proposed method is composed of the following three steps; automatic extraction of facial features using active appearance model and geometric deformation of expression using warping, generation of facial expression using a model for nonlinear skin color change, and synthesis of original face with generated expression using a blending ratio that is computed by the Euclidean distance transform. Experimental results show that the proposed method generate realistic facial expressions under various lighting conditions.

• The Journal of the Korea Contents Association
• /
• v.8 no.1
• /
• pp.212-227
• /
• 2008

Since 3D face can be rotated freely in 3D space and illumination effects can be modeled properly, 3D face modeling Is more precise and realistic in face pose, illumination, and expression than 2D face modeling. Thus, 3D modeling is necessitated much in face recognition, game, avatar, and etc. In this paper, we propose a 3D face modeling method based on 3D morphable shape modeling. The proposed 3D modeling method first constructs a 3D morphable shape model out of 3D face scan data obtained using a 3D scanner Next, the proposed method extracts and matches feature points of the face from 2D image sequence containing a face to be modeled, and then estimates 3D vertex coordinates of the feature points using a factorization based SfM technique. Then, the proposed method obtains a 3D shape model of the face to be modeled by fitting the 3D vertices to the constructed 3D morphable shape model. Also, the proposed method makes a cylindrical texture map using 2D face image sequence. Finally, the proposed method builds a 3D face model by rendering the 3D face shape model with the cylindrical texture map. Through building processes of 3D face model by the proposed method, it is shown that the proposed method is relatively easy, fast and precise than the previous 3D face model methods.

• Journal of the Korea Society of Computer and Information
• /
• v.16 no.7
• /
• pp.117-125
• /
• 2011

In this paper, it was segmented the face color distribution using YCbCr color model, which is one of the feature-based methods, and preprocessing stage was to be insensitive to the sensitivity for light which is one of the disadvantages for the feature-based methods by the quantization. In addition, it has raised the accuracy of image synthesis with characteristics which is selected the object of the most same image as the shape of pattern using rough set. In this paper, the detection rates of the proposed face detection algorithm was confirmed to be better about 2~3% than the conventional algorithms regardless of the size and direction on the various faces by simulation.