• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권5호
• /
• pp.2363-2374
• /
• 2016

Communication occurs through verbal elements, which usually involve language, as well as non-verbal elements such as facial expressions, eye contact, and gestures. In particular, among these non-verbal elements, gestures are symbolic representations of physical, vocal, and emotional behaviors. This means that gestures can be signals toward a target or expressions of internal psychological processes, rather than simply movements of the body or hands. Moreover, gestures with such properties have been the focus of much research for a new interface in the NUI/NUX field. In this paper, we propose a method for recognizing the number of fingers and detecting the hand region based on the depth information and geometric features of the hand for application to an NUI/NUX. The hand region is detected by using depth information provided by the Kinect system, and the number of fingers is identified by comparing the distance between the contour and the center of the hand region. The contour is detected using the Suzuki85 algorithm, and the number of fingers is calculated by detecting the finger tips in a location at the maximum distance to compare the distances between three consecutive dots in the contour and the center point of the hand. The average recognition rate for the number of fingers is 98.6%, and the execution time is 0.065 ms for the algorithm used in the proposed method. Although this method is fast and its complexity is low, it shows a higher recognition rate and faster recognition speed than other methods. As an application example of the proposed method, this paper explains a Secret Door that recognizes a password by recognizing the number of fingers held up by a user.

• 방송공학회논문지
• /
• 제25권4호
• /
• pp.537-544
• /
• 2020

본 논문에서는 FACS(Facial Action Coding System)에 기반을 둔 안드로이드 로봇 헤드의 개발을 통한 감정표현 방법을 제안한다. 안드로이드 로봇은 인간과 가까운 외모를 가진 로봇을 말하며, 인공 피부, 인공 근육을 가지고 있다. 감정 표현을 로봇으로 구현하기 위해서는 인공 근육의 개수와 배치를 정하여야 하는데 이를 위해 인간의 얼굴 움직임을 해부학적으로 분석하였다. FACS는 해부학을 기반으로 하여 표정을 만들 때의 얼굴의 움직임을 분석한 시스템이다. FACS에서는 표정은 AU(Action Unit)의 조합으로 만들어지며, 이 AU를 기반으로 로봇의 인공 근육의 수와 위치를 정하게 된다. 개발된 안드로이드 헤드는 30개의 인공 근육에 해당되는 모터와 와이어를 가지고 있으며, 표정 구현을 위한 인공 피부를 가지고 있다. 제한된 머리 공간에 많은 모터를 탑재하기 위해 spherical joint와 스프링을 이용하여 초소형 안구 모듈이 개발되었고, 와이어 경로의 효율적인 설계를 기반으로 30개의 모터가 배치되었다. 제작된 안드로이드 헤드는 30 자유도를 가지고 13개의 기본 감정 표현을 구현 가능하였고, 전시회에서 일반 관람객들을 대상으로 인식률을 평가 받았다.

• International Journal of Contents
• /
• 제15권4호
• /
• pp.59-64
• /
• 2019

In recent years, emotion recognition has been an interesting and challenging topic. Compared to facial expressions and speech modality, gesture-based emotion recognition has not received much attention with only a few efforts using traditional hand-crafted methods. These approaches require major computational costs and do not offer many opportunities for improvement as most of the science community is conducting their research based on the deep learning technique. In this paper, we propose an end-to-end deep learning approach for classifying emotions based on bodily gestures. In particular, the informative keyframes are first extracted from raw videos as input for the 3D-CNN deep network. The 3D-CNN exploits the short-term spatiotemporal information of gesture features from selected keyframes, and the convolutional LSTM networks learn the long-term feature from the features results of 3D-CNN. The experimental results on the FABO dataset exceed most of the traditional methods results and achieve state-of-the-art results for the deep learning-based technique for gesture-based emotion recognition.

• 지능정보연구
• /
• 제23권1호
• /
• pp.109-126
• /
• 2017

최근 지능형 서비스를 제공하기 위해 감정을 인식하기 위한 많은 연구가 진행되고 있다. 특히, 전시 분야에서 관중에게 개인화된 서비스를 제공하기 위해 얼굴표정을 이용한 감정인식 연구가 수행되고 있다. 그러나 얼굴표정은 시간에 따라 변함에도 불구하고 기존연구는 특정시점의 얼굴표정 데이터를 이용한 문제점이 있다. 따라서 본 연구에서는 전시물을 관람하는 동안 관중의 얼굴표정의 변화로부터 감정을 인식하기 위한 예측 모델을 제안하였다. 이를 위하여 본 연구에서는 시계열 데이터를 이용하여 감정예측에 적합한 순차적 인공신경망 모델을 구축하였다. 제안된 모델의 유용성을 평가하기 위하여 일반적인 표준인공신경망 모델과 제안된 모델의 성능을 비교하였다. 시험결과 시계열성을 고려한 제안된 모델의 예측이 더 뛰어남으로 보였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2004년도 춘계종합학술대회
• /
• pp.603-607
• /
• 2004

본 논문에서는 얼굴 특징을 추출하는 새로운 능동적 방식을 제안하고자 한다. 운전자의 피로 상태를 검출하기 위한 얼굴 표정 인식을 위해 얼굴 특징을 추적하고자 하였다. 그러나 대다수의 얼굴 특징 추적 방법은 다양한 조명 조건과 얼굴 움직임, 회전등으로 얼굴의 특징점이 검출하지 못하는 경우가 발생한다. 그러므로 본 논문에서는 얼굴 특징을 추출하는 새로운 능동적 방식을 제안하고자 한다. 제안된 방법은 우선, 능동적 적외선 감지기를 사용하여 다양한 조명 조건 하에서 동공을 검출하고, 검출된 동공은 얼굴 움직임을 예측하는데 사용되어진다. 얼굴 움직임에 따라 특징이 국부적으로 부드럽게 변화한다고 할 때, 칼만 필터로 얼굴 특징을 추적할 수 있다. 제한된 동공 위치와 칼만 필터를 동시에 사용함으로 각각의 특징 지점을 정확하게 예상 할 수 있었고, Gabor 공간에서 예측 지점에 인접한 지점을 특징으로 추적할 수 있다. 패턴은 검출된 특징에서 공간적 연관성에서 추출한 특징들로 구성된다. 실험을 통하여 다양한 조명과 얼굴 방향, 표정 하에서 제안된 능동적 방법의 얼굴 추적의 실효성을 입증하였다.

• 한국정보전자통신기술학회논문지
• /
• 제2권3호
• /
• pp.53-60
• /
• 2009

본 논문에서는 얼굴 특징을 추출하는 새로운 능동적 방식을 제안하고자 한다. 운전자의 피로 상태를 검출하기 위한 얼굴 표정 인식을 위해 얼굴 특징을 추적하고자 하였다. 그러나 대다수의 얼굴 특징 추적 방법은 다양한 조명 조건과 얼굴 움직임, 회전등으로 얼굴의 특징점이 검출하지 못하는 경우가 발생한다. 본 논문에서는 얼굴 특징을 추출하는 새로운 능동적 방식을 제안하고자 한다. 제안된 방법은 우선, 능동적 적외선 감지기를 사용하여 다양한 조명 조건하에서 동공을 검출하고, 검출된 동공은 얼굴 움직임을 예측하는데 사용되어진다. 얼굴 움직임에 따라 특징이 국부적으로 부드럽게 변화한다고 할 때, 칼만 필터로 얼굴 특징을 추적할 수 있다. 제한된 동공 위치와 칼만 필터를 동시에 사용함으로 각각의 특징 지점을 정확하게 예상할 수 있었고, Gabor 공간에서 예측 지점에 인접한 지점을 특징으로 추적할 수 있다. 패턴은 검출된 특징에서 공간적 연관성에서 추출한 특징들로 구성된다. 실험을 통하여 다양한 조명과 얼굴 방향, 표정 하에서 제안된 능동적 방법의 얼굴 추적의 실효성을 입증하였다.

• 한국컴퓨터정보학회논문지
• /
• 제10권6호
• /
• pp.1-8
• /
• 2005

얼굴 분석은 얼굴 인식 머리 움직임과 얼굴 표정을 이용한 인간과 컴퓨터사이의 인터페이스, 모델 기반 코딩, 가상현실 등 많은 응용 분야에서 유용하게 활용된다. 이러한 응용 분야에서는 얼굴의 특징점들을 정확하게 추출해야 한다. 본 논문에서는 눈, 눈썹, 입술의 코너와 같은 얼굴 특징을 자동으로 추출하는 방법을 제안한다. 먼저, 입력 영상으로부터 AdaBoost 기반의 객체 검출 기법을 이용하여 얼굴 영역을 추출한다. 그 다음에는 계곡 에너지. 명도 에너지, 경계선 에너지의 세 가지 특징 에너지를 계산하여 결합한다. 구해진 특징 에너지 영상에 대하여 에너지 값이 큰 수평 방향향의 사각형을 탐색함으로써 특징 영역을 검출한다. 마지막으로 특징 영역의 가장자리 부분에서 코너 검출 알고리즘을 적용함으로써 눈, 눈썹, 입술의 코너를 검출한다. 본 논문에서 제안된 얼굴 특징 추출 방법은 세 가지의 특징 에너지를 결합하여 사용하고 계곡 에너지와 명도 에너지의 계산이 조명 변화에 적응적인 특성을 갖도록 함으로써, 다양한 환경 조건하에서 견고하게 얼굴 특징을 추출할 수 있다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 추계종합학술대회 논문집
• /
• pp.460-463
• /
• 1999

We present an efficient face recognition method that is robust to illumination changes. We named the proposed method as SKKUfaces. We first compute eigenfaces from training images and then apply fisher discriminant analysis using the obtained eigenfaces that exclude eigenfaces correponding to first few largest eigenvalues. This way, SKKUfaces can achieve the maximum class separability without considering eigenfaces that are responsible for illumination changes, facial expressions and eyewear. In addition, we have developed a method that efficiently computes beween-scatter and within-scatter matrices in terms of memory space and computation time. We have tested the performance of SKKUfaces on the YALE and the SKKU face databases. Initial Experimental results show that SKKUfaces performs greatly better over Fisherfaces on the input images of large variations in lighting and eyewear.

• 정보처리학회논문지B
• /
• 제18B권5호
• /
• pp.305-314
• /
• 2011

사람의 의도를 인지하기 위해 감정을 시각적으로 인식하는 연구는 전통적으로 감정을 드러내는 얼굴 표정을 인식하는 데 집중해 왔다. 최근에는 감정을 드러내는 신체 언어 즉 신체 행동과 자세를 통해 감정을 나타내는 방법에서 감정 인식의 새로운 가능성을 찾고 있다. 본 연구는 신경생리학의 시각계 처리 방법을 적용한 신경모델을 구축하여 행동에서 기본 감정 의도를 인식하는 방법을 제안한다. 이를 위해 시각 피질의 정보 처리 모델에 따라 생물학적 체계의 신경모델 검출기를 구축하여 신체 행동의 정적 자세에서 6가지 주요 기본 감정을 판별한다. 파라미터 변화에 강건한 제안 모델의 성능은 신체행동 자세 집합을 대상으로 사람 관측자와의 평가 결과를 비교 평가하여 가능성을 제시한다.

• 방송공학회논문지
• /
• 제22권2호
• /
• pp.162-172
• /
• 2017

본 논문에서는 딥러닝 기술 중의 하나인 CNN(Convolutional Neural Network)을 이용한 얼굴 표정 인식 기법을 제안한다. 기존의 얼굴 표정 데이터베이스의 단점을 보완하고자 질 좋은 다양한 데이터베이스를 이용한다. 제안한 기법에서는 '무표정', '행복', '슬픔', '화남', '놀람', 그리고 '역겨움' 등의 여섯 가지 얼굴 표정 data-set을 구축한다. 효율적인 학습 및 분류 성능을 향상시키기 위해서 전처리 및 데이터 증대 기법(data augmentation)도 적용한다. 기존의 CNN 구조에서 convolutional layer의 특징지도의 수와 fully-connected layer의 node의 수를 조정하면서 여섯 가지 얼굴 표정의 특징을 가장 잘 표현하는 최적의 CNN 구조를 찾는다. 실험 결과 제안하는 구조가 다른 모델에 비해 CNN 구조를 통과하는 시간이 가장 적게 걸리면서도 96.88%의 가장 높은 분류 성능을 보이는 것을 확인하였다.