• 감성과학
• /
• 제26권4호
• /
• pp.93-102
• /
• 2023

Emojis and avatars are widely used in online communications, but their emotional conveyance lacks research. This study aims to contribute to the field of emotional expression in computer-mediated communication (CMC) by exploring the effectiveness of emotion recognition, the intensity of perceived emotions, and the perceived preferences for emojis and avatars as emotional expression tools. The following were used as stimuli: 12 photographs from the Yonsei-Face database, 12 Memojis that reflected the photographs, and 6 iOS emojis. The results of this study indicate that emojis outperformed other forms of emotional expression in terms of conveying emotions, intensity, and preference. Indeed, the study findings confirm that emojis remain the dominant form of emotional signals in CMC. In contrast, the study revealed that Memojis were inadequate as an expressive emotional cue. Participants did not perceive Memojis to effectively convey emotions compared with other forms of expression, such as emojis or real human faces. This suggests room for improvement in the design and implementation of Memojis to enhance their effectiveness in accurately conveying intended emotions. Addressing the limitations of Memojis and exploring ways to optimize their emotional expressiveness necessitate further research and development in avatar design.

• 한국정보통신학회논문지
• /
• 제9권4호
• /
• pp.897-904
• /
• 2005

영상 인식은 영상획득이 용이하다는 것과 실생활에서 광범위하게 사용될 수 있다는 것으로 인해 활발하게 연구되고 있는 분야이다. 그러나 얼굴영상은 높은 차원의 영상공간으로 인해 이미지 처리가 쉽지 않다. 본 논문은 얼굴 영상 데이터의 차원을 특징적인 벡터로 표현하고 이러한 특징벡터를 통해 얼굴 영상을 인식하는 방법은 제안한다. 제안되는 알고리즘은 두 부분으로 나뉜다. 첫째로는 칼라 영상을 그레이 영상으로 변환할 때 RGB 세 개의 플레인의 평균이 아닌 세 플레인의 주성분을 사용하는 PCA(Principal Component Analysis)를 적용한다. PCA는 칼라 영상을 그레이 영상으로 변환하는 과정과 인식률을 높이기 위한 영상 대비 개선 과정이 동시에 수행한다. 두 번째로는 PCA와 LDA(Linear Discriminant Analysis) 방식을 하나의 과정으로 통합하는 개선된 통합 LDA 방법이다. 두 과정을 통합함으로서 간결한 알고리즘 표현이 가능하며 분리된 단계에서 있을 수 있는 정보 손실을 방지할 수 있다. 제안된 알고리즘은 잘 제어된 대용량 얼굴 데이터베이스에서 개인을 확인하는 분야에 적용되어 성능을 향상시키고 있음을 보여주었고, 추후에는 실시간 상황에서 특정 개인을 확인하는 분야의 기초 알고리즘으로 적용될 수 있다.

• 한국멀티미디어학회논문지
• /
• 제17권12호
• /
• pp.1383-1392
• /
• 2014

In this paper, we proposed a method to automatically determine the optimal radius through multi-scale LBP operation generalizing the size of radius variation and boosting learning in facial emotion recognition. When we looked at the distribution of features vectors, the most common was $LBP_{8.1}$ of 31% and sum of $LBP_{8.1}$ and $LBP_{8.2}$ was 57.5%, $LBP_{8.3}$, $LBP_{8.4}$, and $LBP_{8.5}$ were respectively 18.5%, 12.0%, and 12.0%. It was found that the patterns of relatively greater radius express characteristics of face well. In case of normal and anger, $LBP_{8.1}$ and $LBP_{8.2}$ were mainly distributed. The distribution of $LBP_{8.3}$ is greater than or equal to the that of $LBP_{8.1}$ in laugh and surprise. It was found that the radius greater than 1 or 2 was useful for a specific emotion recognition. The facial expression recognition rate of proposed multi-scale LBP method was 97.5%. This showed the superiority of proposed method and it was confirmed through various experiments.

• 한국산업정보학회논문지
• /
• 제12권3호
• /
• pp.60-68
• /
• 2007

본 논문에서는 자동으로 사용자의 얼굴 표정을 인식할 수 있는 시스템을 제안한다. 제안된 시스템은 휴리스틱 정보를 기반으로 설계된 트리 구조를 이용하여 행복, 역겨움, 놀람의 감정과 무표정을 인식한다. 카메라로부터 영상이 들어오면 먼저 얼굴 특징 검출기에서 피부색 모델과 연결성분 분석을 이용하여 얼굴 영역을 획득한다. 그 후에 신경망 기반의 텍스처 분류기를 사용하여 눈 영역과 비 눈 영역으로 구분한 뒤 눈의 중심 영역과 에지 정보를 기반으로 하여 눈, 눈썹, 입 등의 얼굴 특징을 찾는다. 검출된 얼굴 특징들은 얼굴 표정 인식기에 사용되며 얼굴 인식기는 이를 기반으로 한 decision tree를 이용하여 얼굴 감정을 인식한다. 제안된 방법의 성능을 평가하기 위해 MMI JAFFE, VAK DB에서 총 180장의 이미지를 사용하여 테스트하였고 약 93%의 정확도를 보였다.

• 로봇학회논문지
• /
• 제12권3호
• /
• pp.313-321
• /
• 2017

One of the most frequently performed tasks in human-robot interaction (HRI), intelligent vehicles, and security systems is face related applications such as face recognition, facial expression recognition, driver state monitoring, and gaze estimation. In these applications, accurate head pose estimation is an important issue. However, conventional methods have been lacking in accuracy, robustness or processing speed in practical use. In this paper, we propose a novel method for estimating head pose with a monocular camera. The proposed algorithm is based on a deep neural network for multi-task learning using a small grayscale image. This network jointly detects multi-view faces and estimates head pose in hard environmental conditions such as illumination change and large pose change. The proposed framework quantitatively and qualitatively outperforms the state-of-the-art method with an average head pose mean error of less than $4.5^{\circ}$ in real-time.

• 감성과학
• /
• 제17권1호
• /
• pp.53-62
• /
• 2014

인간의 감정을 인식하는 기술은 많은 응용분야가 있음에도 불구하고 감정 인식의 어려움으로 인해 쉽게 해결되지 않는 문제로 남아 있다. 인간의 감정 은 크게 영상과 음성을 이용하여 인식이 가능하다. 감정 인식 기술은 영상을 기반으로 하는 방법과 음성을 이용하는 방법 그리고 두 가지를 모두 이용하는 방법으로 많은 연구가 진행 중에 있다. 이 중에 특히 인간의 감정을 가장 보편적으로 표현되는 방식이 얼굴 영상을 이용한 감정 인식 기법에 대한 연구가 활발히 진행 중이다. 그러나 지금까지 사용자의 환경과 이용자 적응에 따라 많은 차이와 오류를 접하게 된다. 본 논문에서는 감정인식률을 향상시키기 위해서는 이용자의 내면적 성향을 이해하고 분석하여 이에 따라 적절한 감정인식의 정확도에 도움을 주어서 감정인식률을 향상 시키는 메카니즘을 제안하였으며 본 연구는 이러한 이용자의 내면적 성향을 분석하여 감정 인식 시스템에 적용함으로 얼굴 표정에 따른 감정인식에 대한 오류를 줄이고 향상 시킬 수 있다. 특히 얼굴표정 미약한 이용자와 감정표현에 인색한 이용자에게 좀 더 향상된 감정인식률을 제공 할 수 있는 방법을 제안하였다.

• 대한전자공학회논문지SP
• /
• 제48권3호
• /
• pp.19-29
• /
• 2011

지금까지 많은 얼굴 인식 방법들이 제안되었으나, 대부분의 방법들은 특징추출 과정 없이 입력 영상을 1차원 형태의 벡터로 변형한 것을 1차원 특징 벡터로 사용하거나 또는 입력 영상 자체를 특징 매트릭스로 사용하였다. 이와같이 영상 자체를 특징으로 사용하면 조명변화가 심한 데이터베이스에서는 성능이 좋지 않는 것으로 알려져 있다. 본 논문에서는 조명변화에 효과적인 그래디언트와 상관관계의 국부통계를 이용하여 얼굴을 인식하는 방법을 제안하였다. BDIP(block difference of inverse probabilities)는 그래디언트의 국부 통계이다. 그리고 BVLC(block variation of local correlation coefficients)의 두 타입은 상관관계의 국부 통계이다. 입력영상이 얼굴인식 시스템에 들어 오면 먼저 BDIP, BVLC1, BVLC2의 특징 영상을 추출하고 융합한 후, (2D)2 PCA 변환을 거쳐 특징 매트릭스를 얻어서 훈련특징 매트릭스와의 거리를 구하여 최근린 분류기를 이용하여 얼굴 영상을 인식한다. 네 가지 얼굴 데이터베이스, FERET, Weizmann, Yale B, Yale에 대한 실험결과로부터, 제안한 방법이 실험한 여섯 가지 방법 중에서 조명과 얼굴 표정의 변화에 가장 견실하다는 것을 알 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.200-203
• /
• 2021

본 논문은 여러 인공지능 기술 중 이미지 분류를 통한 사람의 얼굴 표정을 인식하는 프로그램을 통해 사람의 표정을 인식하여 거울에 나타내는 스마트미러 기술을 소개한다. 여러 사람의 5가지 표정이미지를 통하여 인공지능으로 학습하였고, 사람이 거울을 볼 때 거울이 그 표정을 인식하여 인식한 결과를 거울에 나타내는 방식이다. 여러 사람의 얼굴을 표정별로 구분되어있는 dataset을 kaggle에서 제공하는 fer2013을 이용하여 사용하였고, 이미지 데이터 분류를 위해 네트워크 구조는 컨볼루션 신경망 구조를 이용하여 학습하였다. 최종적으로 학습된 모델을 임베디드 보드인 라즈베리파이4를 통해서 얼굴을 인식하여 거울을 통해 디스플레이에 나타내는 구조이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.818-820
• /
• 2022

The keyword 'healing' is essential to the competitive society and culture of Koreans. In addition, as the time at home increases due to COVID-19, the demand for indoor healing services has increased. Therefore, this thesis analyzes the user's facial expression so that people can receive various 'customized' healing services indoors, and based on this, provides lighting, ASMR, video recommendation service, and facial expression recording service.The user's expression was analyzed by applying the ensemble algorithm to the expression prediction results of various CNN models after extracting only the face through object detection from the image taken by the user.

• 응용통계연구
• /
• 제31권5호
• /
• pp.539-554
• /
• 2018

최근 등장하는 다양한 사물인터넷 기기 혹은 상황인식 기반의 인공지능에서는 사용자와 기기의 상호작용이 중요시 된다. 특히 인간을 대상으로 상황에 맞는 대응을 하기 위해서는 인간의 표정을 실시간으로 인식하여 빠르고 정확한 판단을 내리는 것이 필요하다. 따라서, 보다 빠르고 정확하게 표정을 인식하는 시스템을 구축하기 위해 얼굴 이미지 분석에 대한 많은 연구들이 선행되어 왔다. 본 연구에서는 웹사이트 Kaggle에서 제공한 48*48 8-bit grayscale 이미지 데이터셋을 사용하여 얼굴인식과 표정분류로 구분된 두 단계를 거치는 얼굴표정 자동 인식 시스템을 구축하였고, 이를 기존의 연구와 비교하여 자료 및 방법론의 특징을 고찰하였다. 분석 결과, Face landmark 정보에 주성분분석을 적용하여 단 30개의 주성분만으로도 빠르고 효율적인 예측모형을 얻을 수 있음이 밝혀졌다. LDA, Random forest, SVM, Bagging 중 SVM방법을 적용했을 때 가장 높은 정확도를 보이며, LDA방법을 적용하는 경우는 SVM 다음으로 높은 정확도를 보이며, 매우 빠르게 적합하고 예측하는 것이 가능하다.