• International Journal of Computer Science & Network Security
• /
• 제23권8호
• /
• pp.40-48
• /
• 2023

Speech Emotions recognition has become the active research theme in speech processing and in applications based on human-machine interaction. In this work, our system is a two-stage approach, namely feature extraction and classification engine. Firstly, two sets of feature are investigated which are: the first one is extracting only 13 Mel-frequency Cepstral Coefficient (MFCC) from emotional speech samples and the second one is applying features fusions between the three features: Zero Crossing Rate (ZCR), Teager Energy Operator (TEO), and Harmonic to Noise Rate (HNR) and MFCC features. Secondly, we use two types of classification techniques which are: the Support Vector Machines (SVM) and the k-Nearest Neighbor (k-NN) to show the performance between them. Besides that, we investigate the importance of the recent advances in machine learning including the deep kernel learning. A large set of experiments are conducted on Surrey Audio-Visual Expressed Emotion (SAVEE) dataset for seven emotions. The results of our experiments showed given good accuracy compared with the previous studies.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2007년도 제38회 하계학술대회
• /
• pp.1906-1908
• /
• 2007

This study describes a software engine that can evaluate human sensibility using a heart rate variable(HRV) of hypochodriac or old people, and suggest biofeedback to enhance their emotion. To develop the software engine, using PPG signal heart rate and HRV are calculated. Using the FFT spectra of HRV, human sensibility is estimated. And a biofeedback software is designed with motion image player, breathing control and other function modules.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2009년도 추계학술대회
• /
• pp.239-242
• /
• 2009

본 연구에서는 독립차원 감성추론이 가능한 추론엔진과 하드웨어를 모바일 상황에서 사용가능 하도록 설계하였다. 설계된 시스템은 크게 감성 신호 센싱 디바이스에서 수신한 생체 신호 데이터를 이용해 독립차원의 감성을 판단하는 모바일 기반 감성 추론 엔진 소프트웨어 시스템과, 감성 추론 엔진을 탑재하고 감성 신호 센싱 디바이스와 최종 감성 응용 서비스 단말과의 인터페이스 기능을 갖는 모바일 감성 단말 하드웨어 시스템으로 구성된다. 모바일 독립차원 감성 추론 엔진은 감성 신호 센싱 디바이스로부터 측정되어 정규화(Normalization)된 감성 유발 채널별 특징 신호 데이터를 입력 받아 사용자 별 감성 추론을 위한 개인화 인자를 추출하고, 최종적으로 사용자의 현재 감성 상태를 추론하는 기능을 수행한다. 모바일 감성 단말 하드웨어 시스템은 독립차원 감성 추론 엔진을 내장해 실행하고, 감성 추론을 위한 감성 신호 센싱 디바이스와의 인터페이스와 추론된 감성 정보 데이터를 감성 증강 UI 기반 서비스 플랫폼으로 전송하기 위한 인터페이스 기능을 수행한다. 본 연구에서 설계된 시스템은 다양한 환경에서 실시간으로 감성을 추론할 수 있는 알고리즘과 하드웨어를 구축하는 기술로 향후 다양한 제품에 접목하여 다양한 감성 서비스가 가능할 것으로 예상된다.

• Journal of Semiconductor Engineering
• /
• 제2권2호
• /
• pp.130-135
• /
• 2021

Recently, deep neural networks (DNNs) are actively used for action control so that an autonomous system, such as the robot, can perform human-like behaviors and operations. Unlike recognition tasks, the real-time operation is essential in action control, and it is too slow to use remote learning on a server communicating through a network. New learning techniques, such as reinforcement learning (RL), are needed to determine and select the correct robot behavior locally. In this paper, we propose an energy-efficient DNN processor with a LUT-based processing engine and near-zero skipper. A CNN-based facial emotion recognition and an RNN-based emotional dialogue generation model is integrated for natural HRI system and tested with the proposed processor. It supports 1b to 16b variable weight bit precision with and 57.6% and 28.5% lower energy consumption than conventional MAC arithmetic units for 1b and 16b weight precision. Also, the near-zero skipper reduces 36% of MAC operation and consumes 28% lower energy consumption for facial emotion recognition tasks. Implemented in 65nm CMOS process, the proposed processor occupies 1784×1784 um2 areas and dissipates 0.28 mW and 34.4 mW at 1fps and 30fps facial emotion recognition tasks.

• 한국컴퓨터정보학회논문지
• /
• 제14권1호
• /
• pp.127-134
• /
• 2009

최근 선진국 뿐 아니라 우리나라에서는 유비쿼터스 컴퓨팅 모델에 대해 많은 연구를 하고 있다. 유비쿼터스 컴퓨팅이란 언제 어디서나 사용하는 컴퓨팅 환경을 의미하는 말로, 다양한 종류의 컴퓨터가 사람, 사물, 환경 속에 내재되어 있고, 이들이 서로 연결되어 필요한 곳이라면 언제 어디서나 컴퓨팅을 할 수 있는 환경을 말한다. 본 연구에서는 사용자의 감성을 인식하기 위해서 얼굴 표정, 온도, 습도, 날씨, 조명등을 사용하여 온톨로지를 구축하였다. 온톨로지를 구축하기 위하여 OWL 언어를 사용하였고, 감성추론 엔진은 Jena(예나)를 사용한다. 본 연구에서 제시한 상황인식 서비스인프라(Context-Awareness Service Infra)의 구조는 기능에 따라 여러 개의 모듈로 나뉜다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2007년도 춘계학술대회 학술발표 논문집 제17권 제1호
• /
• pp.95-98
• /
• 2007

본 논문은 한국생산기술연구원에서 개발된 안드로이드 로봇(EveR Series) 플랫폼에 적용된 감성 시스템에 관한 내용을 제시한다. EveR 플랫폼은 얼굴 표정, 제스처, 음성합성을 수행 할 수 있는 플랫폼으로써 감성 시스템을 적용하여 인간 친화적인 상호작용을 원활하게 한다. 감성 시스템은 로봇에 동기를 부여하는 동기 모듈(Motivation Module), 다양한 감정들을 가지고 있는 감정 모듈(Emotion Module), 감정들, 제스처, 음성에 영향을 미치는 성격 모듈(Personality Module), 입력 받은 자극들과 상황들에 가중치를 결정하는 기억 모듈(Memory Module)로 구성되어 있다. 감성 시스템은 입력으로 음성, 텍스트, 비전, 촉각 및 상황 정보가 들어오고 감정의 선택과 가중치, 행동, 제스처를 출력하여 인간과의 대화에 있어서 자연스러움을 유도한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
• /
• pp.161-162
• /
• 2017

외부환경을 인식하고 상황을 판단해 자율적으로 행동하는 지능형 서비스 로봇은 앞으로 새로운 시장을 열어줄 것으로 기대되며 이와 관련된 연구와 개발이 빠르게 확대되고 있다. 이러한 서비스 로봇에게 가장 중요한 기능은 인간과의 원활한 상호작용이다. 여기서 말하는 상호작용이란 단순히 인간이 원하는 것을 명령하고, 로봇이 이 명령을 수행하는 것에 그치는 것이 아니라, 로봇이 스스로 인간의 감정을 파악하고, 이에 대한 적절한 로봇 자신의 감정 표출이나 서비스, 행동을 제공함으로써 직접적인 소통이 이루어지는 것을 의미한다. 이렇게 로봇이 자연스럽게 인간과 함께 공존하기 위해서 감성 로봇(Emotional Robot) 분야에서 관련된 연구가 활발히 진행되고 있다 본 논문에서는 국내의 감성 로봇의 연구 현황과 발전 방향에 대해 서술한다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.213-215
• /
• 2007

This paper introduces an emotional behavior decision model for intelligent service robots. An emotional model should make different behavior decisions according to the purpose of the robots. We propose an emotional behavior decision model which can change the character of emotional model and make different behavior decisions although the situation and environment remain the same. We defined each emotional element such as reactive dynamics, internal dynamics, emotional dynamics, and behavior dynamics by state dynamic equations. The proposed system model is a linear system. If you want to add one external stimulus or behavior, you need to add just one dimensional vector to the matrix of external stimulus or behavior dynamics. The case of removing is same. The change of reactive dynamics, internal dynamics, emotional dynamics, and behavior dynamics also follows the same procedure. We implemented the proposed emotional behavior decision model and verified its performance.

• 한국컴퓨터그래픽스학회논문지
• /
• 제28권3호
• /
• pp.23-29
• /
• 2022

가상인간은 가상공간(가상 현실, 혼합 현실, 메타버스 등)에서 Unity와 같은 3D Engine 전용 모델링 도구로 구현된다. 실제 사람과 유사한 외모, 목소리, 표정이나 행동 등을 구현하기 위해 다양한 가상인간 모델링 도구가 도입되었고, 어느 정도 수준까지 인간과 의사소통이 가능한 가상인간을 구현할 수 있게 되었다. 하지만, 지금까지의 가상인간 의사소통 방식은 대부분 텍스트 혹은 스피치만을 사용하는 단일모달에 머물러 있다. 최근 AI 기술이 발전함에 따라 가상인간의 의사소통 방식은 과거 기계 중심의 텍스트 기반 시스템에서 인간 중심의 자연스러운 멀티모달 의사소통 방식으로 변화할 수 있게 되었다. 본 논문에서는 다양한 대화 데이터셋으로 미세조정한 인공신경망을 사용해 사용자와 자연스럽게 대화 할 수 있는 가상인간을 구현하고, 해당 가상인간이 생성하는 문장의 감정값을 분석하여 이에 맞는 표정을 발화 중에 나타내는 시스템을 구현하여 사용자와 가상인간 간의 실시간 멀티모달 대화가 가능하게 하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.562-566
• /
• 2009

영상 검색에서 보다 빠르고 정확한 결과를 제공하기 위해 많은 시스템들은 결과내 재검색을 위한 카테고리 내 검색을 제공하고 있다. 이를 위해, 본 논문에서는 감성 카테고리를 사용하여 영상을 분류하는 시스템을 제안한다. 제안된 시스템은 영상에 포함된 컬러와 패턴 정보를 가지고 감성 벡터를 추출하여, 각 영상을 8 개의 감성 카테고리로 분류한다. 이때, 감성 카테고리는 고바야시가 정의한 8 개의 어휘 {romantic, natural, casual, elegant, chic, classic, dandy, modern}를 사용한다. 질의에 대한 결과가 주어지면, 사용자는 선택한 감성 카테고리로 재분류된 영상들을 제공받을 수 있다. 제안된 시스템의 성능을 평가하기 위하여 야후 이미지 검색에서 수집된 풍경 영상 1,000 장으로 사용자 평가를 실시하였으며 이를 통해 제안된 시스템의 성능을 증명하였다.