• Journal of KIISE:Software and Applications
• /
• v.37 no.10
• /
• pp.779-787
• /
• 2010

Since robots have been used widely recently, research about human-robot communication is in process actively. Typically, natural language processing or gesture generation have been applied to human-robot interaction. However, existing methods for communication among robot and human have their limits in performing only static communication, thus the method for more natural and realistic interaction is required. In this paper, an emotional gesture based dialogue management system is proposed for sophisticated human-robot communication. The proposed system performs communication by using the Bayesian networks and pattern matching, and generates emotional gestures of robots in real-time while the user communicates with the robot. Through emotional gestures robot can communicate the user more efficiently also realistically. We used behavior networks as the gesture generation method to deal with dialogue situations which change dynamically. Finally, we designed a usability test to confirm the usefulness of the proposed system by comparing with the existing dialogue system.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2008.04a
• /
• pp.54-55
• /
• 2008

본 논문에서는 인간형 로봇의 태스크 실행 중 자율 감정 생성을 위하여 Three-layered hybrid architecture에 기반한 감정 반응 시스템을 제안한다. Three-layered hybrid architecture는 Deliberative layer, Reactive layer Hardware abstraction layer의 3단계의 계층으로 되어 있으며, 모바일 로봇의 자율 동작을 위해서 개발되었다. 본 연구에서는 저자가 개발중인 안드로이드 EveR-2의 감정 시스템에 적용하여 로봇의 태스크 동작 중에 외부의 자극들로부터 자신의 감정을 생성하고, 생성된 감정과 태스크를 조합하여 자신의 행동을 변화시키며 인간과 상호작용하는 로봇 감정 시스템을 구현하였다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2006.11a
• /
• pp.131-134
• /
• 2006

본 논문에서는 가정용 로봇 및 서비스 로봇과 같은 이동로봇에서 사용자의 감정을 인식하는 방법중 한가지인 얼굴영상을 이용한 감정인식 방법을 제안한다. 얼굴영상인식을 위하여 얼굴의 여러 가지 특징(눈썹, 눈, 코, 입)의 움직임 및 위치를 이용하며, 이동로봇에서 움직이는 사용자를 인식하기 위한 움직임 추적 알고리즘을 구현하고, 획득된 사용자의 영상에서 얼굴영역 검출 알고리즘을 사용하여 얼굴 영역을 제외한 손과 배경 영상의 피부색은 제거한다. 검출된 얼굴영역의 거리에 따른 영상 확대 및 축소, 얼굴 각도에 따른 영상 회전변환 등의 정규화 작업을 거친 후 이동 로봇에서는 항상 고정된 크기의 얼굴 영상을 획득 할 수 있도록 한다. 또한 기존의 특징점 추출이나 히스토그램을 이용한 감정인식 방법을 혼합하여 인간의 감성 인식 시스템을 모방한 로봇에서의 감정인식을 수행한다. 본 논문에서는 이러한 다중 특징점 추출 방식을 통하여 이동로봇에서의 얼굴 영상을 이용한 사용자의 감정인식 시스템을 제안한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2017.01a
• /
• pp.161-162
• /
• 2017

외부환경을 인식하고 상황을 판단해 자율적으로 행동하는 지능형 서비스 로봇은 앞으로 새로운 시장을 열어줄 것으로 기대되며 이와 관련된 연구와 개발이 빠르게 확대되고 있다. 이러한 서비스 로봇에게 가장 중요한 기능은 인간과의 원활한 상호작용이다. 여기서 말하는 상호작용이란 단순히 인간이 원하는 것을 명령하고, 로봇이 이 명령을 수행하는 것에 그치는 것이 아니라, 로봇이 스스로 인간의 감정을 파악하고, 이에 대한 적절한 로봇 자신의 감정 표출이나 서비스, 행동을 제공함으로써 직접적인 소통이 이루어지는 것을 의미한다. 이렇게 로봇이 자연스럽게 인간과 함께 공존하기 위해서 감성 로봇(Emotional Robot) 분야에서 관련된 연구가 활발히 진행되고 있다 본 논문에서는 국내의 감성 로봇의 연구 현황과 발전 방향에 대해 서술한다.

• Proceedings of the KIEE Conference
• /
• 2009.07a
• /
• pp.1819_1820
• /
• 2009

본 논문에서는 로봇의 감정과 의사표현을 위해서 3D모델 기반의 시뮬레이션이 가능한 에디팅 툴킷을 이용하였고, 사람과 로봇의 감정 상호 작용과 로봇이 제공하는 서비스의 구현을 위해서 다양한 멀티모달 표현을 생성하였다. 로봇은 얼굴표정, 그리고 목과 팔의 움직임으로 멀티모달 표현을 하였으며, 멀티모달 감정/의사 표현을 구성하는 각 모달리티별 표현들은 에디팅 툴킷을 통하여 동기화되었다. 이렇게 생성된 로봇의 멀티모달 감정/의사 표현은 DB형태로 저장되고, 이를 재조합하고 수정하여 새로운 표현을 생성할 수 있도록 하였다.

• TTA Journal
• /
• s.101
• /
• pp.16-21
• /
• 2005

로봇 산업은 향후 IT, BT에 버금가는 시장을 형성할 잠재력이 있다. 또한 로봇산업은 지능화와 시스템화 기술로서 타분야에 미치는 기술적 파급효과가 크다. 기계, 전자 등 부품·소재기술부터, S/W 기술, 문화콘텐츠까지를 망라하는 통합기술의 결정체라 할만 하다. 정보통신부는‘지능형 서비스 로봇’을“인간과 상호작용을 통해 인간의 명령 및 감정을 이해하고 반응하며, 정보통신기술을 바탕으로 인간에게 다양한 서비스를 제공하는 로봇”이라고 정의하고 있다. 이번 호는 우리 기업들이 도전하고 개척해야 하는 거대 시장인‘지능형 서비스 로봇’산업 선점을 위한 핵심 요소인 표준화 및 시장동향을 국내 표준화를 선도하는‘TTA 지능형 서비스 로봇 프로젝트그룹’의장으로부터 들어본다

• Review of KIISC
• /
• v.17 no.5
• /
• pp.25-31
• /
• 2007

IT기술과 지능을 로봇에 융합시킴으로써, 로봇이 스스로 사용자를 인식하여 사용자가 원하는 일을 하고 원하는 정보를 검색해 주는 인간 중심적 서비스를 제공하는 것이 지능형 로봇의 궁극적인 목표이다. 사용자가 원하는 서비스를 제공하기 위해서는 다양한 의사소통 채널을 통해 인간과 로봇, 두 개체간의 상호작용 및 의사소통 연결 고리를 형성하는 인간-로봇 상호작용(HRI: Human-Robot Interaction)기술 개발이 반드시 필요하다. HRI 기술에는 얼굴 인식, 음성 인식, 제스처 인식 및 감정 인식 등 로봇이 인간의 의사표시를 인식하기 위한 기술들이 있다. 본고에서는 지능형 로봇과 로봇의 시각 지능화의 가장 핵심적인 기능인 얼굴 인식의 융합 기술 동향에 대해서 응용 서비스 및 표준화 이슈를 중심으로 살펴보고자 한다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.17 no.6
• /
• pp.1137-1144
• /
• 2022

In this study, an artificial intelligence(AI) was developed to help with facial expression practice in order to express emotions. The developed AI used multimodal inputs consisting of sentences and facial images for deep neural networks (DNNs). The DNNs calculated similarities between the emotions predicted by the sentences and the emotions predicted by facial images. The user practiced facial expressions based on the situation given by sentences, and the AI provided the user with numerical feedback based on the similarity between the emotion predicted by sentence and the emotion predicted by facial expression. ResNet34 structure was trained on FER2013 public data to predict emotions from facial images. To predict emotions in sentences, KoBERT model was trained in transfer learning manner using the conversational speech dataset for emotion classification opened to the public by AIHub. The DNN that predicts emotions from the facial images demonstrated 65% accuracy, which is comparable to human emotional classification ability. The DNN that predicts emotions from the sentences achieved 90% accuracy. The performance of the developed AI was evaluated through experiments with changing facial expressions in which an ordinary person was participated.

• Design Convergence Study
• /
• v.16 no.6
• /
• pp.137-152
• /
• 2017

This research aims to develop the companion robot experience design for elderly in korea based on needs-function deploy matrix of robot and emotion expression research of robot in multimodal interaction. First, Elder users' main needs were categorized into 4 groups based on ethnographic research. Second, the functional elements and physical actuators of robot were mapped to user needs in function- needs deploy matrix. The final UX design prototype was implemented with a robot type that has a verbal non-touch multi modal interface with emotional facial expression based on Ekman's Facial Action Coding System (FACS). The proposed robot prototype was validated through a user test session to analyze the influence of the robot interaction on the cognition and emotion of users by Story Recall Test and face emotion analysis software; Emotion API when the robot changes facial expression corresponds to the emotion of the delivered information by the robot and when the robot initiated interaction cycle voluntarily. The group with emotional robot showed a relatively high recall rate in the delayed recall test and In the facial expression analysis, the facial expression and the interaction initiation of the robot affected on emotion and preference of the elderly participants.

• The Journal of Korean Association of Computer Education
• /
• v.22 no.4
• /
• pp.35-45
• /
• 2019

How future generations perceive coexistence with intelligent robots is an important element of how SW and artificial intelligence education should be designed and conducted. This study conducted a survey of 214 first graders in middle school and looked at differences in understanding and perception of coexistence through empathy and expected problem situations depending on the type of intelligent robot. As a result of the analysis, Firstly, if the form was not explicit, it was recognized as a top-down relationship, and Second, in the case of human form, it was ready to recognize intelligent robots and communicate with them. Third, Many people were feeling Emotion in the Robot shape AI. Fourth, there was a vague sense of uneasiness about simple mechanical robots. The study is meaningful as a case study to confirm awareness of intelligent robots and needs to consider and establish awareness of whether they can coexist and live together with robots by age group as well as middle school students.