• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.18 no.1
• /
• pp.113-117
• /
• 2018

Human emotions are revealed by various factors. Words, actions, facial expressions, attire and so on. But people know how to hide their feelings. So we can not easily guess its sensitivity using one factor. We decided to pay attention to behaviors and facial expressions in order to solve these problems. Behavior and facial expression can not be easily concealed without constant effort and training. In this paper, we propose an algorithm to estimate human emotion through combination of two results by gradually learning human behavior and facial expression with little data through the deep learning method. Through this algorithm, we can more comprehensively grasp human emotions.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2004.10a
• /
• pp.309-312
• /
• 2004

본 논문에서는 인간과 로봇의 상호작용을 위해 감정에 기반한 감정 처리 모델을 설계하였다. 감정 재현 기술은 사용자에게 친근감을 주기 위해 로봇 시스템이 제스처, 표정을 통하여 사람이나 동물의 감성과 동작을 표현하는 분야이다. 로봇이 감정을 표현하는 문제에는 많은 심리학적, 해부학적, 공학적 문제가 관련된다. 여러가지 애매모호한 상황임에 불구하고 심리학자인 Ekman과 Friesen에 의해 사람의 여섯 가지 기본 표정이 놀람, 공포, 혐오, 행복감, 두려움, 슬픔은 문화에 영향을 받지 않고 공통적으로 인식되는 보편성을 가지고 있는 것으로 연구됐다. 사람의 행동에 대한 로봇의 반응이 학습되어 감정모델이 결정되고, 그 결과가 행동결정에 영향을 주어 로봇의 행동에 반영되도록 하였다. 본 논문에서는 인간과 로봇과의 상호작용을 통해 정보를 축적하고 인간의 반응에 적응해나 갈 수 있는 감정 처리 모델을 제안한다.

• Journal of Advanced Navigation Technology
• /
• v.25 no.4
• /
• pp.299-304
• /
• 2021

Existing human activity recognition systems detect activities through devices such as wearable sensors and cameras. However, these methods require additional devices and costs, especially for cameras, which cause privacy issue. Using WiFi signals that are already installed can solve this problem. In this paper, we propose a CNN-based human activity recognition system using channel state information of WiFi signals, and present results of designing and implementing accelerated hardware structures. The system defined four possible behaviors during studying in indoor environments, and classified the channel state information of WiFi using convolutional neural network (CNN), showing and average accuracy of 91.86%. In addition, for acceleration, we present the results of an accelerated hardware structure design for fully connected layer with the highest computation volume on CNN classifiers. As a result of performance evaluation on FPGA device, it showed 4.28 times faster calculation time than software-based system.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.641-642
• /
• 2022

단일 데이터로부터의 이동 객체에 대한 행동 인식 연구는 데이터 수집 과정에서 발생하는 노이즈의 영향을 크게 받는다. 본 논문은 영상 데이터와 센서 데이터를 이용하여 다중 융합 네트워크 기반 이동 객체 행동 인식 방법을 제안한다. 영상으로부터 객체가 감지된 영역의 추출과 센서 데이터의 이상치 제거 및 결측치 보간을 통해 전처리된 데이터들을 융합하여 시퀀스를 생성한다. 생성된 시퀀스는 CNN(Convolutional Neural Networks)과 LSTM(Long Short Term Memory)기반 다중 융합 네트워크 모델을 통해 시계열에 따른 행동 특징들을 추출하고, 깊은 FC(Fully Connected) 계층을 통해 특징들을 융합하여 행동을 예측한다. 본 연구에서 제시된 방법은 사람을 포함한 동물, 로봇 등의 다양한 객체에 적용될 수 있다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2007.11a
• /
• pp.3-6
• /
• 2007

사람들이 어떠한 행동을 할 때는 특정 의도를 가지고 있기 때문에 상황에 맞는 적합한 서비스를 제공하기 위해서는 사용자가 현재 하고 있는 행동에 대한 의도를 파악해야한다. 이를 위해 의도와 행동사이의 연관성을 이용하여 사용자의 의도에 따른 행동의 모델을 만든다. 일상생활에서 사람들이 하는 행동은 작은 단위 행동들의 연속(sequence)으로 이루어지므로, 사용자의 단위행동의 순서를 분석한다면 의도에 따른 행동 모델을 만들기가 용이해진다. 하지만, 이런 단위 행동 분석 방법의 문제점은 같은 의도를 가진 행동이 완벽하게 동일한 단위 행동의 순서로 일어나지는 않는다는 점이다. 시스템은 동일한 동작 순서로 일어나지 않는 행동들을 서로 다른 의도를 가진 행동으로 이해하게 된다. 따라서 이 문제점을 해결할 수 있는 사용자 의도 파악 기법이 필요하다. 본 논문에서는 과거의 사용자의 행동 정보를 기반으로 행동들의 유사성을 판별하였고, 그 결과를 이용하여 행동의 의도를 파악하는 방법을 사용한다. 이를 위해, 과거 사용자가 한 행동들을 단위 시간 별로 나누어 단위 행동의 순서로 만들고, 이를 K-평균 군집화 방법(K-means)으로 군집들의 순서로 나타내었다. 이 변경된 사용자 행동 정보를 사용하여 은닉 마코프 모델을 학습 시키고, 이렇게 만들어진 은닉 마코프 모델은 현재 사용자가 행한 행동이 어떤 행동인지를 예측하여 사용자의 의도를 파악한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.854-857
• /
• 2020

최근 사람형(Anthropomorphic)로봇손의 사물조작 지능을 개발하기 위하여 행동복제(Behavior Cloning) Deep Reinforcement Learning(DRL) 연구가 진행중이다. 자유도(Degree of Freedom, DOF)가 높은 사람형 로봇손의 학습 문제점을 개선하기 위하여, 행동 복제를 통한 Human Demonstration Augmented(DA)강화 학습을 통하여 사람처럼 사물을 조작하는 지능을 학습시킬 수 있다. 그러나 사물 조작에 있어, 의미 있는 파지를 위해서는 사물의 특정 부위를 인식하고 파지하는 방법이 필수적이다. 본 연구에서는 딥러닝 YOLO기술을 적용하여 사물의 특정 부위를 인식하고, DA-DRL을 적용하여, 사물의 특정 부분을 파지하는 딥러닝 학습 기술을 제안하고, 2 종 사물(망치 및 칼)의 손잡이 부분을 인식하고 파지하여 검증한다. 본 연구에서 제안하는 학습방법은 사람과 상호작용하거나 도구를 용도에 맞게 사용해야하는 분야에서 유용할 것이다.

• Journal of the Institute of Electronics and Information Engineers
• /
• v.51 no.12
• /
• pp.123-129
• /
• 2014

In accordance with the development of various convergence devices, cameras are being used in many types of the systems such as security system, driver assistance device and so on, and a lot of people are exposed to these system. Therefore the system should be able to recognize the human behavior and support some useful functions with the information that is obtained from detected human behavior. In this paper we use a machine learning approach based on 2D image and propose the human behavior pattern recognition methods. The proposed methods can provide valuable information to support some useful function to user based on the recognized human behavior. First proposed one is "phone call behavior" recognition. If a camera of the black box, which is focused on driver in a car, recognize phone call pose, it can give a warning to driver for safe driving. The second one is "looking ahead" recognition for driving safety where we propose the decision rule and method to decide whether the driver is looking ahead or not. This paper also shows usefulness of proposed recognition methods with some experiment results in real time.

• Journal of Internet Computing and Services
• /
• v.11 no.1
• /
• pp.129-141
• /
• 2010

In this paper, we present a wearable intelligent device based on multi-sensor for monitoring human activity. In order to recognize multiple activities, we developed activity recognition algorithms utilizing an image sensor and a 3-axis accelerometer sensor. We proposed a grid?based optical flow method and used a SVM classifier to analyze data acquired from multi-sensor. We used the direction and the magnitude of motion vectors extracted from the image sensor. We computed the correlation between axes and the magnitude of the FFT with data extracted from the 3-axis accelerometer sensor. In the experimental results, we showed that the accuracy of activity recognition based on the only image sensor, the only 3-axis accelerometer sensor, and the proposed multi-sensor method was 55.57%, 89.97%, and 89.97% respectively.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.535-538
• /
• 2020

지나가는 사람들에게 '게임이란 무엇인가?' 라는 질문을 던져보자. 대다수의 사람들은 '경쟁해서 이기는 것', '목적을 이루고 성취감을 얻는 것'과 비슷한 대답을 내놓는다. 이와 같이 인간의 인식 속에 박혀 있는 '게임'이라는 키워드는 최종적으로 자신이 승리하는 인식으로 존재해 있다. 즉, 나 스스로가 선택한 행동에 의해 무언가의 목적을 이룬다는 것이다. 사람들의 인식 속에 깊게 박히는 것이 '훌륭한 게임'의 기준이 된다면 그 게임은 결론적으로 '몰입'과 '성취'가 얼마나 부각되는지에 따라 결정될 것이다. 이에 본 논문에서는 게임 몰입자들이 어째서 늘 새로운 자극을 찾아 게임을 향유하는지, 대체 어떤 면에서 만족감을 느끼는지, 또 그들이 추구하는 자극은 어디서 오는지 조사함으로써 게임이 사람들에게 각인되는 조건을 제시해본다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.11a
• /
• pp.54-57
• /
• 2013

최근 다양한 방송 및 영상 분야에서 사람의 행동을 인식하여는 연구들이 많이 이루어지고 있다. 영상은 다양한 형태를 가질 수 있기 때문에 제약된 환경에서 유용한 템플릿 방법들보다 특징점에 기반한 연구들이 실제 사용자 환경에서 더욱 관심을 받고 있다. 특징점 기반의 연구들은 영상에서 움직임이 발생하는 지점들을 찾아내어 이를 3차원 패치들로 생성한다. 이를 이용하여 영상의 움직임을 히스토그램에 기반한 descriptor(서술자)로 표현하고 학습기반의 판별기(classifier)로 최종적으로 영상 내에 존재하는 행동들을 인식하였다. 그러나 단일 판별기를 이용한 다양한 영상 인식을 수용하기에는 힘들다. 최근에 이를 개선하기 위하여 다중 판별기를 활용한 연구들이 영상 판별 및 물체 검출 영역에서 사용되고 있다. 따라서 본 논문에서는 행동 인식을 위하여 support vector machine과 spare representation을 이용한 decision-level fusion 방법을 제안하고자 한다. 제안된 논문의 방법은 영상에서 특징점 기반의 descriptor를 추출하고 이를 각각의 판별기를 통하여 판별 결과들을 획득한다. 이 후 학습단계에서 획득된 가중치를 활용하여 각 결과들을 융합하여 최종 결과를 도출하였다. 본 논문에 실험에서 제안된 방법은 기존의 융합 방법보다 높은 행동 인식 성능을 보여 주었다.