• ETRI Journal
• /
• 제40권4호
• /
• pp.499-510
• /
• 2018

A vector space based augmented structural kinematic (VSASK) feature descriptor is proposed for human activity recognition. An action descriptor is built by integrating the structural and kinematic properties of the actor using vector space based augmented matrix representation. Using the local or global information separately may not provide sufficient action characteristics. The proposed action descriptor combines both the local (pose) and global (position and velocity) features using augmented matrix schema and thereby increases the robustness of the descriptor. A multiclass support vector machine (SVM) is used to learn each action descriptor for the corresponding activity classification and understanding. The performance of the proposed descriptor is experimentally analyzed using the Weizmann and KTH datasets. The average recognition rate for the Weizmann and KTH datasets is 100% and 99.89%, respectively. The computational time for the proposed descriptor learning is 0.003 seconds, which is an improvement of approximately 1.4% over the existing methods.

• Journal of Computing Science and Engineering
• /
• 제9권1호
• /
• pp.29-38
• /
• 2015

Human action recognition has become an important research topic in computer vision area recently due to many applications in the real world, such as video surveillance, video retrieval, video analysis, and human-computer interaction. The goal of this paper is to evaluate descriptors which have recently been used in action recognition, namely Histogram of Oriented Gradient (HOG) and Histogram of Optical Flow (HOF). This paper also proposes new descriptors to represent the change of points within each part of a human body, caused by actions named as Histogram of Changing Points (HCP) and so-called Average Speed (AS) which measures the average speed of actions. The descriptors are combined to build a strong descriptor to represent human actions by modeling the information about appearance, local motion, and changes on each part of the body, as well as motion speed. The effectiveness of these new descriptors is evaluated in the experiments on KTH and Hollywood datasets.

• International Journal of Computer Science & Network Security
• /
• 제22권6호
• /
• pp.97-108
• /
• 2022

The video-assisted human action recognition [1] field is one of the most active ones in computer vision research. Since the depth data [2] obtained by Kinect cameras has more benefits than traditional RGB data, research on human action detection has recently increased because of the Kinect camera. We conducted a systematic study of strategies for recognizing human activity based on deep data in this article. All methods are grouped into deep map tactics and skeleton tactics. A comparison of some of the more traditional strategies is also covered. We then examined the specifics of different depth behavior databases and provided a straightforward distinction between them. We address the advantages and disadvantages of depth and skeleton-based techniques in this discussion.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2002년도 하계종합학술대회 논문집(3)
• /
• pp.127-130
• /
• 2002

Human's brain action can divide by recognition and intelligence. recognition is sensing voice, image and smell and Intelligence is logical judgment, inference, decision. To this concept, Define function of cerebral cortex, and apply the result. Current expert system is lack, that reasoning by cerebral cortex and thalamus, hoppocampal and so on. In this paper, With human's brain action, wish to embody human's action artificially Embody brain mechanism using Modular Neural Network, Applied this result to snake robot.

• 한국인터넷방송통신학회논문지
• /
• 제23권6호
• /
• pp.89-95
• /
• 2023

인간 행동 인식 (Human action recognition, HAR) 기술은 스포츠 분석, 인간과 로봇 간의 상호작용, 대형 사이니지 콘텐츠 등의 애플리케이션에 활용되는 핵심 기술 중 하나이다. 본 논문에서는 몰입형 대형 사이니지 콘텐츠를 위한 STAGCN (Spatial temporal attention graph convolutional network) 기반 인간 행동 인식 시스템을 제안한다. STAGCN은 attention mechanism을 통해 스켈레톤 시퀀스의 시공간적 특징에 서로 다른 가중치를 부과하여, 동작 인식에 중요한 관절 및 시점을 고려할 수 있다. NTU RGB+D 데이터셋을 사용한 실험 결과, 제안된 시스템은 기존 딥러닝 모델들에 비해 높은 분류 정확도를 달성한 것을 확인했다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권5호
• /
• pp.2327-2347
• /
• 2018

Human actions can be recognized from depth sequences. In the proposed algorithm, we initially construct depth, motion maps (DMM) by projecting each depth frame onto three orthogonal Cartesian planes and add the motion energy for each view. The body part of the action (BPoA) is calculated by using bounding box with an optimal window size based on maximum spatial and temporal changes for each DMM. Furthermore, feature vector is constructed by using BPoA for each human action view. In this paper, we employed an ensemble based learning approach called Rotation Forest to recognize different actions Experimental results show that proposed method has significantly outperforms the state-of-the-art methods on Microsoft Research (MSR) Action 3D and MSR DailyActivity3D dataset.

• 한국컴퓨터정보학회논문지
• /
• 제25권1호
• /
• pp.55-61
• /
• 2020

딥 러닝 기술의 발전과 컴퓨팅 파워 등의 개선으로 인해 비디오 기반 연구는 최근 많은 관심을 얻고 있다. 비디오 데이터가 이미지 데이터와 비교하여 가장 큰 차이는 비디오 데이터에는 많은 양의 시간적, 공간적 정보가 포함되어 있다는 점이다. 이처럼 비디오에 포함된 많은 양의 데이터로 인해 컴퓨터 비전 연구에 있어서 행동 인식은 중요한 연구 과제 중 하나이지만, 비디오와 같이 움직임이 있는 환경에서 인간의 행동 인식은 매우 복잡하고 도전적인 과제이다. 인간에 대한 여러 연구를 바탕으로 인공지능에서는 인간과 유사한 주의(attention)메커니즘이 효율적인 인식 모델이라는 것을 알게 되었다. 이 효율적인 모델은 이미지 정보와 복잡한 연속 비디오 정보를 처리하는 데 이상적이다. 본 논문에서는 이러한 연구배경을 기반으로, 비디오에서 인간의 행동을 효율적으로 인식하기 위해 먼저 인간의 행동에 주목한 후 비디오 행동 인식에 주의메커니즘을 도입하고자 한다. 논문의 주요내용은 두 가지 주의 메카니즘을 기반으로 컨볼루션 신경망을 이용한 새로운 3D 잔류 주의 네트워크를 제안함으로써 비디오에서 인간의 행동을 식별하고자 한다. 제안 모델의 평가 결과 최대 90.7%정도의 정확도를 보였다.

• 방송공학회논문지
• /
• 제19권2호
• /
• pp.166-173
• /
• 2014

최근 다양한 방송 및 영상 분야에서 사람의 행동을 인식하여는 연구들이 많이 이루어지고 있다. 영상은 다양한 형태를 가질 수 있기 때문에 제약된 환경에서 유용한 템플릿 방법들보다 특징점에 기반한 연구들이 실제 사용자 환경에서 더욱 관심을 받고 있다. 특징점 기반의 연구들은 영상에서 움직임이 발생하는 지점들을 찾아내어 이를 3차원 패치들로 생성한다. 이를 이용하여 영상의 움직임을 히스토그램에 기반한 descriptor(서술자)로 표현하고 학습기반의 판별기로 최종적으로 영상내에 존재하는 행동들을 인식하였다. 그러나 단일 판별기로는 다양한 행동을 인식하기에 어려움이 있다. 따라서 이러한 문제를 개선하기 위하여 최근에 다중 판별기를 활용한 연구들이 영상 판별 및 물체 검출 영역에서 사용되고 있다. 따라서 본 논문에서는 행동 인식을 위하여 support vector machine과 sparse representation을 이용한 decision-level fusion 방법을 제안하고자 한다. 제안된 논문의 방법은 영상에서 특징점 기반의 descriptor를 추출하고 이를 각각의 판별기를 통하여 판별 결과들을 획득한다. 이 후 학습단계에서 획득된 가중치를 활용하여 각 결과들을 융합하여 최종 결과를 도출하였다. 본 논문에 실험에서 제안된 방법은 기존의 융합 방법보다 높은 행동 인식 성능을 보여 주었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제3권8호
• /
• pp.299-308
• /
• 2014

신체 동작, 얼굴 표정과 같이 아주 복잡한 생체 패턴을 인식하고 분류하는 인간의 능력을 모방한 정보처리 컴퓨팅 관련 연구가 최근 다수 등장하고 있다. 특히 컴퓨터비전 분야에서는 인간의 뛰어난 인지 능력 중 상황정보 없이 시각시퀀스에서 동작을 분류하는 기능을 통해 시공간적 패턴 코딩과 빠른 인식 방법을 이해하고자 한다. 본 연구는 비디오 시퀀스상의 동작인식에 생물학적 시각인지과정의 영향을 받은 생체 기반 컴퓨터비전 모델을 제시하였다. 제안 모델은 이미지 시퀀스에서 동작을 검출하고 시각 패턴을 판별하는 데 생체 시각처리과정의 신경망 구조 단계를 반영하였다. 실험을 통해 생체 기반 동작인식 모델이 인간 시각인지 처리의 여러 가지 속성을 고려했을 뿐 아니라 기존 동작인식시스템에 비해 시간 정합성이 뛰어나며 시간 변화에 강건한 분류 능력을 보임을 알 수 있다. 제안 모델은 지능형 로봇 에이전트와 같은 생체 기반 시각정보처리 시스템 구축에 기여할 수 있다.

• 한국통신학회논문지
• /
• 제40권11호
• /
• pp.2284-2290
• /
• 2015

다양한 외형 변화를 가지는 물체의 범주 인식성능을 향상 시키는데 있어서 사람의 행동은 매우 효과적인 컨텍스트 정보이다. 본 연구에서는 Bayesian 접근법을 기반으로 하는 간단한 확률 그래프 모델을 통해 사람의 행동을 물체 범주 인식을 위한 컨텍스트 정보로 활용하였다. 다양한 외형의 컵, 전화기, 가위 그리고 스프레이 물체에 대해 실험을 수행한 결과 물체의 용도에 대한 사람의 행동을 인식함으로써 물체 인식 성능을 8%~28%개선할 수 있었다.