• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권7호
• /
• pp.3599-3619
• /
• 2019

In human activity recognition system both static and motion information play crucial role for efficient and competitive results. Most of the existing methods are insufficient to extract video features and unable to investigate the level of contribution of both (Static and Motion) components. Our work highlights this problem and proposes Static-Motion fused features descriptor (SMFD), which intelligently leverages both static and motion features in the form of descriptor. First, static features are learned by two-stream 3D convolutional neural network. Second, trajectories are extracted by tracking key points and only those trajectories have been selected which are located in central region of the original video frame in order to to reduce irrelevant background trajectories as well computational complexity. Then, shape and motion descriptors are obtained along with key points by using SIFT flow. Next, cholesky transformation is introduced to fuse static and motion feature vectors to guarantee the equal contribution of all descriptors. Finally, Long Short-Term Memory (LSTM) network is utilized to discover long-term temporal dependencies and final prediction. To confirm the effectiveness of the proposed approach, extensive experiments have been conducted on three well-known datasets i.e. UCF101, HMDB51 and YouTube. Findings shows that the resulting recognition system is on par with state-of-the-art methods.

• 한국컴퓨터그래픽스학회논문지
• /
• 제26권2호
• /
• pp.11-19
• /
• 2020

캐릭터의 자세가 변할 때 마다 캐릭터의 무게 중심(COM) 위치도 변하게 된다. 이 때 무게 중심의 위치 변화는 걷기, 뛰기, 쭈그려 앉기 등 다양한 동작 각각에 대응되는 독자적인 패턴을 가지므로 이를 이용하면 원래 동작의 정보를 알아낼 수 있다. 본 논문에서는 캐릭터의 무게 중심의 위치 변화를 토대로 동작을 예측하는 모션 생성 기법을 제안한다. 이 방법을 이용하면 무게 중심 정보를 통해 원래 동작의 유형에 대한 별도의 라벨 없이도 다양한 동작을 생성할 수 있다. 그러므로 네트워크의 학습 및 실행을 위한 데이터셋을 만들 때 사람의 손을 거칠 필요 없이 전처리를 비롯한 모든 과정을 자동으로 진행할 수 있다. 본 논문에서 제안하는 신경망 모델은 캐릭터의 모션 이력(history) 정보와 무게 중심 정보들을 입력 받아 현재 프레임에서의 포즈 정보를 출력하며, 연속적인 시계열 모션 데이터를 다루기 위해 1차원 Convolution을 수행하는 간단한 형태의 Convolutional Neural Network(CNN)를 사용하여 학습되었다.

• 한국해양공학회지
• /
• 제8권2호
• /
• pp.131-140
• /
• 1994

Dynamics of AUV has heavy nonlinearities and many unknown parameters due to its bluff shape and low cruising speed. Intelligent algorithms, therefore, are required to overcome these nonlinearities and unknown system dynamics. Several identification techniques have been suggested for the application of control of underwater vehicles during last decade. This paper applies the neural network to identification and motion control problem of AUVs. Nonlinear dynamic systems of an AUV are identified using feedforward neural network. Simulation results show that the learned neural network can generate the motion of AUV. This paper, also, suggest an adaptive control scheme up-dates the controller weights with reference model and feedforward neural network using error back propagation.

• 한국전자통신학회논문지
• /
• 제8권1호
• /
• pp.159-164
• /
• 2013

최근 자동화 시스템에 있어 중요한 요소인 비전과 모션 컨트롤러를 통합한 솔루션이 많이 개발되고 있다. 다만 이러한 솔루션은 비전 처리와 모션 컨트롤을 네트워크로 통합하거나 하나의 모듈에 투 칩 솔루션으로 구성된 경우가 많다. 본 연구에서는 최근에 개발된 확장형 프로세싱 플랫폼인 Zynq-7000을 이용한 비전 및 모션 제어기를 통합한 원 칩 솔루션을 구현하였다. 또한 모션 컨트롤은 제어의 실시간이 보장되면서 대량의 데이터를 처리할 수 있는 개방형 표준 이더넷 호환성을 가지고 있는 산업용 이더넷 프로토콜인 EtherCAT을 적용하였다.

• 한국항공우주학회지
• /
• 제34권7호
• /
• pp.63-70
• /
• 2006

본 논문은 영상기반 헤드 트랙커에 인공 표식의 면적을 이용하는 연구를 기술하였다. 헤드 트랙커 체계는 병진운동과 회전운동으로 구성되어 있으며, 이들은 웹 카메라에 의하여 감지되었다. 감지된 영상은 영상처리 기법과 인공 신경망에 의하여 운동에 따른 결과를 만들게 된다. 헤드 트랙커가 사용될 항공기의 조종석의 특성상 병진운동은 헬멧의 특정 색을 추적하게 하였다. 회전 운동은 인공 신경망을 이용하여 추적하였으며, 헬멧에 표시된 두 가지 색의 면적 비율을 입력 값으로 사용하였다. 여기서 역전파 알고리즘과 RBFN을 사용하였다. 두 알고리즘은 머리의 움직임과 같은 비선형 체계를 분류하고 추적하는데 용이한 알고리즘으로 역전파 알고리즘은 피드백 특성을, RBFN은 확률적 특성을 이용한다. 본 논문에서는 회전운동에 어느 알고리즘이 더 적합한 알고리즘인지 비교하였다.

• 재활복지공학회논문지
• /
• 제6권1호
• /
• pp.67-73
• /
• 2012

본 논문에서는 표면 근전도 신호를 사용하여 손목 움직임의 동작을 분류하기 위해 인공 신경 회로망(ANN : Artificial Neural Network)기반의 동작 분류 알고리즘을 제안한다. 손목 움직임에 무리가 없는 20~30대 성인 26명을 대상으로 척측 수근 굴근과 척측 수근 신근에 부착한 2채널의 전극으로부터 표면 근전도 신호를 취득하고, 취득한 근전도로부터 손목의 굴곡, 신전, 내전, 외전, 휴식 다섯 동작을 인식한다. 빠른 처리 속도를 위해 획득한 신호로부터 시간 영역에서의 특징점을 추출하고 ANN을 이용한 동작 분류에 사용된다. 특징점으로 DAMV, DASDV, MAV, RMS를 사용하였으며, ANN 기반의 동작 분류의 인식율은 DAMV는 98.03%, DASDV는 97.97%, MAV는 96.95%, 그리고 RMS는 96.82%의 정확도를 나타낸다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 1994년도 Proceedings of the Korea Automatic Control Conference, 9th (KACC) ; Taejeon, Korea; 17-20 Oct. 1994
• /
• pp.566-571
• /
• 1994

This paper presents in image-based visual servo control scheme for tracking a workpiece with a hand-eye coordinated robotic system using the fuzzy-neural-network. The goal is to control the relative position and orientation between the end-effector and a moving workpiece using a single camera mounted on the end-effector of robot manipulator. We developed a fuzzy-neural-network that consists of a network-model fuzzy system and supervised learning rules. Fuzzy-neural-network is applied to approximate the nonlinear mapping which transforms the features and theire change into the desired camera motion. In addition a control strategy for real-time relative motion control based on this approximation is presented. Computer simulation results are illustrated to show the effectiveness of the fuzzy-neural-network method for visual servoing of robot manipulator.

• 제어로봇시스템학회논문지
• /
• 제13권5호
• /
• pp.414-421
• /
• 2007

This paper presents a engine/brake integrated VDC(Vehicle Dynamic Control) system using neural network algorithm methods for wheel slip and yaw rate control. For stable performance of vehicle, not only is the lateral motion control(wheel slip control) important but the yaw motion control of the vehicle is crucial. The proposed NNPI(Neural Network Proportional-Integral) controller operates at throttle angle to improve the performance of wheel slip. Also, the suggested NNPID controller performs at brake system to improve steering performance. The proposed controller consists of multi-hidden layer neural network structure and PID control strategy for self-learning of gain scheduling. Computer Simulation have been performed to verify the proposed neural network based control scheme of 17 dof vehicle dynamic model which is implemented in MATLAB Simulink.

• Journal of Platform Technology
• /
• 제6권1호
• /
• pp.3-8
• /
• 2018

This paper proposes a technique for recognizing online handwritten cursive data obtained by tracing a motion trajectory while a user is in the 3D space based on a convolution neural network (CNN) algorithm. There is a difficulty in recognizing the virtual character input by the user in the 3D space because it includes both the character stroke and the movement stroke. In this paper, we divide syllable into consonant and vowel units by using labeling technique in addition to the result of localizing letter stroke and movement stroke in the previous study. The coordinate information of the separated consonants and vowels are converted into image data, and Korean handwriting recognition was performed using a convolutional neural network. After learning the neural network using 1,680 syllables written by five hand writers, the accuracy is calculated by using the new hand writers who did not participate in the writing of training data. The accuracy of phoneme-based recognition is 98.9% based on convolutional neural network. The proposed method has the advantage of drastically reducing learning data compared to syllable-based learning.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권2호
• /
• pp.1118-1133
• /
• 2017

Computer vision-based human activity recognition (HAR) has become very famous these days due to its applications in various fields such as smart home healthcare for elderly people. A video-based activity recognition system basically has many goals such as to react based on people's behavior that allows the systems to proactively assist them with their tasks. A novel approach is proposed in this work for depth video based human activity recognition using joint-based motion features of depth body shapes and Deep Belief Network (DBN). From depth video, different body parts of human activities are segmented first by means of a trained random forest. The motion features representing the magnitude and direction of each joint in next frame are extracted. Finally, the features are applied for training a DBN to be used for recognition later. The proposed HAR approach showed superior performance over conventional approaches on private and public datasets, indicating a prominent approach for practical applications in smartly controlled environments.