• 제목/요약/키워드: Recurrent neural networks

검색결과 285건 처리시간 0.027초

DeepAct: A Deep Neural Network Model for Activity Detection in Untrimmed Videos

  • Song, Yeongtaek;Kim, Incheol
    • Journal of Information Processing Systems
    • /
    • 제14권1호
    • /
    • pp.150-161
    • /
    • 2018
  • We propose a novel deep neural network model for detecting human activities in untrimmed videos. The process of human activity detection in a video involves two steps: a step to extract features that are effective in recognizing human activities in a long untrimmed video, followed by a step to detect human activities from those extracted features. To extract the rich features from video segments that could express unique patterns for each activity, we employ two different convolutional neural network models, C3D and I-ResNet. For detecting human activities from the sequence of extracted feature vectors, we use BLSTM, a bi-directional recurrent neural network model. By conducting experiments with ActivityNet 200, a large-scale benchmark dataset, we show the high performance of the proposed DeepAct model.

다변수 Bidirectional RNN을 이용한 표층수온 결측 데이터 보간 (Imputation of Missing SST Observation Data Using Multivariate Bidirectional RNN)

  • 신용탁;김동훈;김현재;임채욱;우승범
    • 한국해안·해양공학회논문집
    • /
    • 제34권4호
    • /
    • pp.109-118
    • /
    • 2022
  • 정점 표층 수온 관측 데이터 중 결측 구간의 데이터를 양방향 순환신경망(Bidirectional Recurrent Neural Network, BiRNN) 기법을 이용하여 보간하였다. 인공지능 기법 중 시계열 데이터에 일반적으로 활용되는 Recurrent Neural Networks(RNNs)은 결측 추정 위치까지의 시간 흐름 방향 또는 역방향으로만 추정하기 때문에 장기 결측 구간에는 추정 성능이 떨어진다. 반면, 본 연구에서는 결측 구간 전후의 양방향으로 추정을 하여 장기 결측 데이터에 대해서도 추정 성능을 높일 수 있다. 또한 관측점 주위의 가용한 모든 데이터(수온, 기온, 바람장, 기압, 습도)를 사용함으로써, 이들 상관관계로부터 보간 데이터를 함께 추정하도록 하여 보간 성능을 더욱 높이고자 하였다. 성능 검증을 위하여 통계 기반 모델인 Multivariate Imputation by Chained Equations(MICE)와 기계학습 기반의 Random Forest 모델, 그리고 Long Short-Term Memory(LSTM)을 이용한 RNN 모델과 비교하였다. 7일간의 장기 결측에 대한 보간에 대해서 BiRNN/통계 모델들의 평균 정확도가 각각 70.8%/61.2%이며 평균 오차가 각각 0.28도/0.44도로 BiRNN 모델이 다른 모델보다 좋은 성능을 보인다. 결측 패턴을 나타내는 temporal decay factor를 적용함으로써 BiRNN 기법이 결측 구간이 길어질수록 보간 성능이 기존 방법보다 우수한 것으로 판단된다.

Associative Motion Generation for Humanoid Robot Reflecting Human Body Movement

  • Wakabayashi, Akinori;Motomura, Satona;Kato, Shohei
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제12권2호
    • /
    • pp.121-130
    • /
    • 2012
  • This paper proposes an intuitive real-time robot control system using human body movement. Recently, it has been developed that motion generation for humanoid robots with reflecting human body movement, which is measured by a motion capture. However, in the existing studies about robot control system by human body movement, the detailed structure information of a robot, for example, degrees of freedom, the range of motion and forms, must be examined in order to calculate inverse kinematics. In this study, we have proposed Associative Motion Generation as humanoid robot motion generation method which does not need the detailed structure information. The associative motion generation system is composed of two neural networks: nonlinear principal component analysis and Jordan recurrent neural network, and the associative motion is generated with the following three steps. First, the system learns the correspondence relationship between an indication and a motion using training data. Second, associative values are extracted for associating a new motion from an unfamiliar indication using nonlinear principal component analysis. Last, the robot generates a new motion through calculation by Jordan recurrent neural network using the associative values. In this paper, we propose a real-time humanoid robot control system based on Associative Motion Generation, that enables user to control motion intuitively by human body movement. Through the task processing and subjective evaluation experiments, we confirmed the effective usability and affective evaluations of the proposed system.

Robust DTC Control of Doubly-Fed Induction Machines Based on Input-Output Feedback Linearization Using Recurrent Neural Networks

  • Payam, Amir Farrokh;Hashemnia, Mohammad Naser;Fai, Jawad
    • Journal of Power Electronics
    • /
    • 제11권5호
    • /
    • pp.719-725
    • /
    • 2011
  • This paper describes a novel Direct Torque Control (DTC) method for adjustable speed Doubly-Fed Induction Machine (DFIM) drives which is supplied by a two-level Space Vector Modulation (SVM) voltage source inverter (DTC-SVM) in the rotor circuit. The inverter reference voltage vector is obtained by using input-output feedback linearization control and a DFIM model in the stator a-b axes reference frame with stator currents and rotor fluxes as state variables. Moreover, to make this nonlinear controller stable and robust to most varying electrical parameter uncertainties, a two layer recurrent Artificial Neural Network (ANN) is used to estimate a certain function which shows the machine lumped uncertainty. The overall system stability is proved by the Lyapunov theorem. It is shown that the torque and flux tracking errors as well as the updated weights of the ANN are uniformly ultimately bounded. Finally, effectiveness of the proposed control approach is shown by computer simulation results.

산업제어시스템에서 앙상블 순환신경망 모델을 이용한 비정상 탐지 (Abnormal Detection for Industrial Control Systems Using Ensemble Recurrent Neural Networks Model)

  • 김효석;김용민
    • 정보보호학회논문지
    • /
    • 제31권3호
    • /
    • pp.401-410
    • /
    • 2021
  • 최근 산업제어시스템은 인터넷에 연결하지 않은 폐쇄적 상태로 운영하는 과거와 달리 원격지에서 데이터를 확인하고 시스템 유지보수를 위해서 개방적 통합적인 스마트한 환경으로 변화하고 있다. 반면에 상호연결성이 증가하는 만큼 산업제어시스템을 대상으로 사이버 공격이 증가함에 따라 산업 공정의 비정상 탐지를 위한 다양한 연구가 진행되고 있다. 산업 공정의 결정적 규칙적인 점을 고려하여 정상데이터만을 학습시킨 탐지 모델의 결과 값과 실제 값을 비교해서 비정상 여부를 판별하는 것이 적절하다고 할 수 있다. 본 논문에서는 HAI 데이터셋 20.07과 21.03을 이용하며, 순환신경망에 게이트 구조가 적용된 GRU 알고리즘으로 서로 다른 타임 스텝을 적용한 모델을 결합하여 앙상블 모델을 생성한다. 그리고 다양한 성능평가 분석을 통해 단일 모델과 앙상블 순환신경망 모델의 탐지 성능을 비교하였으며 제안하는 모델이 산업제어시스템에서 비정상 탐지하는데 더욱 적합한 것으로 확인하였다.

최적 난방부하 예측 제어기 설계 (A Controller Design for the Prediction of Optimal Heating Load)

  • 정기철;양해원
    • 제어로봇시스템학회논문지
    • /
    • 제6권6호
    • /
    • pp.441-446
    • /
    • 2000
  • This paper presents an approach for the prediction of optimal heating load using a diagonal recurrent neural networks(DRNN) and data base system of outdoor temperature. In the DRNN, a dynamic backpropagation(DBP) with delta-bar-delta teaming method is used to train an optimal heating load identifier. And the data base system is utilized for outdoor temperature prediction. Compared to other kinds of methods, the proposed method gives better prediction performance of heating load. Also a hardware for the controller is developed using a microprocessor. The experimental results show that prediction enhancement for heating load can be achieved with the proposed method regardless of the its inherent nonlinearity and large time constant.

  • PDF

딥 러닝 및 칼만 필터를 이용한 객체 추적 방법 (Object Tracking Method using Deep Learning and Kalman Filter)

  • 김기철;손소희;김민섭;전진우;이인재;차지훈;최해철
    • 방송공학회논문지
    • /
    • 제24권3호
    • /
    • pp.495-505
    • /
    • 2019
  • 딥 러닝의 대표 알고리즘에는 영상 인식에 주로 사용되는 CNN(Convolutional Neural Networks), 음성인식 및 자연어 처리에 주로 사용되는 RNN(Recurrent Neural Networks) 등이 있다. 이 중 CNN은 데이터로부터 자동으로 특징을 학습하는 알고리즘으로 특징 맵을 생성하는 필터까지 학습할 수 있어 영상 인식 분야에서 우수한 성능을 보이면서 주류를 이루게 되었다. 이후, 객체 탐지 분야에서는 CNN의 성능을 향상하고자 R-CNN 등 다양한 알고리즘이 등장하였으며, 최근에는 검출 속도 향상을 위해 YOLO(You Only Look Once), SSD(Single Shot Multi-box Detector) 등의 알고리즘이 제안되고 있다. 하지만 이러한 딥러닝 기반 탐지 네트워크는 정지 영상에서 탐지의 성공 여부를 결정하기 때문에 동영상에서의 안정적인 객체 추적 및 탐지를 위해서는 별도의 추적 기능이 필요하다. 따라서 본 논문에서는 동영상에서의 객체 추적 및 탐지 성능 향상을 위해 딥 러닝 기반 탐지 네트워크에 칼만 필터를 결합한 방법을 제안한다. 탐지 네트워크는 실시간 처리가 가능한 YOLO v2를 이용하였으며, 실험 결과 제안한 방법은 기존 YOLO v2 네트워크에 비교하여 7.7%의 IoU 성능 향상 결과를 보였고 FHD 영상에서 20 fps의 처리 속도를 보였다.

비선형 비행 시스템을 위한 H 접근법 기반 적응 신경망 동적 표면 제어 (Adaptive Neural Dynamic Surface Control via H Approach for Nonlinear Flight Systems)

  • 유성진;최윤호
    • 제어로봇시스템학회논문지
    • /
    • 제14권3호
    • /
    • pp.254-262
    • /
    • 2008
  • In this paper, we propose an adaptive neural dynamic surface control (DSC) approach with $H_{\infty}$ tracking performance for full dynamics of nonlinear flight systems. It is assumed that the model uncertainties such as structured and unstrutured uncertainties, and external disturbances influence the nonlinear aircraft model. In our control system, self recurrent wavelet neural networks (SRWNNs) are used to compensate the model uncertainties of nonlinear flight systems, and an adaptive DSC technique is extended for the disturbance attenuation of nonlinear flight systems. All weights of SRWNNs are trained on-line by the smooth projection algorithm. From Lyapunov stability theorem, it is shown that $H_{\infty}$ performance nom external disturbances can be obtained. Finally, we present the simulation results for a nonlinear six-degree-of-freedom F-16 aircraft model to confirm the effectiveness of the proposed control system.

문서 분류의 개선을 위한 단어-문자 혼합 신경망 모델 (Hybrid Word-Character Neural Network Model for the Improvement of Document Classification)

  • 홍대영;심규석
    • 정보과학회 논문지
    • /
    • 제44권12호
    • /
    • pp.1290-1295
    • /
    • 2017
  • 문서의 텍스트를 바탕으로 각 문서가 속한 분류를 찾아내는 문서 분류는 자연어 처리의 기본 분야 중 하나로 주제 분류, 감정 분류 등 다양한 분야에 이용될 수 있다. 문서를 분류하기 위한 신경망 모델은 크게 단어를 기본 단위로 다루는 단어 수준 모델과 문자를 기본 단위로 다루는 문자 수준 모델로 나누어진다. 본 논문에서는 문서를 분류하는 신경망 모델의 성능을 향상시키기 위하여 문자 수준과 단어 수준의 모델을 혼합한 신경망 모델을 제안한다. 제안하는 모델은 각 단어에 대하여 문자 수준의 신경망 모델로 인코딩한 정보와 단어들의 정보를 저장하고 있는 단어 임베딩 행렬의 정보를 결합하여 각 단어에 대한 특징 벡터를 만든다. 추출된 단어들에 대한 특징 벡터를 바탕으로, 주의(attention) 메커니즘을 이용한 순환 신경망을 단어 수준과 문장 수준에 각각 적용하는 계층적 신경망 구조를 통해 문서를 분류한다. 제안한 모델에 대하여 실생활 데이터를 바탕으로 한 실험으로 효용성을 검증한다.

I-QANet: 그래프 컨볼루션 네트워크를 활용한 향상된 기계독해 (I-QANet: Improved Machine Reading Comprehension using Graph Convolutional Networks)

  • 김정훈;김준영;박준;박성욱;정세훈;심춘보
    • 한국멀티미디어학회논문지
    • /
    • 제25권11호
    • /
    • pp.1643-1652
    • /
    • 2022
  • Most of the existing machine reading research has used Recurrent Neural Network (RNN) and Convolutional Neural Network (CNN) algorithms as networks. Among them, RNN was slow in training, and Question Answering Network (QANet) was announced to improve training speed. QANet is a model composed of CNN and self-attention. CNN extracts semantic and syntactic information well from the local corpus, but there is a limit to extracting the corresponding information from the global corpus. Graph Convolutional Networks (GCN) extracts semantic and syntactic information relatively well from the global corpus. In this paper, to take advantage of this strength of GCN, we propose I-QANet, which changed the CNN of QANet to GCN. The proposed model performed 1.2 times faster than the baseline in the Stanford Question Answering Dataset (SQuAD) dataset and showed 0.2% higher performance in Exact Match (EM) and 0.7% higher in F1. Furthermore, in the Korean Question Answering Dataset (KorQuAD) dataset consisting only of Korean, the learning time was 1.1 times faster than the baseline, and the EM and F1 performance were also 0.9% and 0.7% higher, respectively.