• 융합신호처리학회논문지
• /
• 제6권1호
• /
• pp.45-52
• /
• 2005

동적 신경망은 temporal 신호처리가 요구되는 여러 분야에 사용되어 왔다. 본 논문에서는 다층 리커런트 신경망(RNN)의 동특성을 더 향상시키기 위해 지역 궤환 신경망(LRNN)과 광역 궤환 신경망(GRNN)으로 구성된 합성 신경망을 사용하여 시스템 식별을 다루고 있다. 합성 신경망의 구조는 LRNN으로 IIR-MLP를, GRNN으로 Elman RNN을 결합하고 있다. 합성신경망은 선형과 비선형 시스템 식별을 통해 평가되었으며 상대적인 성능평가를 위해 Elman RNN과 IIR-MLP 신경망과 비교하고 있다. 시뮬레이션 결과에 의하면 합성 신경망은 학습속도와 정확도에서 더 우수하게 동작하였으며, 이러한 사실은 비선형 시스템 식별에 있어서 합성 신경망이 기존의 다층 리커런트 신경망보다 더 효과적인 신경망이 될 수 있음을 보여주었다.

• 대한전자공학회논문지SP
• /
• 제40권1호
• /
• pp.139-147
• /
• 2003

동적 신경망은 신호예측과 같이 temporal 신호처리가 요구되는 여러 분야에 적용되어 왔다. 본 논문에서는 다층 리커런트 신경망(RNN)의 동특성을 향상시키기 위해 지역 궤환 신경망(LRNN)과 광역 궤환 신경망(CRNN)으로 구성된 합성 신경망을 제안하고, 적응필터로 제안된 신경망을 사용하여 비선형 적응예측을 다루고 있다. 합성 신경망은 LRNN으로 IIR-MLP와 CRNN으로 Elman RNN 신경망으로 구성되어 있다. 제안된 신경망은 비선형 신호예측을 통해 평가되었으며, 예측 성능의 상대적인 비교를 위해 Elman RNN과 IIR-MLP 신경망과 상호 비교하였다. 실험결과에 의하면 합성 신경망은 수렴속도과 정확도에서 더 우수한 성능을 보여줌으로써, 제안된 신경망이 기존의 다층 리커런트 신경망보다 비정적 신호에 대한 비선형 예측에 더 효과적인 예측모델임을 확인하였다.

• Communications for Statistical Applications and Methods
• /
• 제27권3호
• /
• pp.313-326
• /
• 2020

Deep Learning is the most important key to the development of Artificial Intelligence (AI). There are several distinguishable architectures of neural networks such as MLP, CNN, and RNN. Among them, we try to understand one of the main architectures called Recurrent Neural Network (RNN) that differs from other networks in handling sequential data, including time series and texts. As one of the main tasks recently in Natural Language Processing (NLP), we consider Neural Machine Translation (NMT) using RNNs. We also summarize fundamental structures of the recurrent networks, and some topics of representing natural words to reasonable numeric vectors. We organize topics to understand estimation procedures from representing input source sequences to predict target translated sequences. In addition, we apply multiple translation models with Gated Recurrent Unites (GRUs) in Keras on English-Korean sentences that contain about 26,000 pairwise sequences in total from two different corpora, colloquialism and news. We verified some crucial factors that influence the quality of training. We found that loss decreases with more recurrent dimensions and using bidirectional RNN in the encoder when dealing with short sequences. We also computed BLEU scores which are the main measures of the translation performance, and compared them with the score from Google Translate using the same test sentences. We sum up some difficulties when training a proper translation model as well as dealing with Korean language. The use of Keras in Python for overall tasks from processing raw texts to evaluating the translation model also allows us to include some useful functions and vocabulary libraries as well.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2017년도 추계학술대회
• /
• pp.50-53
• /
• 2017

장기 해운불황에 따라 불확실성이 증폭되고 있는 상황에서 경기추세의 이해뿐만 아니라 예측 또한 중요해지고 있는 실정이다. 본 논문에서는 최근 특정 복잡한 문제에 대해서 각광받고 있는 인공신경망을 적용하여 BDI 예측을 연구하였다. 사용된 인공신경망은 순환신경망으로 RNN과 LSTM 그리고 비교의 목적으로 MLP를 통해 2009.04.01.부터 2017.07.31.의 기간을 대상으로 연구를 진행하였다. 또한 전통적 시계열 예측방법론인 ARIMA 분석을 실시해 인공신경망들의 예측성능과 비교하였다. 결과로 순환신경망인 RNN의 성능이 가장 뛰어났으며 LSTM의 특정 시계열(BDI)에의 적용가능성을 확인할 수 있었다.

• 정보과학회 논문지
• /
• 제44권6호
• /
• pp.607-612
• /
• 2017

도시에서 홍수 피해를 방지하기 위한 침수를 예측하기 위해 본 논문에서는 딥러닝(Deep Learning) 기법을 적용한다. 딥러닝 기법 중 시계열 데이터 분석에 적합한 Recurrent Neural Networks (RNNs)을 활용하여 강의 수위 관측 데이터를 학습하고 침수 가능성을 예측하였다. 예측 정확도 검증을 위해 사용한 데이터는 미국의 트리니티강의 데이터로, 학습을 위해 2013 년부터 2015 년까지 데이터를 사용하였고 평가 데이터로는 2016 년 데이터를 사용하였다. 입력은 16개의 레코드로 구성된 15분단위의 시계열 데이터를 사용하였고, 출력으로는 30분과 60분 후의 강의 수위 예측 정보이다. 실험에 사용한 딥러닝 모델들은 표준 RNN, RNN-BPTT(Back Propagation Through Time), LSTM(Long Short-Term Memory)을 사용했는데, 그 중 LSTM의 NE(Nash Efficiency)가 0.98을 넘는 정확도로 기존 연구에 비해 매우 높은 성능 향상을 보였고, 표준 RNN과 RNN-BPTT에 비해서도 좋은 성능을 보였다.

• 한국음향학회지
• /
• 제38권4호
• /
• pp.433-441
• /
• 2019

본 논문에서는 입 주변에 방사한 초음파 신호가 반사되어 돌아올 때 발생하는 초음파 도플러 신호를 LSTM(Long Short Term Memory) 순환 신경망 (Recurrent Neural Networks, RNN)을 이용해 음성 패러미터를 추정하는 방법을 소개하고 다층 퍼셉트론 (Multi-Layer Perceptrons, MLP) 신경망을 이용한 방법과 성능 비교를 하였다. 본 논문에서는 LSTM 순환 신경망을 이용해 초음파 도플러 신호로부터 음성 신호의 푸리에 변환 계수를 추정하였다. LSTM 순환 신경망을 학습하기 위한 입력 및 기준값으로 초음파 도플러 신호와 음성 신호로부터 각각 추출된 멜 주파수 대역별 에너지 로그값과 푸리에 변환 계수가 사용되었다. 테스트 데이터를 이용한 실험을 통해 LSTM 순환 신경망과 MLP의 성능을 평가, 비교하였고 척도로는 평균 제곱근 오차(Root Mean Squared Error, RMSE)가 사용되었다.각 실험의 RMSE는 각각 0.5810, 0.7380로 나타났다. 약 0.1570 차이로 LSTM 순환 신경망을 이용한 방법의 성능 우세한 것으로 확인되었다.

• 한국정밀공학회지
• /
• 제20권7호
• /
• pp.84-90
• /
• 2003

This paper develops a control method that is composed of the proportional control algorithm and the learning algorithm based on the recurrent neural networks (RNN) for the position control of a pneumatic rodless cylinder. The proportional control algorithm is suggested for the modeled pneumatic system, which is obtained easily simplifying the system, and the RNN is suggested for the compensation of the modeling errors and uncertainties of the pneumatic system. In the proportional control, two zones are suggested in the phase plane. One is the transient zone for the smooth tracking and the other is the small movement zone for the accurate position control with eliminating the stick-slip phenomenon. The RNN is connected in parallel with the proportional control for the compensation of modeling errors and frictions, compressibilities, and parameter uncertainties in the pneumatic control system. This paper experimentally verifies the feasibility of the proposed control algorithm for such pneumatic systems.

• 스마트미디어저널
• /
• 제9권1호
• /
• pp.45-50
• /
• 2020

딥 러닝의 발전에 따라 추천시스템에서 딥 러닝 기반의 인공신경망을 활용한 연구가 활발히 진행되고 있다. 특히, RNN(Recurrent Neural Network)기반의 추천시스템은 데이터의 순차적 특성을 고려하기 때문에 추천시스템에서 좋은 성과를 보여주고 있다. 본 연구는 RNN기반의 알고리즘인 GRU(Gated Recurrent Unit)와 세션 기반 병렬 미니배치(Session Parallel mini-batch)기법을 활용한 여행경로 추천 시스템을 제안한다. 본 연구는 top1과 bpr(Bayesian personalized ranking) 오차함수의 앙상블을 통해 추천 성과를 향상시켰다. 또한, 데이터 내에 순차적인 특성을 고려한 RNN기반 추천 시스템은 여행경로에 내재된 여행지의 의미가 반영된 추천이 이루어진다는 것을 확인되었다.

• 한국지능시스템학회논문지
• /
• 제15권5호
• /
• pp.552-559
• /
• 2005

실시간 순환형 훈련 알고리즘(RTRL)과 같이 경사법에 의해 훈련되는 순환형 뉴럴 네트웍(RNN)은 수렴속도가 매우 느린 단점을 지니고 있다. 이 알고리즘은 또한 오차 역전달 처리과정에서 결코 쉽지 않은 미분 계산을 필요로 한다. 본 논문에서는 완전하게 결합된 RNN의 훈련을 위하여 소위 언센티드 칼만필터라고 불리우는 미분없는 칼만필터 훈련 알고리즘을 시스템의 상태공간 상에서 표현하였다. 미분없는 칼만필터 훈련 알고리즘은 순환형 뉴럴 네트웍 훈련시 미분 계산 없이 매우 빠른 수렴속도와 좋은 추정 성능을 보여준다. 비선형 채널 등화 실험을 통하여 미분 없는 칼만필터 훈련 알고리즘을 이용한 RNN의 성능이 향상되었음을 보였다.

• Journal of information and communication convergence engineering
• /
• 제8권3호
• /
• pp.267-272
• /
• 2010

For the last decade, recurrent neural networks (RNNs) have been commonly applied to communications channel equalization. The major problems of gradient-based learning techniques, employed to train recurrent neural networks are slow convergence rates and long training sequences. In high-speed communications system, short training symbols and fast convergence speed are essentially required. In this paper, the derivative-free Kalman filter, so called the unscented Kalman filter (UKF), for training a fully connected RNN is presented in a state-space formulation of the system. The main features of the proposed recurrent neural equalizer are fast convergence speed and good performance using relatively short training symbols without the derivative computation. Through experiments of nonlinear channel equalization, the performance of the RNN with a derivative-free Kalman filter is evaluated.