• 제목/요약/키워드: Recurrent neural networks

검색결과 285건 처리시간 0.029초

Robustness of Learning Systems Subject to Noise:Case study in forecasting chaos

  • Kim, Steven H.;Lee, Churl-Min;Oh, Heung-Sik
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회 1997년도 추계학술대회발표논문집; 홍익대학교, 서울; 1 Nov. 1997
    • /
    • pp.181-184
    • /
    • 1997
  • Practical applications of learning systems usually involve complex domains exhibiting nonlinear behavior and dilution by noise. Consequently, an intelligent system must be able to adapt to nonlinear processes as well as probabilistic phenomena. An important class of application for a knowledge based systems in prediction: forecasting the future trajectory of a process as well as the consequences of any decision made by e system. This paper examines the robustness of data mining tools under varying levels of noise while predicting nonlinear processes in the form of chaotic behavior. The evaluated models include the perceptron neural network using backpropagation (BPN), the recurrent neural network (RNN) and case based reasoning (CBR). The concepts are crystallized through a case study in predicting a Henon process in the presence of various patterns of noise.

  • PDF

신경망 학습 변수의 시변 제어에 관한 연구 (A study on time-varying control of learning parameters in neural networks)

  • 박종철;원상철;최한고
    • 융합신호처리학회 학술대회논문집
    • /
    • 한국신호처리시스템학회 2000년도 추계종합학술대회논문집
    • /
    • pp.201-204
    • /
    • 2000
  • This paper describes a study on the time-varying control of parameters in learning of the neural network. Elman recurrent neural network (RNN) is used to implement the control of parameters. The parameters of learning and momentum rates In the error backpropagation algorithm ate updated at every iteration using fuzzy rules based on performance index. In addition, the gain and slope of the neuron's activation function are also considered time-varying parameters. These function parameters are updated using the gradient descent algorithm. Simulation results show that the auto-tuned learning algorithm results in faster convergence and lower system error than regular backpropagation in the system identification.

  • PDF

비선형 비행 시스템을 위한 $H_{\infty}$ 접근법 기반 적응 신경망 동적 표면 제어 (Adaptive Neural Dynamic Surface Control via $H_{\infty}$ Approach for Nonlinear Flight System)

  • 유성진;최윤호;박진배
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2007년도 제38회 하계학술대회
    • /
    • pp.1728-1729
    • /
    • 2007
  • This paper presents an adaptive neural dynamic surface control (DSC) approach with $H_{\infty}$ tracking performance for a full dynamics of a nonlinear flight system. It is assumed in this paper that model uncertainties such as structured and unstrutured uncertainties and external disturbances influence the nonlinear aircraft model. In our control system, self recurrent wavelet neural networks (SRWNNs) are used to compensate model uncertainties of the nonlinear flight system, and an adaptive DSC technique is extended for disturbance attenuation of the nonlinear flight system. From Lyapunov stability theorem, it is shown that $H_{\infty}$ performance from external disturbances can be obtained. Finally, we perform the simulation for the nonlinear six-degree-of-freedom F-16 aircraft model to confirm the effectiveness of the proposed control system.

  • PDF

A Study on Deep Learning Model for Discrimination of Illegal Financial Advertisements on the Internet

  • Kil-Sang Yoo; Jin-Hee Jang;Seong-Ju Kim;Kwang-Yong Gim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권8호
    • /
    • pp.21-30
    • /
    • 2023
  • 인터넷 불법금융광고는 인터넷 카페, 블로그 등을 통해 통장매매, 신용카드·휴대폰결제현금화 및 개인신용정보매매 등 불법금융행위를 목적으로 한다. 금융감독당국의 노력에도 불구하고 불법금융행위는 줄어들지 않고 있다. 본 연구는 인터넷 불법금융광고 게시글에 파이썬 딥러닝 기반 텍스트 분류기법을 적용해 불법여부를 탐지하는 모델을 제안한다. 텍스트 분류기법으로 주로 사용되는 합성곱 신경망(CNN: Convolutional Neural Network), 순환 신경망(RNN: Recurrent Neural Network), 장단기 메모리(LSTM: Long-Short Term Memory) 및 게이트 순환 유닛(GRU: Gated Recurrent Unit)을 활용한다. 그동안 수작업으로 심사한 불법확인 결과를 기초 데이터로 이용한다. 한국어 자연어처리와 딥러닝 모델의 하이퍼파라미터 조절을 통해 최적의 성능을 보이는 모델을 완성하였다. 본 연구는 그동안 이뤄지지 않았던 인터넷 불법금융광고 판별을 위한 딥러닝 모델을 제시하였다는데 큰 의미가 있다. 또한 딥러닝 모델에서 91.3~93.4% 수준의 정확도를 보임으로써 불법금융광고 탐지에 딥러닝 모델을 실제 적용하여 불법금융광고 근절에 기여할 수 있기를 기대해 본다.

Merlin 툴킷을 이용한 한국어 TTS 시스템의 심층 신경망 구조 성능 비교 (Performance comparison of various deep neural network architectures using Merlin toolkit for a Korean TTS system)

  • 홍준영;권철홍
    • 말소리와 음성과학
    • /
    • 제11권2호
    • /
    • pp.57-64
    • /
    • 2019
  • 본 논문에서는 음성 합성을 위한 오픈소스 시스템인 Merlin 툴킷을 이용하여 한국어 TTS 시스템을 구성한다. TTS 시스템에서 HMM 기반의 통계적 음성 합성 방식이 널리 사용되고 있는데, 이 방식에서 문맥 요인을 포함시키는 음향 모델링 구성의 한계로 합성 음성의 품질이 저하된다고 알려져 있다. 본 논문에서는 여러 분야에서 우수한 성능을 보여 주는 심층 신경망 기법을 적용하는 음향 모델링 아키텍처를 제안한다. 이 구조에는 전연결 심층 피드포워드 신경망, 순환 신경망, 게이트 순환 신경망, 단방향 장단기 기억 신경망, 양방향 장단기 기억 신경망 등이 포함되어 있다. 실험 결과, 문맥을 고려하는 시퀀스 모델을 아키텍처에 포함하는 것이 성능 개선에 유리하다는 것을 알 수 있고, 장단기 기억 신경망을 적용한 아키텍처가 가장 좋은 성능을 보여주었다. 그리고 음향 특징 파라미터에 델타와 델타-델타 성분을 포함하는 것이 성능 개선에 유리하다는 결과가 도출되었다.

음절인식을 위한 회귀예측신경망에 관한 연구 (A study on the Recurrent Predictioni Neural Networks for Syllables Recognition)

  • 한학용
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1998년도 제15회 음성통신 및 신호처리 워크샵(KSCSP 98 15권1호)
    • /
    • pp.272-277
    • /
    • 1998
  • MLP형 예측신경망, Jordan 형과 Elman 형 회귀예측신경망을 사용하여 예측차수오 kdmsslr층이 유니트수의 변화에 따른 인식결과를 CHMM과 비교하였다. 음성데이타는 100음절데이터와 ETRI 의 샘돌이 숫자음을 사용하였다. 숫자음에서 신경망의 인식률은 98.5%로 5상태 CHMM의 85.6%보다는 향상된 인식성능을 보였으며 6상태 이상의 CHMM보다는 다소 인식률이 낮게 나타났다.

  • PDF

VSS-귀한 신경망을 이용한 로보트 매니퓰레이터 제어 (Control of Robot Manipulator using VSS-Recurrent Neural Networks)

  • 최영길;김성현;전홍태
    • 한국지능시스템학회논문지
    • /
    • 제6권4호
    • /
    • pp.39-48
    • /
    • 1996
  • 비선형 동적 시스템을 제어하기에 적합한 귀환 신경망에 대한 연구는 안정성(stability) 유도와 학습 알고리듬(learning algorithm) 개발의 두가지 방향으로 지금까지 많은 연구가 이루어져 왔다. 본 논문에서는 비선형 동적 시스템 제어시 온라인(on-line) 학습이 가능하고 안정성을 보장하도록 귀환 신경망의 학습 알고리듬에 VSS이론을 도입하여 개발한다. 또한 개발한 학습 알고리듬을 사용한 귀환 신경망을 전형적인 비선형 동적 시스템인 로보트 매니퓰레이터의 제어 시스템에 적용하고 기존의 학습 방법의 적용 결과와 비교하여 개발한 제어 알고리듬의 효용성을 입증한다.

  • PDF

단어그룹 확장 기법을 활용한 순환신경망 알고리즘 성능개선 연구 (A Study on Performance Improvement of Recurrent Neural Networks Algorithm using Word Group Expansion Technique)

  • 박대승;성열우;김정길
    • 산업융합연구
    • /
    • 제20권4호
    • /
    • pp.23-30
    • /
    • 2022
  • 최근 인공지능(AI)과 딥러닝 발전으로 대화형 인공지능 챗봇의 중요성이 부각되고 있으며 다양한 분야에서 연구가 진행되고 있다. 챗봇을 만들기 위해서 직접 개발해 사용하기도 하지만 개발의 용이성을 위해 오픈소스 플랫폼이나 상업용 플랫폼을 활용하여 개발한다. 이러한 챗봇 플랫폼은 주로 RNN (Recurrent Neural Network)과 응용 알고리즘을 사용하며, 빠른 학습속도와 모니터링 및 검증의 용이성 그리고 좋은 추론 성능의 장점을 가지고 있다. 본 논문에서는 RNN과 응용 알고리즘의 추론 성능 향상방법을 연구하였다. 제안 방법은 RNN과 응용 알고리즘 적용 시 각 문장에 대한 핵심단어의 단어그룹에 대해 확장학습을 통해 데이터에 내재된 의미를 넓히는 기법을 사용하였다. 본 연구의 결과는 순환 구조를 갖는 RNN, GRU (Gated Recurrent Unit), LSTM (Long-short Term Memory) 세 알고리즘에서 최소 0.37%에서 최대 1.25% 추론 성능향상을 달성하였다. 본 연구를 통해 얻은 연구결과는 관련 산업에서 인공지능 챗봇 도입을 가속하고 다양한 RNN 응용 알고리즘을 활용하도록 하는데 기여할 수 있다. 향후 연구에서는 다양한 활성 함수들이 인공신경망 알고리즘의 성능 향상에 미치는 영향에 관한 연구가 필요할 것이다.

환율예측을 위한 신호처리분석 및 인공신경망기법의 통합시스템 구축 (A Hybrid System of Joint Time-Frequency Filtering Methods and Neural Network Techniques for Foreign Exchange Rate Forecasting)

  • 신택수;한인구
    • 지능정보연구
    • /
    • 제5권1호
    • /
    • pp.103-123
    • /
    • 1999
  • Input filtering as a preprocessing method is so much crucial to get good performance in time series forecasting. There are a few preprocessing methods (i.e. ARMA outputs as time domain filters, and Fourier transform or wavelet transform as time-frequency domain filters) for handling time series. Specially, the time-frequency domain filters describe the fractal structure of financial markets better than the time domain filters due to theoretically additional frequency information. Therefore, we, first of all, try to describe and analyze specially some issues on the effectiveness of different filtering methods from viewpoint of the performance of a neural network based forecasting. And then we discuss about neural network model architecture issues, for example, what type of neural network learning architecture is selected for our time series forecasting, and what input size should be applied to a model. In this study an input selection problem is limited to a size selection of the lagged input variables. To solve this problem, we simulate on analyzing and comparing a few neural networks having different model architecture and also use an embedding dimension measure as chaotic time series analysis or nonlinear dynamic analysis to reduce the dimensionality (i.e. the size of time delayed input variables) of the models. Throughout our study, experiments for integration methods of joint time-frequency analysis and neural network techniques are applied to a case study of daily Korean won / U. S dollar exchange returns and finally we suggest an integration framework for future research from our experimental results.

  • PDF

Multi-step Predictive Control of LMTT using DR-FNN

  • Lee, Jin-Woo;Lee, Young-Jin;Lee, Kwon-Soon
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2003년도 ICCAS
    • /
    • pp.392-395
    • /
    • 2003
  • In the maritime container terminal, LMTT (Linear Motor-based Transfer Technology) is horizontal transfer system for the yard automation, which has been proposed to take the place of AGV (Automated Guided Vehicle). The system is based on PMLSM (Permanent Magnetic Linear Synchronous Motor) that is consists of stator modules on the rail and shuttle car (mover). Because of large variant of mover's weight by loading and unloading containers, the difference of each characteristic of stator modules, and a stator module's trouble etc., LMCPS (Linear Motor Conveyance Positioning System) is considered as that the system is changed its model suddenly and variously. In this paper, we will introduce the soft-computing method of a multi-step prediction control for LMCPS using DR-FNN (Dynamically-constructed Recurrent Fuzzy Neural Network). The proposed control system is used two networks for multi-step prediction. Consequently, the system has an ability to adapt for external disturbance, cogging force, force ripple, and sudden changes of itself.

  • PDF