• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.22.3-22
• /
• 2001

An attention task, in which context information should be extracted from the first presented pattern, and the recognition answer of the second presented pattern should be generated using the context information, is employed in this paper. An Elman-type recurrent neural network is utilized to extract and keep the context information. A reinforcement signal that indicates whether the answer is correct or not, is only a signal that the system can obtain for the learning. Only by this learning, necessary context information became to be extracted and kept, and the system became to generate the correct answers. Furthermore, the function of an associative memory is observed in the feedback loop in the Elman-type neural network.

• 한국지반공학회논문집
• /
• 제23권7호
• /
• pp.17-25
• /
• 2007

연약점토지반에 도로, 대규모 단지조성공사에 따른 지지력의 부족과 과대한 침하량으로 인하여 여러 가지 어려운 문제가 발생하며 최종 침하량 및 침하시간의 정확한 예측은 지반개량공법의 선정은 물론 사업비, 사업기간에 중대한 영향을 미치게 된다. 현재 사용되고 있는 침하량 예측기법으로는 Terzaghi의 압밀이론을 응용한 Asaoka법과 경험식인 Hyperbolic법, Hoshino법 등이 있다. 그러나 이러한 방법들에 의하여 예측된 침하량과 실제 침하량이 정확히 일치하지 않는 경향이 있다고 알려지고 있다. 게다가 이런 방법 등은 계측결과가 없는 설계단계에서는 사용할 수 없는 단점을 가지고 있다. 본 논문에서는 국내 단지조성공사에서의 데이터와 다양한 테스트 결과값를 이용하여 성토시 침하를 보다 정확하게 예측하기 위해 인공신경망 기법인 Jordan 모델과 Elman-Jordan 모델을 적용하여 가장 적합한 모델구조를 얻고자 하였다. 개선된 인공신경망 모델에 의한 예측치를 실측치와 비교하였고, 결과값에 의하면 Jordan 모델이 Elman-Jordan 모델보다 실측치와 잘 일치하고 콘관입 저항을 이용한 예측치가 표준관입시험을 이용한 결과치보다 실제에 더 가깝다는 것을 알 수 있다. 따라서 더 많은 현장실험 데이터가 확보된다면 콘관입시험을 이용한 순환형 인공신경망 기법이 침하량 예측에 있어 가장 효과적인 방법이 될 것이라 사료된다.

• 한국음향학회지
• /
• 제20권8호
• /
• pp.12-18
• /
• 2001

본문에서는 예측형 회귀신경망과 HMM (Hidden Markov Model)의 하이브리드 네트워크인 회귀신경망 예측 HMM을 구성하였다. 회귀신경망 예측 HMM은 예측형 회귀신경망을 HMM의 각 상태마다 예측기로 정의하여 일정치인 평균벡터 대신에 과거의 특징벡터의 영향을 받아 동적으로 변화하는 신경 망에 의한 예측치를 이용하므로 학습패턴 설정자체가 시변성을 반영하는 동적 네트워크의 특성을 가진다. 따라서 음성과 같은 시계열 패턴의 인식에 유리하다. 회귀신경망 예측 HMM은 예측형 회귀신경망의 구조에 따라 Elman망 예측 HMM과 Jordan망 예측 HMM으로 구분하였다. 실험에서는 회귀신경망 예측 HMM의 상태수를 4, 5, 6으로 증가시켜 각 상태 수별로 예측차수 및 중간층 유니트 수의 변화에 따른 인식성능을 조사하였다. 실험결과 평가용 데이터에 대하여 Elman망 예측 HMM은 상태수가 6이고, 예측차수가 3차, 중간층 유니트의 수가 15차원일 때, Jordan망 예측 HMM의 경우 상태수가 5이고, 예측차수가 3차, 중간층 유니트의 수가 10차원일 때 각각 98.5%로 우수한 결과를 얻었다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제5권4호
• /
• pp.347-352
• /
• 2005

PD(Partial discharges) are small electrical sparks that occur within the electric insulation of cables, transformers and windings on motors. PD analysis is a proactive diagnostic approach that uses PD measurements to evaluate the integrity of this equipment. Recently, several diagnostic algorithms for classifying the type of PD and locating the defect position have been developed. In this work, a new PD recognition system is proposed, which utilizes approximate coefficients of wavelet transform as a feature vector, furthermore, introduces bank of Elman networks to recognize the various PD phenomena. In order to verify the performance of the proposed scheme, it is applied to the simulated PD data.

• Journal of Electrical Engineering and information Science
• /
• 제1권1호
• /
• pp.108-117
• /
• 1996

In this paper, we propose a new type of recurrent neural network architecture in which each output unit is connected with itself and fully-connected with other output units and all hidden units. The proposed recurrent network differs from Jordan's and Elman's recurrent networks in view of functions and architectures because it was originally extended from the multilayer feedforward neural network for improving the discrimination and generalization power. We also prove the convergence property of learning algorithm of the proposed recurrent neural network and analyze the performance of the proposed recurrent neural network by performing recognition experiments with the totally unconstrained handwritten numeral database of Concordia University of Canada. Experimental results confirmed that the proposed recurrent neural network improves the discrimination and generalization power in recognizing spatial patterns.

• 한국통신학회논문지
• /
• 제25권3B호
• /
• pp.565-569
• /
• 2000

We compose the two-stage recurrent neural network that returns both signals of a hidden and an output layer to the hidden layer. It is tested on the basis of syllables for Korean spoken digit from /gong/to /gu. For these experiments, we adjust the neuron number of the hidden layer, the predictive order of input data and self-recurrent coefficient of the decision state layer. By the experimental results, the recognition rate of this neural network is between 91% and 97.5% in the speaker-dependent case and between 80.75% and 92% in the speaker-independent case. In the speaker-dependent case, this network shows an equivalent recognition performance to Jordan and Elman network but in the speaker-independent case, it does improved performance.

• Structural Engineering and Mechanics
• /
• 제16권6호
• /
• pp.643-654
• /
• 2003

Two real-time modeling prediction (RMP) schemes are presented in this paper for analyzing the behavior of deep excavations during construction. The first RMP scheme is developed from the traditional AR(p) model. The second is based on the simplified Elman-style recurrent neural networks. An on-line learning algorithm is introduced to describe the dynamic behavior of deep excavations. As a case study, in-situ measurements of an excavation were recorded and the measured data were used to verify the reliability of the two schemes. They proved to be both effective and convenient for predicting the behavior of deep excavations during construction. It is shown through the case study that the RMP scheme based on the neural network is more accurate than that based on the traditional AR(p) model.

• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2000년도 추계종합학술대회논문집
• /
• pp.201-204
• /
• 2000

This paper describes a study on the time-varying control of parameters in learning of the neural network. Elman recurrent neural network (RNN) is used to implement the control of parameters. The parameters of learning and momentum rates In the error backpropagation algorithm ate updated at every iteration using fuzzy rules based on performance index. In addition, the gain and slope of the neuron's activation function are also considered time-varying parameters. These function parameters are updated using the gradient descent algorithm. Simulation results show that the auto-tuned learning algorithm results in faster convergence and lower system error than regular backpropagation in the system identification.

• 대한의용생체공학회:의공학회지
• /
• 제21권5호
• /
• pp.487-494
• /
• 2000

본 논문에서는 배경잡음이 섞여 있는 QRS 파의 증대를 위해 신경망에 근거한 적응라인증대기(ALE) 적용을 다루고 있다. Elman과 Jordan RNN 구조의 합성형태를 갖는 수정된 완전연결 리커런트 신경망이 ALE의 비션형 적응필터로 사용되고 있다. 신경망 노드사이의 연결계수와 이득, 기울기, 지연과 같은 노드 활성함수의 변수들이 기울기 강하 알고리즘을 사용하여 학습이 반복될 때마다 갱신된다. 수정된 신경망은 먼저 미지의 선형과 비선형 시스템 identification을 수행함으로써 평가하였다. 그리고 미약한 QRS를 증대시키기 위해서 적당한 크기의 잡음과 매우 심한 잡음이 포함된 실제의 ECG 신호를 비선형 신경망 적응필처를 사용하는 ALE에 입력하였다. 수정된 신경망은 시스템 identification에 사용하기가 적합함을 확인하였으며, 시뮬레이션 결과에 의하면 신경망 ALE는 잡음 ECG 신호로부터 QRS 파를 증대를 잘 수행하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2006년도 추계학술대회 논문집 전기물성,응용부문
• /
• pp.145-146
• /
• 2006

본 논문은 부분방전(PD: Partial Discharge)의 패턴인식 확률 극대화를 목적으로 신경망(NN: Neural Network) 파라미터 중에서 은닉층 뉴런의 수, 모멘텀(momentum)의 Step size와 Decay rate 를 최적화하기 위하여 유전 알고리즘(GA: Genetic Algonthm)을 적응하였다. 실험적 연구의 대상으로서, GIS(Gas Insulated Switchgear)사고의 주요 원인으로 보고되어있는 결함들을 인위적으로 모의한 16개 Test cell을 이용하여 부분방전을 발생시켰다. 부분방전 신호는 본 연구팀이 개발한 센서를 이용하여 검출되어 데이터베이스가 구축되어 그로부터 추출된 학습 데이터들의 학습에 다음과 같은 5가지 신경망 모델이 적응되었다: Multilayer Perception (MLP), Jordan-Elman Network (JEN), Recurrent Network (RN), Self-Organizing Feature Map (SOFM), Time-Lag Recurrent Network (TLRN). 유전 알고리즘 적용 효율성을 분석하기 위하여 동일한 데이터를 이용하여 다음과 같은 두 가지 방법을 적용한 결과를 상호 비교하였다. 우선 상기 선택된 모델만 적용하였고 다근 하나는 상기 모델과 Genetic Algorithm이 동시에 적용되었다. 모든 모델에 대하여 학습오차와 패턴 분류 확률을 비교한 결과, 유전 알고리즘 적응 시 부분방전 패턴인식 확률이 향상되었음이 확인되어 향후 신뢰성 있는 GIS 부분방전 진단기술에 활용될 수 있을 것으로 사료된다.