• 한국컴퓨터정보학회논문지
• /
• 제4권3호
• /
• pp.67-72
• /
• 1999

신경회로망은 학습능력과 근사화 능력으로 말미암아 패턴인식 및 시스템제어분야에서 많이 사용되고 있으며, 입력층. 출력층. 하나 이상의 은닉층으로 구성된 네드워크이다. Elman 신경회로망은 J. Elman에 의해 제안되었으며. recurrent network의 형태로 구성되어 있다. Elman 신경회로망은 기존의 신경회로망에 context층을 새로 추가하여, 은닉층의 출력을 context층의 입력으로 피드백 하는 구조로 되어 있다. 본 논문에서는 새로운 형태의 Elman 신경회로망을 제안한다. 제안한 방식은 Elman 신경회로망을 변형한 형태로. 은닉층 뿐 만 아니라 출력층의 출력도 context층으로 피드백 하는 형태이다. 제안한 방식의 유용성을 확인하기 위해 multi target system에 적용한다. 시뮬레이션 결과는 제안한 방식이 기존의 신경회로망 및 Elman 신경회로망 보다 우수한 방식임을 보여 주고 있다.

• 한국컴퓨터정보학회논문지
• /
• 제4권1호
• /
• pp.62-67
• /
• 1999

신경회로망은 입력층. 출력층, 하나 이상의 은닉층으로 구성된 네드워크이다. 학습능력과 근사화 능력으로 말미암아 신경회로망은 패턴인식 및 시스템제어분야에서 많이 사용되고 있다. Elman 신경회로망은 J. Elman에 의해 제안되었으며, recurrent network의 형태로 구성되어 있다. Elman 신경회로망은 기존의 신경회로망에 context층을 새로 추가하여, 은닉층의 출력을 context층의 입력으로 피드백 하는 구조로 되어 있다. 본 논문에서는 Elman 신경회로망을 변형한 형태로, 은닉층 뿐 만 아니라 출력층의 출력도 context층으로 피드백 하는 새로운 형태의 Elman 신경회로망을 제안한다. 제안한 방식의 유용성을 확인하기 위해 X-Y cartesian에 적용하여 시뮬레이션한 결과는 기존의 신경회로망 및 Elman 신경회로망 보다 우수한 방식임을 보여 주고 있다.

• 대한전자공학회논문지SP
• /
• 제40권1호
• /
• pp.139-147
• /
• 2003

동적 신경망은 신호예측과 같이 temporal 신호처리가 요구되는 여러 분야에 적용되어 왔다. 본 논문에서는 다층 리커런트 신경망(RNN)의 동특성을 향상시키기 위해 지역 궤환 신경망(LRNN)과 광역 궤환 신경망(CRNN)으로 구성된 합성 신경망을 제안하고, 적응필터로 제안된 신경망을 사용하여 비선형 적응예측을 다루고 있다. 합성 신경망은 LRNN으로 IIR-MLP와 CRNN으로 Elman RNN 신경망으로 구성되어 있다. 제안된 신경망은 비선형 신호예측을 통해 평가되었으며, 예측 성능의 상대적인 비교를 위해 Elman RNN과 IIR-MLP 신경망과 상호 비교하였다. 실험결과에 의하면 합성 신경망은 수렴속도과 정확도에서 더 우수한 성능을 보여줌으로써, 제안된 신경망이 기존의 다층 리커런트 신경망보다 비정적 신호에 대한 비선형 예측에 더 효과적인 예측모델임을 확인하였다.

• 융합신호처리학회논문지
• /
• 제6권1호
• /
• pp.45-52
• /
• 2005

동적 신경망은 temporal 신호처리가 요구되는 여러 분야에 사용되어 왔다. 본 논문에서는 다층 리커런트 신경망(RNN)의 동특성을 더 향상시키기 위해 지역 궤환 신경망(LRNN)과 광역 궤환 신경망(GRNN)으로 구성된 합성 신경망을 사용하여 시스템 식별을 다루고 있다. 합성 신경망의 구조는 LRNN으로 IIR-MLP를, GRNN으로 Elman RNN을 결합하고 있다. 합성신경망은 선형과 비선형 시스템 식별을 통해 평가되었으며 상대적인 성능평가를 위해 Elman RNN과 IIR-MLP 신경망과 비교하고 있다. 시뮬레이션 결과에 의하면 합성 신경망은 학습속도와 정확도에서 더 우수하게 동작하였으며, 이러한 사실은 비선형 시스템 식별에 있어서 합성 신경망이 기존의 다층 리커런트 신경망보다 더 효과적인 신경망이 될 수 있음을 보여주었다.

• 산업경영시스템학회지
• /
• 제41권1호
• /
• pp.84-93
• /
• 2018

In this paper, we propose an Elman recurrent neural network to predict and analyze a time series of power energy consumption. To this end, we consider the volatility of the time series and apply the sample variance and the detrended fluctuation analyses to the volatilities. We demonstrate that there exists a correlation in the time series of the volatilities, which suggests that the power consumption time series contain a non-negligible amount of the non-linear correlation. Based on this finding, we adopt the Elman recurrent neural network as the model for the prediction of the power consumption. As the simplest form of the recurrent network, the Elman network is designed to learn sequential or time-varying pattern and could predict learned series of values. The Elman network has a layer of "context units" in addition to a standard feedforward network. By adjusting two parameters in the model and performing the cross validation, we demonstrated that the proposed model predicts the power consumption with the relative errors and the average errors in the range of 2%~5% and 3kWh~8kWh, respectively. To further confirm the experimental results, we performed two types of the cross validations designed for the time series data. We also support the validity of the model by analyzing the multi-step forecasting. We found that the prediction errors tend to be saturated although they increase as the prediction time step increases. The results of this study can be used to the energy management system in terms of the effective control of the cross usage of the electric and the gas energies.

• 한국정보처리학회논문지
• /
• 제4권2호
• /
• pp.401-408
• /
• 1997

인간이 지식을 얻는 대부분의 수단은, 눈으로 사물을 보거나 귀로 소리를 들어 입력되는 패턴.영상또는 소리.을 인식하고 그것을 지식으로 축적하는 연속적인 과정이다. 그중 문자인식은 시각정보를 통하여 문제를 인식하고 나아가 의미를 이해하는 인간의 능력을 컴퓨터로 실현하려는 패턴인식의 한분야로서 신경망을 사용한 패턴인식 시스템으로 발전되고 있다. 신경망의 학습에 있어서를 출력값을 재사용하는 신경망모델로는, 순환신경망( Recurrent Neural Netwrek)이 있다. 최근 들어서 이러한 순환신경망을 오프라인 필기체 문자와 같은 정적인 패턴의 분류에 적용하려는 연구가 많이 진행되고 있다. 그러나 이러한 방법들의 대부분든 오프라인 필기체문자와 같은 정적인 패턴의 분류에 있어서는 효과적으로 적용되지 않는다. 이에 본 연구에서는 오프라인 필기체문자와 같은 정적인 패턴을 효과적으로 분르하기 위한 새로운 형태의 순환신경망을 제안한다.본논문에서는 Jordan과 Elman Model 을 확정 결합한 새로운 J-E(Jordan-Elman) 신경망 모델을 사용하여 숫자 및 필기체 문자와 같은 정적인 패턴의 인식에서 기존의 신명망보다 성능이 향상되었음을 보여 준다.

• 한국컴퓨터정보학회논문지
• /
• 제1권1호
• /
• pp.129-138
• /
• 1996

산업발전과 기술의 대형화. 고도화 등으로 인하여 매년 방대한 양리 정보가 처리되고 있다 정보화를 이루기 위해서는 대부분 종이로 기록뇌어 내려오던 정보를 컴퓨터에 저장하여 적기적소에 사용할 수 있어야 한다. 문자인식을 위한 신경망의 학습에 있어서 출력 값을 재사용하는 신경망모델로는 순환신경망이 있다. 그러나 이러한 방법들의 대부분은 오프라인 필기체문자와 같은 정적인 패턴의 분류에 있어서는 효과적으로 적락되지 않는다. 이에 본 연구에서는 오프라인 필기체문자와 같은 정적인 패턴을 효과적으로 분류하기 위한 새로운 형태의 순환신경망을 제안한다. 본 논문은 Jordan과 Elman Model을 확장 결합한 새로운 J-도(Jordan-Elman) 신경망 모델을 사용하여 숫자 및 필기체 문자와 같은 정적인 패턴의 인식에서 기존의 신경망보다 성능이 향상되었음을 보여준다.

• 한국음향학회지
• /
• 제18권3호
• /
• pp.62-67
• /
• 1999

본 논문은 회귀신경망을 이용한 음성인식에 관한 연구이다. 예측형 신경망으로 음절단위로 모델링한 후 미지의 입력음성에 대하여 예측오차가 최소가 되는 모델을 인식결과로 한다. 이를 위해서 예측형으로 구성된 신경망에 음성의 시변성을 신경망 내부에 흡수시키기 위해서 회귀구조의 동적인 신경망인 회귀예측신경망을 구성하고 Elman과 Jordan이 제안한 회귀구조에 따라 인식성능을 서로 비교하였다. 음성DB는 ETRI의 샘돌이 음성 데이터를 사용하였다. 그리고, 신경망의 최적모델을 구하기 위하여 예측차수와 은닉층 유니트 수의 변화에 따른 인식률의 변화와 문맥층에서 자기회귀계수를 두어 이전의 값들이 문맥층에서 누적되도록 하였을 경우에 대한 인식률의 변화를 비교하였다. 실험결과, 최적의 예측차수, 은닉층 유니트수, 자기회귀계수는 신경망의 구조에 따라 차이가 나타났으며, 전반적으로 Jordan망이 Elman망보다 인식률이 높았으며, 자기회귀계수에 대한 영향은 신경망의 구조와 계수값에 따라 불규칙하게 나타났다.

• 한국수자원학회논문집
• /
• 제51권12호
• /
• pp.1217-1227
• /
• 2018

본 연구에서는 순환신경망을 이용한 댐 유입량 예측모형의 적용성 검토를 목적으로 하고 있으며, 이를 위해 소양강댐 유역 및 충주댐 유역을 대상으로 그간 댐 운영을 통해 축적된 기상 및 수문 빅데이터를 활용하여 인공신경망 모형과 엘만 순환신경망 모형을 구축하였다. 모형의 학습과 예측을 위하여 유역별 유입량, 강우량, 기온, 일조시간, 풍속자료가 입력자료로 사용되었고 10일간 일별 댐유입량 자료가 모델의 출력자료로 구조화 하여 학습을 진행한 후 검증을 목적으로 2016년 7월 ~ 2018년 6월까지 2개년에 대한 댐 유입량 예측을 수행하였다. 학습된 모형의 유입량 예측 결과를 비교분석한 결과, 소양강댐 유역에서는 인공신경망 모형과 순환신경망 모형 간 예측성능은 큰 차이를 보이지 않았으며, 충주댐 유역에서는 순환신경망 모형의 예측 결과가 인공신경망 모형에 비해 비교적 우수한 성능을 보임에 따라 엘만 순환신경망을 이용하여 댐 유입량 예측모형을 구축할 경우 예측성능은 기존의 인공신경망 모형과 비슷하거나 다소 우수할 것으로 판단된다. 또한 엘만 순환신경망은 갈수기 댐 유입량 예측에 있어서 인공신경망에 비해 예측결과의 재현성이 우수한 것으로 나타났으며, 엘만 순환신경망 학습에 있어 다중 은닉층 구조가 단일 은닉층 구조보다 예측 성능 향상에 효과적인 것으로 분석되었다.

• Journal of Electrical Engineering and information Science
• /
• 제1권1호
• /
• pp.108-117
• /
• 1996

In this paper, we propose a new type of recurrent neural network architecture in which each output unit is connected with itself and fully-connected with other output units and all hidden units. The proposed recurrent network differs from Jordan's and Elman's recurrent networks in view of functions and architectures because it was originally extended from the multilayer feedforward neural network for improving the discrimination and generalization power. We also prove the convergence property of learning algorithm of the proposed recurrent neural network and analyze the performance of the proposed recurrent neural network by performing recognition experiments with the totally unconstrained handwritten numeral database of Concordia University of Canada. Experimental results confirmed that the proposed recurrent neural network improves the discrimination and generalization power in recognizing spatial patterns.