• Advances in robotics research
• /
• 제1권1호
• /
• pp.101-126
• /
• 2014

In this article we present modular neural control for a leg-wheel hybrid robot consisting of three legs with omnidirectional wheels. This neural control has four main modules having their functional origin in biological neural systems. A minimal recurrent control (MRC) module is for sensory signal processing and state memorization. Its outputs drive two front wheels while the rear wheel is controlled through a velocity regulating network (VRN) module. In parallel, a neural oscillator network module serves as a central pattern generator (CPG) controls leg movements for sidestepping. Stepping directions are achieved by a phase switching network (PSN) module. The combination of these modules generates various locomotion patterns and a reactive obstacle avoidance behavior. The behavior is driven by sensor inputs, to which additional neural preprocessing networks are applied. The complete neural circuitry is developed and tested using a physics simulation environment. This study verifies that the neural modules can serve a general purpose regardless of the robot's specific embodiment. We also believe that our neural modules can be important components for locomotion generation in other complex robotic systems or they can serve as useful modules for other module-based neural control applications.

• Nuclear Engineering and Technology
• /
• 제55권9호
• /
• pp.3423-3440
• /
• 2023

In this work, a multivariate time-series machine learning meta-model is developed to predict the transient response of a typical nuclear power plant (NPP) undergoing a steam generator tube rupture (SGTR). The model employs Recurrent Neural Networks (RNNs), including the Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and a hybrid CNN-LSTM model. To address the uncertainty inherent in such predictions, a Bayesian Neural Network (BNN) was implemented. The models were trained using a database generated by the Best Estimate Plus Uncertainty (BEPU) methodology; coupling the thermal hydraulics code, RELAP5/SCDAP/MOD3.4 to the statistical tool, DAKOTA, to predict the variation in system response under various operational and phenomenological uncertainties. The RNN models successfully captures the underlying characteristics of the data with reasonable accuracy, and the BNN-LSTM approach offers an additional layer of insight into the level of uncertainty associated with the predictions. The results demonstrate that LSTM outperforms GRU, while the hybrid CNN-LSTM model is computationally the most efficient. This study aims to gain a better understanding of the capabilities and limitations of machine learning models in the context of nuclear safety. By expanding the application of ML models to more severe accident scenarios, where operators are under extreme stress and prone to errors, ML models can provide valuable support and act as expert systems to assist in decision-making while minimizing the chances of human error.

• 한국항행학회논문지
• /
• 제25권5호
• /
• pp.409-414
• /
• 2021

미세먼지에 대한 심각성이 사회적으로 대두됨에 따라 대중들은 미세먼지 예보에 대한 정보의 높은 신뢰성을 요구하고 있다. 이에 따라 다양한 신경망 알고리즘을 이용하여 미세먼지 예측을 위한 연구가 활발히 진행되고 있다. 본 논문에서는 미세먼지 예측을 위해 다양한 알고리즘으로 연구되고 있는 신경망 알고리즘들 중 대표적인 알고리즘들의 예측 성능 비교를 진행하였다. 신경망 알고리즘 중 DNN(deep neural network), RNN(recurrent neural network), LSTM(long short-term memory)을 이용하였으며, 하이퍼 파라미터 탐색을 이용하여 최적의 예측 모델을 설계하였다. 각 모델의 예측 성능 비교 분석 결과, 실제 값과 예측 값의 변화 추이는 전반적으로 좋은 성능을 보였다. RMSE와 정확도를 기준으로 한 분석에서는 DNN 예측 모델이 다른 예측 모델에 비해 예측 오차에 대한 안정성을 갖는 것을 확인하였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권8호
• /
• pp.567-571
• /
• 2015

기존의 전이 기반 한국어 의존 구문 분석 방법론들은 사용 될 자질의 설계에 많은 노력이 필요하다. 최근에 인공 신경망을 이용하여 자질 설계 단계에서의 시간과 노력을 줄이는 연구들이 많이 수행되었으나 제한된 context의 정보들만 보고 전이 과정에 필요한 decision을 내려야 하는 문제점들이 있다. 본 논문에서는 순환 신경망 모델을 이용하여 자질 설계에 필요한 노력을 줄이고 순환 구조로 먼 거리 의존관계를 고려하였다. 실험을 진행한 결과 일반적인 다층 신경망에 비해 0.51%의 성능향상을 이루었으며 UAS 90.33%의 성능을 선보인다.

• 융합신호처리학회논문지
• /
• 제9권3호
• /
• pp.238-244
• /
• 2008

동적 신경망은 temporal 신호처리가 요구되는 여러 분야에 사용되어 왔다. 본 논문에서는 다층 신경망의 동특성을 향상시키기 위해 감마 신경망(GAM) 다루고 있다. GAM 신경망은 순방향 다층 신경망의 히든층에 감마 메모리 커널을 사용하고 있다. GAM 신경망은 선형 및 비선형 시스템 식별을 통해 평가되었으며 상대적인 성능평가를 위해 순방향 신경망(FNN)과 리커런트 신경망(RNN)과 비교하고 있다. 실험결과에 의하면 GAM 신경망은 학습속도와 정확도에서 더 우수하게 동작하였으며, 이러한 사실은 시스템 식별에 있어서 GAM 신경망이 기존의 다른 다층 신경망보다 더 효과적인 신경망이 될 수 있음을 보여주었다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2019년도 학술발표회
• /
• pp.320-320
• /
• 2019

유역의 수문 자료를 정확하게 분석하는 것은 수리 구조물을 효율적으로 운영하기 위한 중요한 요소이다. 인공신경망(Artificial Neural Networks, ANNs) 모형은 입 출력 자료의 비선형적인 관계를 해석할 수 있는 모형으로 강우-유출 해석 등 수문 분야에 다양하게 적용되어 왔다. 이후 기존의 인공신경망 모형을 연속적인(sequential) 자료의 분석에 더 적합하도록 개선한 회귀신경망(Recurrent Neural Networks, RNNs) 모형과 회귀신경망 모형의 '장기 의존성 문제'를 개선한 장단기메모리(Long Short-Term Memory Networks, 이하 LSTM)가 차례로 제안되었다. LSTM은 최근에 주목받는 딥 러닝(Deep learning) 기법의 하나로 수문 자료와 같은 시계열 자료의 분석에 뛰어난 성능을 보일 것으로 예상되며, 수문 분야에서 이에 대한 적용성 평가가 요구되고 있다. 본 연구에서는 인공신경망 모형과 LSTM 모형으로 유출량을 모의하여 두 모형의 성능을 비교하고 향후 LSTM 모형의 활용 가능성을 검토하고자 하였다. 나주 수위관측소의 수위 자료와 인접한 기상관측소의 강우량 자료로 모형의 입 출력 자료를 구성하여 강우 사상에 대한 시간별 유출량을 모의하였다. 연구 결과, 1시간 후의 유출량에 대해서는 두 모형 모두 뛰어난 모의 능력을 보였으나, 선행 시간이 길어질수록 LSTM의 정확성은 유지되는 반면 인공신경망 모형의 정확성은 점차 떨어지는 것으로 나타났다. 앞으로의 연구에서 유역 내 다양한 수리 구조물에 의한 유 출입량을 추가로 고려한다면 LSTM 모형의 활용성을 보다 더 확장할 수 있을 것이다.

• ETRI Journal
• /
• 제41권3호
• /
• pp.371-382
• /
• 2019

Machine reading comprehension is the task of understanding a given context and finding the correct response in that context. A simple recurrent unit (SRU) is a model that solves the vanishing gradient problem in a recurrent neural network (RNN) using a neural gate, such as a gated recurrent unit (GRU) and long short-term memory (LSTM); moreover, it removes the previous hidden state from the input gate to improve the speed compared to GRU and LSTM. A self-matching network, used in R-Net, can have a similar effect to coreference resolution because the self-matching network can obtain context information of a similar meaning by calculating the attention weight for its own RNN sequence. In this paper, we construct a dataset for Korean machine reading comprehension and propose an $S^2-Net$ model that adds a self-matching layer to an encoder RNN using multilayer SRU. The experimental results show that the proposed $S^2-Net$ model has performance of single 68.82% EM and 81.25% F1, and ensemble 70.81% EM, 82.48% F1 in the Korean machine reading comprehension test dataset, and has single 71.30% EM and 80.37% F1 and ensemble 73.29% EM and 81.54% F1 performance in the SQuAD dev dataset.

• 전자공학회논문지S
• /
• 제35S권4호
• /
• pp.67-75
• /
• 1998

In general, Evoluationary Algorithm(EAs) are refered to as methods of population-based optimization. And EAs are considered as very efficient methods of optimal sytem design because they can provice much opportunity for obtaining the global optimal solution. This paper presents a co-evolution scheme of artifical neural networks, which has two different, still cooperatively working, populations, called as a host popuation and a parasite population, respectively. Using the conventional generatic algorithm the host population is evolved in the given environment, and the parastie population composed of schemata is evolved to find useful schema for the host population. the structure of artificial neural network is a diagonal recurrent neural netork which has self-feedback loops only in its hidden nodes. To find optimal neural networks we should take into account the structure of the neural network as well as the adaptive parameters, weight of neurons. So we use the genetic algorithm that searches the structure of the neural network by the co-evolution mechanism, and for the weights learning we adopted the evolutionary stategies. As a results of co-evolution we will find the optimal structure of the neural network in a short time with a small population. The validity and effectiveness of the proposed method are inspected by applying it to the stabilization and position control of the invered-pendulum system. And we will show that the result of co-evolution is better than that of the conventioal genetic algorithm.

• 농업과학연구
• /
• 제46권1호
• /
• pp.67-78
• /
• 2019

The purpose of this study was to predict the water quality using the RNN (recurrent neutral network) and LSTM (long short-term memory). These are advanced forms of machine learning algorithms that are better suited for time series learning compared to artificial neural networks; however, they have not been investigated before for water quality prediction. Three water quality indexes, the BOD (biochemical oxygen demand), COD (chemical oxygen demand), and SS (suspended solids) are predicted by the RNN and LSTM. TensorFlow, an open source library developed by Google, was used to implement the machine learning algorithm. The Okcheon observation point in the Geum River basin in the Republic of Korea was selected as the target point for the prediction of the water quality. Ten years of daily observed meteorological (daily temperature and daily wind speed) and hydrological (water level and flow discharge) data were used as the inputs, and irregularly observed water quality (BOD, COD, and SS) data were used as the learning materials. The irregularly observed water quality data were converted into daily data with the linear interpolation method. The water quality after one day was predicted by the machine learning algorithm, and it was found that a water quality prediction is possible with high accuracy compared to existing physical modeling results in the prediction of the BOD, COD, and SS, which are very non-linear. The sequence length and iteration were changed to compare the performances of the algorithms.

• 정보과학회 논문지
• /
• 제44권5호
• /
• pp.496-502
• /
• 2017

포인터 네트워크(Pointer Networks)는 Recurrent Neural Network (RNN)를 기반으로 어텐션 메커니즘(Attention mechanism)을 이용하여 입력 시퀀스에 대응되는 위치들의 리스트를 출력하는 딥 러닝 모델이다. 대명사 상호참조해결은 문서 내에 등장하는 대명사와 이에 대응되는 선행사를 찾아 하나의 엔티티로 정의하는 자연어처리 문제이다. 본 논문에서는 포인터 네트워크를 이용하여 대명사와 선행사의 참조관계를 밝히는 대명사 상호참조해결 방법과 포인터 네트워크의 입력 연결순서(chaining order) 여섯가지를 제안한다. 실험 결과, 본 논문에서 제안한 방법 중 연결순서 coref2 가 MUC F1 81.40%로 가장 좋은 성능을 보였다. 이는 기존 한국어 대명사 상호참조해결의 규칙 기반(50.40%)보다 31.00%p, 통계 기반(62.12%) 보다 19.28%p 우수한 성능임을 나타낸다.