• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권4호
• /
• pp.338-342
• /
• 2015

시계열 데이터를 다룰 수 있는 기계학습모델인 회귀 신경망은 되먹임 연결을 허용하기 때문에 앞먹임 신경망에 비해 훨씬 다양한 구조를 가질 수 있다. 본 연구에서는 은닉 뉴런 간의 네트워크 구조에 초점을 맞추어 그것이 회귀 신경망의 정보처리 능력에 미치는 영향을 탐구하고자 한다. 이를 위해 회귀신경망 모델 중 하나인 Echo State Network을 기준으로 하여, 여러 가지 잘 알려진 네트워크 모델에 따라 은닉 뉴런 간 연결을 구성하고 각각의 경우에 시계열 학습 능력과 동역학을 분석하였다. 그 결과, 은닉 뉴런의 네트워크 구조에 따라 모델의 성능이 큰 폭으로 변하는 것이 관찰되었으며, 그러한 현상은 신경망 동역학이 가지는 임계도(criticality)의 변화와 잘 일치했다. 본 연구의 결과는 기존 회귀 신경망 연구에서 주된 관심사였던 신경망 연결 가중치뿐만 아니라 신경망의 연결 구조가 모델의 성능에 중요한 영향을 미친다는 사실을 보여주며, 성능 향상을 위한 중요한 단서가 될 수 있다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제7권12호
• /
• pp.461-468
• /
• 2018

개발자들은 소프트웨어 개발과 유지보수 작업 중 하나의 코드를 수정하는데 들이는 시간보다 이를 위해 코드를 탐색하고 이해하는데 더 많은 시간을 소모한다. 코드를 탐색하는 시간을 줄이기 위하여 기존 연구들은 데이터 마이닝과 통계적 언어모델 기법을 이용하여 수정할 코드를 추천하여 왔다. 그러나 이 경우 모델의 학습 데이터와 입력되는 데이터가 정확하게 일치하지 않으면 추천이 발생하지 않는다. 이 논문에서 우리는 딥러닝의 기법 중 하나인 Recurrent Neural Networks에 동작기록을 학습시켜 기존 연구의 상기 문제점 없이 수정할 코드의 위치를 추천하는 방법을 제안한다. 제안 방법은 RNN과 동작기록을 활용한 추천 기법으로 평균 약 91%의 정확도와 71%의 재현율을 달성함으로써 기존의 추천방법보다 코드 탐색 시간을 더욱 줄일 수 있게 해 준다.

• 한국정밀공학회지
• /
• 제20권8호
• /
• pp.94-100
• /
• 2003

This paper presents the experiments on the approximation of a hydraulic servo system using a real time recurrent neural networks (RTRN) with time varying weights. In order to verify the effectiveness of the RTRN algorithm in hydraulic servo system, we design the experimental hydraulic system and implemented the real time approximation of system output. Experimental results show that approximated output of the RTRN well follows the position trajectory of the electro-hydraulic servo system. And also it is verified that the 2-D RNN can be implemented in sampling time even though high sampling frequency experimentally.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 ISIS 2003
• /
• pp.694-697
• /
• 2003

In this paper, we propose modular network to solve difficult and complex problems that are seldom solved with Multi-Layer Neural Network(MLNN). The structure of Modular Neural Network(MNN) in researched by Jacobs and jordan is selected in this paper. Modular network consists of several Expert Networks(EN) and a Gating Network(CN) which is composed of single-layer neural network(SLNN) or multi-layer neural network. We propose modular network structure using Recurrent Neural Network(RNN), since the state of the whole network at a particular time depends on aggregate of previous states as well as on the current input. Finally, we show excellence of the proposed network compared with modular network.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권5호
• /
• pp.197-202
• /
• 2022

IoT (Internet of Things) 장치는 취약한 아이디/비밀번호 사용, 인증되지 않은 펌웨어 업데이트 등 많은 보안 취약점을 보여 악성코드의 공격 대상이 되고 있다. 그러나 CPU 구조의 다양성으로 인해 악성코드 분석 환경 설정과 특징 설계에 어려움이 있다. 본 논문에서는 CPU 구조와 독립된 악성코드의 특징 표현을 위해 실행 파일의 바이트 순서를 이용한 시계열 특징을 설계하고 순환 신경망을 통해 분석한다. 제안하는 특징은 바이트 순서의 부분 엔트로피 계산과 선형 보간을 통한 고정 길이의 시계열 패턴이다. 추출된 특징의 시계열 변화는 RNN과 LSTM으로 학습시켜 분석한다. 실험에서 IoT 악성코드 탐지는 높은 성능을 보였지만, 패밀리 분류는 비교적 성능이 낮았다. 악성코드 패밀리별 엔트로피 패턴을 시각화하여 비교했을 때 Tsunami와 Gafgyt 패밀리가 유사한 패턴을 나타내 분류 성능이 낮아진 것으로 분석되었다. 제안된 악성코드 특징의 데이터 간 시계열 변화 학습에 RNN보다 LSTM이 더 적합하다.

• 경영정보학연구
• /
• 제20권4호
• /
• pp.25-41
• /
• 2018

예측 분석을 전사 프로세스에 적용하는 것은 운영비용을 절감하고 생산성을 증대시킬 수 있는 효과적 방법이다. 이에 따라 비즈니스 프로세스의 행동과 성과지표를 예측하는 능력이 기업의 핵심역량으로 간주되고 있다. 최근에 순환신경망 형태의 딥러닝을 이용한 프로세스 예측 연구가 큰 관심을 받고 있다. 특히, 순환신경망을 이용하여 다음 단계의 액티비티를 예측하는 접근법이 우수한 결과를 내고 있다. 그러나 동적 순환신경망 형태의 딥러닝을 프로세스 성과지표의 예측에 적용한 연구는 부재한 상황이다. 이러한 지식의 공백을 메우기 위해 본 연구는 프로세스 마이닝과 동적 순환신경망 형태의 딥러닝을 이용하는 접근법을 개발했다. 국내 대기업의 실제 데이터를 활용하여 구매 프로세스의 중요한 성과지표인 적기 입고 예측에 개발된 접근법을 적용했다. 본 연구의 실험 방법과 결과, 연구의 시사점과 한계점이 제시되었다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권7호
• /
• pp.440-445
• /
• 2017

전자상거래 발전에 따라 온라인 쇼핑을 이용하는 사람들이 증가하였고 제품 또한 다양해지고 있다. 이러한 추세로 구매자가 만족할 수 있는 정확한 추천시스템의 중요성이 증대되었으며 정확도를 높이기 위한 새로운 방법의 연구가 계속되고 있다. 순환신경망은 시퀀스 학습에 적합한 딥 러닝 방법 중 하나이며 본 연구에서는 추천시스템의 정확도를 높이는 방법으로 구매자의 제품 접근순서를 순환신경망에 적용하여 알고리즘 성능평가를 하였다. 알고리즘 성능평가에는 대표적인 순환신경망 알고리즘과 최적화 알고리즘으로 진행하였다. 순환신경망 알고리즘으로는 RNN, LSTM, GRU 그리고 최적화 알고리즘으로는 Adagrad, RMSProp, Adam optimizer를 사용하였다. 실험 도구로는 구글의 오픈소스 라이브러리인 텐서플로우를 사용하였고 데이터는 RecSys Challenge 2015에서 제공하는 e-commerce session 데이터를 활용하였다. 실험 결과 실험 데이터에 적합한 최적의 하이퍼파라미터를 발굴하고 적용하여 RecSys Challenge 2015 참가자들의 결과와 비교하였다. 상품 접근 순서만을 학습시킨 결과이기 때문에 등수가 높지는 않았지만 기존 추천시스템에 접목한다면 정확도 향상에 기여할 수 있을 것으로 보인다.

• Nuclear Engineering and Technology
• /
• 제55권9호
• /
• pp.3423-3440
• /
• 2023

In this work, a multivariate time-series machine learning meta-model is developed to predict the transient response of a typical nuclear power plant (NPP) undergoing a steam generator tube rupture (SGTR). The model employs Recurrent Neural Networks (RNNs), including the Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and a hybrid CNN-LSTM model. To address the uncertainty inherent in such predictions, a Bayesian Neural Network (BNN) was implemented. The models were trained using a database generated by the Best Estimate Plus Uncertainty (BEPU) methodology; coupling the thermal hydraulics code, RELAP5/SCDAP/MOD3.4 to the statistical tool, DAKOTA, to predict the variation in system response under various operational and phenomenological uncertainties. The RNN models successfully captures the underlying characteristics of the data with reasonable accuracy, and the BNN-LSTM approach offers an additional layer of insight into the level of uncertainty associated with the predictions. The results demonstrate that LSTM outperforms GRU, while the hybrid CNN-LSTM model is computationally the most efficient. This study aims to gain a better understanding of the capabilities and limitations of machine learning models in the context of nuclear safety. By expanding the application of ML models to more severe accident scenarios, where operators are under extreme stress and prone to errors, ML models can provide valuable support and act as expert systems to assist in decision-making while minimizing the chances of human error.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1997년도 하계학술대회 논문집 B
• /
• pp.400-402
• /
• 1997

This paper investigates the direct and adaptive control of mechatronic servo systems using modified chaotic neural networks (CNNs). For the performance evaluation of the proposed neural networks, we simulate the trajectory control of the X-Y table with direct control strategies. The CNN based controller demonstrates accurate tracking of the planned path and also shows superior performance on convergence and final error comparing with recurrent neural network(RNN) controller.

• 지구물리와물리탐사
• /
• 제26권3호
• /
• pp.126-137
• /
• 2023

본 연구에서는 해양 모니터링 중에 기록된 돌고래 클릭 신호를 분류하기 위해 순환 신경망(RNN)을 적용하는 방법을 검토했다. 클릭 신호 분류의 정확도를 높이기 위해 단일 시계열 자료를 분수 푸리에 변환을 사용하여 분수 영역으로 변환하여 특징을 확장했으며, 분류를 위한 최적의 네트워크를 결정하기 위해 세 가지 순환 신경망 모델(LSTM, GRU, BiLSTM)을 비교 분석하였다. 순환 신경망 모델의 입력 자료로써 이용된 분수 영역 자료의 경우, 분수 푸리에 변환 시 회전 각도에 따라 다른 특성을 가지므로, 각 네트워크 모델에 따라 우수한 성능을 가지는 회전 각도 범위를 분석했다. 이때 네트워크 성능 분석을 위해 정확도, 정밀도, 재현율, F1-점수와 같은 성능 평가 지표를 도입했다. 수치실험 결과, 세 가지 네트워크 모두 높은 성능을 보였으며, BiLSTM 네트워크가 LSTM, GRU에 비해 뛰어난 학습 결과를 제공했다. 마지막으로, 현장 자료 적용 가능성 측면에서 BiLSTM 네트워크가 다른 네트워크에 비해 낮은 오탐지 결과를 제공하였다.