• 제목/요약/키워드: Recurrent neural network(RNN)

검색결과 226건 처리시간 0.027초

순환 신경망 기반 딥러닝 모델들을 활용한 실시간 스트리밍 트래픽 예측 (Real-Time Streaming Traffic Prediction Using Deep Learning Models Based on Recurrent Neural Network)

  • 김진호;안동혁
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제12권2호
    • /
    • pp.53-60
    • /
    • 2023
  • 최근 실시간 스트리밍 플랫폼을 기반으로 한 다양한 멀티미디어 컨텐츠의 수요량과 트래픽 양이 급격히 증가하고 있는 추세이다. 본 논문에서는 실시간 스트리밍 서비스의 품질을 향상시키기 위해서 실시간 스트리밍 트래픽을 예측한다. 네트워크 트래픽을 예측하기 위해 통계적 모형을 활용하였으나, 실시간 스트리밍 트래픽은 매우 동적으로 변화함에 따라 통계적 모형보다는 순환 신경망 기반 딥러닝 모델이 적합하다. 따라서, 실시간 스트리밍 트래픽을 수집, 정제 후 Vanilla RNN, LSTM, GRU, Bi-LSTM, Bi-GRU 모델을 활용하여 예측하며, 각 모델의 학습 시간, 정확도를 측정하여 비교한다.

도로포장의 유지관리 계획 수립을 위한 딥러닝 기반 열화 예측 모델 개발 (Development of Deep Learning Based Deterioration Prediction Model for the Maintenance Planning of Highway Pavement)

  • 이용준;선종완;이민재
    • 한국건설관리학회논문집
    • /
    • 제20권6호
    • /
    • pp.34-43
    • /
    • 2019
  • 도로연장의 지속적인 증가와 공용기간이 상당히 경과한 노후 노선이 늘어남에 따라 도로포장에 대한 유지관리비용은 점차 증가하고 있어, 예방적 유지관리를 통해 비용을 최소화 하는 방안에 대한 필요성이 제기되고 있다. 예방적 유지관리를 위해서는 도로포장의 정확한 열화 예측을 통한 전략적 유지관리 계획 수립이 필요하다. 이에 본 연구에서는 고속도로포장 열화예측 모델 개발을 위해 딥러닝 모델 중 가장 보편적으로 많이 사용하는 심층신경망(DNN)과 시계열 데이터 분석에 강점을 가진 순환신경망(RNN)을 사용하였으며, 두 개의 모델의 성능을 비교 분석하여 우수한 모델을 제안하였다. RNN의 Vanishing Gradient Problem을 해결하기 위해 좀 더 복잡한 형태의 RNN구조인 LSTM(Long short-term memory circuits)을 사용하였다. 학습 결과, RNN-LSTM 모델의 RMSE 값이 0.102로 DNN모델보다 낮아 성능이 더 우수하였다. 또한, 대상구간의 시간경과별 평균 도로포장 상태 예측치와 실제 도로포장 상태 실측치의 비교를 통해 RNN-LSTM 모델의 높은 정확도를 검증하였다. 따라서 향후 고속도로 콘크리트 포장의 유지관리 계획 수립시 유지보수 수요 추정을 위한 열화 예측 모델로는 DNN 모델보다 시계열 분석에 강한 RNN-LSTM의 모델을 제안한다.

S2-Net: SRU 기반 Self-matching Network를 이용한 한국어 기계 독해 (S2-Net: Korean Machine Reading Comprehension with SRU-based Self-matching Network)

  • 박천음;이창기;홍수린;황이규;유태준;김현기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.35-40
    • /
    • 2017
  • 기계 독해(Machine reading comprehension)는 주어진 문맥을 이해하고, 질문에 적합한 답을 문맥 내에서 찾는 문제이다. Simple Recurrent Unit (SRU)은 Gated Recurrent Unit (GRU)등과 같이 neural gate를 이용하여 Recurrent Neural Network (RNN)에서 발생하는 vanishing gradient problem을 해결하고, gate 입력에서 이전 hidden state를 제거하여 GRU보다 속도를 향상시킨 모델이며, Self-matching Network는 R-Net 모델에서 사용된 것으로, 자기 자신의 RNN sequence에 대하여 어텐션 가중치 (attention weight)를 계산하여 비슷한 의미 문맥 정보를 볼 수 있기 때문에 상호참조해결과 유사한 효과를 볼 수 있다. 본 논문에서는 한국어 기계 독해 데이터 셋을 구축하고, 여러 층의 SRU를 이용한 Encoder에 Self-matching layer를 추가한 $S^2$-Net 모델을 제안한다. 실험 결과, 본 논문에서 제안한 $S^2$-Net 모델이 한국어 기계 독해 데이터 셋에서 EM 65.84%, F1 78.98%의 성능을 보였다.

  • PDF

S2-Net: SRU 기반 Self-matching Network를 이용한 한국어 기계 독해 (S2-Net: Korean Machine Reading Comprehension with SRU-based Self-matching Network)

  • 박천음;이창기;홍수린;황이규;유태준;김현기
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.35-40
    • /
    • 2017
  • 기계 독해(Machine reading comprehension)는 주어진 문맥을 이해하고, 질문에 적합한 답을 문맥 내에서 찾는 문제이다. Simple Recurrent Unit (SRU)은 Gated Recurrent Unit (GRU)등과 같이 neural gate를 이용하여 Recurrent Neural Network (RNN)에서 발생하는 vanishing gradient problem을 해결하고, gate 입력에서 이전 hidden state를 제거하여 GRU보다 속도를 향상시킨 모델이며, Self-matching Network는 R-Net 모델에서 사용된 것으로, 자기 자신의 RNN sequence에 대하여 어텐션 가중치 (attention weight)를 계산하여 비슷한 의미 문맥 정보를 볼 수 있기 때문에 상호참조해결과 유사한 효과를 볼 수 있다. 본 논문에서는 한국어 기계 독해 데이터 셋을 구축하고, 여러 층의 SRU를 이용한 Encoder에 Self-matching layer를 추가한 $S^2$-Net 모델을 제안한다. 실험 결과, 본 논문에서 제안한 $S^2$-Net 모델이 한국어 기계 독해 데이터 셋에서 EM 65.84%, F1 78.98%의 성능을 보였다.

  • PDF

부하변동을 보상한 유도전동기 신경망 속도 제어기 (Load variation Compensated Neural Network Speed Controller for Induction Motor Drives)

  • 오원석;조규민;김희준;신태현;김영태
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2002년도 하계학술대회 논문집 B
    • /
    • pp.1137-1139
    • /
    • 2002
  • In this paper, recurrent artificial neural network (RNN) based self tuning speed controller is proposed for the high performance drives of induction motor. RNN provides a nonlinear modeling of motor drive system and could give the information of the load variation, system noise and parameter variation of induction motor to the controller through the on-line estimated weights of corresponding RNN. Thus, proposed self tuning controller can change gains of the controller according to system conditions. The gain is composed with the weights of RNN. For the on-line estimation of the weights of RNN, extended kalman filter (EKF) algorithm is used. Self tuning controller that is adequate for the speed control of induction motor is designed. The availability of the proposed controller is verified through the MATLAB simulation with the comparison of conventional PI controller.

  • PDF

신경회로망을 이용한 원자력발전소 증기발생기의 지능제어 (Intelligent Control of Nuclear Power Plant Steam Generator Using Neural Networks)

  • 김성수;이재기;최진영
    • 제어로봇시스템학회논문지
    • /
    • 제6권2호
    • /
    • pp.127-137
    • /
    • 2000
  • This paper presents a novel neural based controller which controls the water level of the nuclear power plant steam generator. The controller consists of a model reference feedback linearization controller and a PI controller for stabilizing the feedback linearization controller. The feedback linearization controller consists of a neural network model and an inversing module which uses the neural network model for computing the control input to the steam generator. We chose Piecewise Linearly Trained Network(PLTN) and Recurrent Neural Netwrok(RNN) for an approximator of the plant and used these approximators in calculating the input from the feedback linearization controller. Combining the above two controllers gives a result of better performance than the case which uses only a PI controller Each control result of PLTN and RNN is given.

  • PDF

RNN을 이용한 태양광 에너지 생산 예측 (Solar Energy Prediction using Environmental Data via Recurrent Neural Network)

  • 리아크 무사다르;변영철;이상준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.1023-1025
    • /
    • 2019
  • Coal and Natural gas are two biggest contributors to a generation of energy throughout the world. Most of these resources create environmental pollution while making energy affecting the natural habitat. Many approaches have been proposed as alternatives to these sources. One of the leading alternatives is Solar Energy which is usually harnessed using solar farms. In artificial intelligence, the most researched area in recent times is machine learning. With machine learning, many tasks which were previously thought to be only humanly doable are done by machine. Neural networks have two major subtypes i.e. Convolutional neural networks (CNN) which are used primarily for classification and Recurrent neural networks which are utilized for time-series predictions. In this paper, we predict energy generated by solar fields and optimal angles for solar panels in these farms for the upcoming seven days using environmental and historical data. We experiment with multiple configurations of RNN using Vanilla and LSTM (Long Short-Term Memory) RNN. We are able to achieve RSME of 0.20739 using LSTMs.

An accident diagnosis algorithm using long short-term memory

  • Yang, Jaemin;Kim, Jonghyun
    • Nuclear Engineering and Technology
    • /
    • 제50권4호
    • /
    • pp.582-588
    • /
    • 2018
  • Accident diagnosis is one of the complex tasks for nuclear power plant (NPP) operators. In abnormal or emergency situations, the diagnostic activity of the NPP states is burdensome though necessary. Numerous computer-based methods and operator support systems have been suggested to address this problem. Among them, the recurrent neural network (RNN) has performed well at analyzing time series data. This study proposes an algorithm for accident diagnosis using long short-term memory (LSTM), which is a kind of RNN, which improves the limitation for time reflection. The algorithm consists of preprocessing, the LSTM network, and postprocessing. In the LSTM-based algorithm, preprocessed input variables are calculated to output the accident diagnosis results. The outputs are also postprocessed using softmax to determine the ranking of accident diagnosis results with probabilities. This algorithm was trained using a compact nuclear simulator for several accidents: a loss of coolant accident, a steam generator tube rupture, and a main steam line break. The trained algorithm was also tested to demonstrate the feasibility of diagnosing NPP accidents.

RNN 모델을 이용한 스마트 중간층 면진시스템의 제어성능 평가 (Control Performance Evaluation of Smart Mid-story Isolation System with RNN Model)

  • 김현수
    • 한국산학기술학회논문지
    • /
    • 제21권1호
    • /
    • pp.774-779
    • /
    • 2020
  • 본 논문에서는 RNN 순환 신경망 (Recurrent Neural Network) 모델을 사용하여 스마트 중간층 면진 시스템의 지진 응답 제어 성능을 수치 해석을 통하여 검토하였다. 이를 위해서 지진 하중을 받는 건물의 동적 지진 응답 예측을 위한 RNN 모델을 개발하였다. 보다 실제적인 연구를 위하여 중간층 면진 시스템이 설치된 실존하는 건물인 시오도메 스미토모 건물을 예제 구조물로 선택하였다. 스마트 중간층 면진 시스템은 기존의 납 댐퍼를 대신하여 MR (Magnetorheological) 댐퍼를 사용하여 구성하였다. 그 외 고무 베어링이나 강재 댐퍼는 그대로 사용 하였다. 수치 해석을 통하여 개발된 RNN 모델이 기존의 FEM (Finite Element Method) 모델과 비교해서 매우 정확한 응답을 예측하는 것을 확인할 수 있었다. RNN 모델을 사용하면 자유도가 많은 FEM 모델을 사용한 경우에 비하여 해석 시간을 대폭 줄일 수 있다. 개발된 RNN 모델을 사용한 수치 해석 결과 스마트 중간층 면진 시스템이 기존의 수동 중간층 면진 시스템에 비하여 구조물의 지진 응답을 대폭 저감시킬 수 있는 것을 확인할 수 있었다.

비관계형 데이터베이스 환경에서 CNN과 RNN을 활용한 NoSQL 삽입 공격 탐지 모델 (Detection of NoSQL Injection Attack in Non-Relational Database Using Convolutional Neural Network and Recurrent Neural Network)

  • 서정은;문종섭
    • 정보보호학회논문지
    • /
    • 제30권3호
    • /
    • pp.455-464
    • /
    • 2020
  • 데이터 활용의 다양성이 높아짐에 따라 비관계형 데이터베이스 사용이 증가했으며, 이에 대한 NoSQL 삽입 공격 또한 증가했다. 전통적으로 NoSQL 삽입 공격을 탐지하기 위해 규칙 기반 탐지 방법론이 제안돼왔으나, 이 방식은 규칙의 범위를 벗어나 발생하는 삽입 공격에의 대응이 어렵다는 한계점이 있다. 이에 본 논문에서는 CNN 알고리즘을 이용해 특징을 추출하고, RNN 알고리즘을 활용해 NoSQL 삽입 공격을 탐지하는 기법을 제시한다. 또한, 실험을 통하여 본 논문에서 제시한 모델이 기존의 지도학습을 이용한 가장 우수한 모델보다 정확도는 10%, 정밀도는 4%, 재현율은 14%, F2-score는 0.082만큼 더 높은 비율로 NoSQL 삽입 공격을 탐지함을 보인다.