• 제목/요약/키워드: LSTM-RNN

검색결과 203건 처리시간 0.027초

코로나 확진자 수 예측을 위한 BI-LSTM과 GRU 알고리즘의 성능 비교 분석 (Comparative analysis of performance of BI-LSTM and GRU algorithm for predicting the number of Covid-19 confirmed cases)

  • 김재호;김장영
    • 한국정보통신학회논문지
    • /
    • 제26권2호
    • /
    • pp.187-192
    • /
    • 2022
  • 위드 코로나의 예정 발표일이 결정되었고, 위드 코로나에 가장 중요한 조건인 백신 접종을 아직 부작용 걱정 때문에 완료하지 않은 사람들이 있다. 또한 위드 코로나로 경제는 회복될 수 있지만 감염자 수는 급증할 수 있다. 본 논문은 위드 코로나에 앞서 코로나19에 대한 경각심을 깨우고자, 코로나19를 비선형 확률과정으로 예측한다. 여기서 딥러닝의 RNN중 양방향 LSTM인 BI-LSTM와 LSTM보다 gate수를 줄인 GRU를 사용하고 이것을 train set, test set, 손실함수, 잔차분석, 정규분포, 자기 상관을 통해서 비교 분석하여 어떠한 성능이 더 좋은지 비교하고 예측한다.

LSTM 기반의 sequence-to-sequence 모델을 이용한 한글 자동 띄어쓰기 (LSTM based sequence-to-sequence Model for Korean Automatic Word-spacing)

  • 이태석;강승식
    • 스마트미디어저널
    • /
    • 제7권4호
    • /
    • pp.17-23
    • /
    • 2018
  • 자동 띄어쓰기 특성을 효과적으로 처리할 수 있는 LSTM(Long Short-Term Memory Neural Networks) 기반의 RNN 모델을 제시하고 적용한 결과를 분석하였다. 문장이 길거나 일부 노이즈가 포함된 경우에 신경망 학습이 쉽지 않은 문제를 해결하기 위하여 입력 데이터 형식과 디코딩 데이터 형식을 정의하고, 신경망 학습에서 드롭아웃, 양방향 다층 LSTM 셀, 계층 정규화 기법, 주목 기법(attention mechanism)을 적용하여 성능을 향상시키는 방법을 제안하였다. 학습 데이터로는 세종 말뭉치 자료를 사용하였으며, 학습 데이터가 부분적으로 불완전한 띄어쓰기가 포함되어 있었음에도 불구하고, 대량의 학습 데이터를 통해 한글 띄어쓰기에 대한 패턴이 의미 있게 학습되었다. 이것은 신경망에서 드롭아웃 기법을 통해 학습 모델의 오버피팅이 되지 않도록 함으로써 노이즈에 강한 모델을 만들었기 때문이다. 실험결과로 LSTM sequence-to-sequence 모델이 재현율과 정확도를 함께 고려한 평가 점수인 F1 값이 0.94로 규칙 기반 방식과 딥러닝 GRU-CRF보다 더 높은 성능을 보였다.

순환신경망을 이용한 질병발생건수 예측 (Predicting the number of disease occurrence using recurrent neural network)

  • 이승현;여인권
    • 응용통계연구
    • /
    • 제33권5호
    • /
    • pp.627-637
    • /
    • 2020
  • 본 논문에서는 건강보험심사평가원에서 제공한 약 120만명의 2014년 고령환자의료자료(HIRA-APS-2014-0053)과 기상자료를 일반화추정방정식(generalized estimating equation; GEE) 모형과 long short term memory (LSTM) 기반 순환신경망(recurrent neural network; RNN) 모형으로 분석하여 기상 조건에 따른 주요 주상병의 발생 빈도를 예측한다. 이를 위해 환자가 의료 서비스를 받은 기관의 지역을 이용하여 환자의 거주지를 추정하고 해당 지역의 주별 기상 관측소 자료와 의료자료를 병합하였다. 질병 발생 상태를 세 개의 범주(질병에 걸리지 않음, 관심 주상병 발생, 다른 질병 방생)로 나누었으며 각 범주에 속할 확률을 GEE 모형과 RNN 모형으로 추정하였다. 각 범주별 발생 건수는 해당 범주의 속할 추정확률의 합으로 계산하였으며 비교분석결과 RNN을 이용한 예측이 GEE를 이용한 예측보다 정확도가 높은 것으로 나타났다.

STFT와 RNN을 활용한 화자 인증 모델 (Speaker Verification Model Using Short-Time Fourier Transform and Recurrent Neural Network)

  • 김민서;문종섭
    • 정보보호학회논문지
    • /
    • 제29권6호
    • /
    • pp.1393-1401
    • /
    • 2019
  • 최근 시스템에 음성 인증 기능이 탑재됨에 따라 화자(Speaker)를 정확하게 인증하는 중요성이 높아지고 있다. 이에 따라 다양한 방법으로 화자를 인증하는 모델이 제시되어 왔다. 본 논문에서는 Short-time Fourier transform(STFT)를 적용한 새로운 화자 인증 모델을 제안한다. 이 모델은 기존의 Mel-Frequency Cepstrum Coefficients(MFCC) 추출 방법과 달리 윈도우 함수를 약 66.1% 오버랩하여 화자 인증 시 정확도를 높일 수 있다. 새로운 화자 인증 모델을 제안한다. 이 때, LSTM 셀을 적용한 Recurrent Neural Network(RNN)라는 딥러닝 모델을 사용하여 시변적 특징을 가지는 화자의 음성 특징을 학습하고, 정확도가 92.8%로 기존의 화자 인증 모델보다 5.5% 정확도가 높게 측정되었다.

RNN을 이용한 태양광 에너지 생산 예측 (Solar Energy Prediction using Environmental Data via Recurrent Neural Network)

  • 리아크 무사다르;변영철;이상준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.1023-1025
    • /
    • 2019
  • Coal and Natural gas are two biggest contributors to a generation of energy throughout the world. Most of these resources create environmental pollution while making energy affecting the natural habitat. Many approaches have been proposed as alternatives to these sources. One of the leading alternatives is Solar Energy which is usually harnessed using solar farms. In artificial intelligence, the most researched area in recent times is machine learning. With machine learning, many tasks which were previously thought to be only humanly doable are done by machine. Neural networks have two major subtypes i.e. Convolutional neural networks (CNN) which are used primarily for classification and Recurrent neural networks which are utilized for time-series predictions. In this paper, we predict energy generated by solar fields and optimal angles for solar panels in these farms for the upcoming seven days using environmental and historical data. We experiment with multiple configurations of RNN using Vanilla and LSTM (Long Short-Term Memory) RNN. We are able to achieve RSME of 0.20739 using LSTMs.

다변수 Bidirectional RNN을 이용한 표층수온 결측 데이터 보간 (Imputation of Missing SST Observation Data Using Multivariate Bidirectional RNN)

  • 신용탁;김동훈;김현재;임채욱;우승범
    • 한국해안·해양공학회논문집
    • /
    • 제34권4호
    • /
    • pp.109-118
    • /
    • 2022
  • 정점 표층 수온 관측 데이터 중 결측 구간의 데이터를 양방향 순환신경망(Bidirectional Recurrent Neural Network, BiRNN) 기법을 이용하여 보간하였다. 인공지능 기법 중 시계열 데이터에 일반적으로 활용되는 Recurrent Neural Networks(RNNs)은 결측 추정 위치까지의 시간 흐름 방향 또는 역방향으로만 추정하기 때문에 장기 결측 구간에는 추정 성능이 떨어진다. 반면, 본 연구에서는 결측 구간 전후의 양방향으로 추정을 하여 장기 결측 데이터에 대해서도 추정 성능을 높일 수 있다. 또한 관측점 주위의 가용한 모든 데이터(수온, 기온, 바람장, 기압, 습도)를 사용함으로써, 이들 상관관계로부터 보간 데이터를 함께 추정하도록 하여 보간 성능을 더욱 높이고자 하였다. 성능 검증을 위하여 통계 기반 모델인 Multivariate Imputation by Chained Equations(MICE)와 기계학습 기반의 Random Forest 모델, 그리고 Long Short-Term Memory(LSTM)을 이용한 RNN 모델과 비교하였다. 7일간의 장기 결측에 대한 보간에 대해서 BiRNN/통계 모델들의 평균 정확도가 각각 70.8%/61.2%이며 평균 오차가 각각 0.28도/0.44도로 BiRNN 모델이 다른 모델보다 좋은 성능을 보인다. 결측 패턴을 나타내는 temporal decay factor를 적용함으로써 BiRNN 기법이 결측 구간이 길어질수록 보간 성능이 기존 방법보다 우수한 것으로 판단된다.

순환 신경망 기반 딥러닝 모델들을 활용한 실시간 스트리밍 트래픽 예측 (Real-Time Streaming Traffic Prediction Using Deep Learning Models Based on Recurrent Neural Network)

  • 김진호;안동혁
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제12권2호
    • /
    • pp.53-60
    • /
    • 2023
  • 최근 실시간 스트리밍 플랫폼을 기반으로 한 다양한 멀티미디어 컨텐츠의 수요량과 트래픽 양이 급격히 증가하고 있는 추세이다. 본 논문에서는 실시간 스트리밍 서비스의 품질을 향상시키기 위해서 실시간 스트리밍 트래픽을 예측한다. 네트워크 트래픽을 예측하기 위해 통계적 모형을 활용하였으나, 실시간 스트리밍 트래픽은 매우 동적으로 변화함에 따라 통계적 모형보다는 순환 신경망 기반 딥러닝 모델이 적합하다. 따라서, 실시간 스트리밍 트래픽을 수집, 정제 후 Vanilla RNN, LSTM, GRU, Bi-LSTM, Bi-GRU 모델을 활용하여 예측하며, 각 모델의 학습 시간, 정확도를 측정하여 비교한다.

스트립된 바이너리에서 LSTM을 이용한 함수정보 추출 기법 (Extraction Scheme of Function Information in Stripped Binaries using LSTM)

  • 장두혁;김선민;허준영
    • 한국소프트웨어감정평가학회 논문지
    • /
    • 제17권2호
    • /
    • pp.39-46
    • /
    • 2021
  • 악성코드를 분석하여 방어하기 위해, 함수 위치 정보 등을 분석 방식으로 리버스 엔지니어링을 활용한다. 하지만, 스트립 된 바이너리는 함수 심볼 정보가 제거되어 함수 위치 등의 정보를 찾기가 쉽지 않다. 이를 해결하기 위해, BAP, BitBlaze IDA Pro 등 다양한 바이너리 분석 도구가 존재하지만, 휴리스틱을 기반으로 하므로 일반적인 성능이 우수하진 못하다. 본 논문에서는 재귀 하강 방식으로 역 어셈블리어에 대응되는 바이너리를 데이터로 N-byte 기법의 알고리즘을 제시해 LSTM 기반 모델을 적용하여 함수정보를 추출하는 기법을 제안한다. 실험을 통해 제안 기법이 수행 시간과 정확도 면에서 기존 기법들보다 우수함을 보였다.

기계학습을 활용한 하수관로 수위 예측 (Prediction of water level in sewer pipes using machine learning)

  • 임희성;안현욱;이효진;송인혁
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.93-93
    • /
    • 2023
  • 최근 범지구적인 기후변화로 인해 도시유역의 홍수 발생 빈도가 빈번하게 발생하고 있다. 이로 인해 불투수성이 큰 도시지역의 침수 등의 자연재해 증가로 인명 및 재산피해가 발생하고 있다. 이에 따라 하수도의 제 기능을 수행하고 있다면 문제가 없지만 이상기후로 인한 기록적인 폭우에 의해 침수가 발생하고 있다. 홍수 및 집중호우와 같은 극치사상의 발생빈도가 증가됨에 따라 강우 사상의 변동에 따른 하수관로의 수위를 예측하고 침수에 대해 대처하기 위해 과거 수위에 따른 수위 예측은 중요할 것으로 판단된다. 본 연구에서는 수위 예측 연구에 많이 활용되고 있는 시계열 학습에 탁월한 LSTM 알고리즘을 활용한 하수관로 수위 예측을 진행하였다. 데이터의 학습과 검증을 수행하기 위해 실제 하수관로 수위 데이터를 수집하여 연구를 수행하였으며, 대상자료는 서울특별시 강동구에 위치한 하수관로 수위 자료를 활용하였다. 하수관로 수위 예측에는 딥러닝 알고리즘 RNN-LSTM 알고리즘을 활용하였으며, RNN-LSTM 알고리즘은 하천의 수위 예측에 우수한 성능을 보여준 바 있다. 1분 뒤 하수관로 수위 예측보다 5분, 10분 뒤 또는 1시간 3시간 등 다양한 분석을 실시하였다. 데이터 분석을 위해 하수관로 수위값 변동이 심한 1주일을 선정하여 분석을 실시하였다. 연구에는 Google에서 개발한 딥러닝 오픈소스 라이브러리인 텐서플로우를 활용하였으며, 하수관로 수위 고유번호 25-0001을 대상으로 예측을 하였다. 학습에는 2012년 ~ 2018년의 하수관로 수위 자료를 활용하였으며, 모형의 검증을 위해 결정계수(R square)를 이용하여 통계분석을 실시하였다.

  • PDF

Prediction of the DO concentration using the machine learning algorithm: case study in Oncheoncheon, Republic of Korea

  • Lim, Heesung;An, Hyunuk;Choi, Eunhyuk;Kim, Yeonsu
    • 농업과학연구
    • /
    • 제47권4호
    • /
    • pp.1029-1037
    • /
    • 2020
  • The machine learning algorithm has been widely used in water-related fields such as water resources, water management, hydrology, atmospheric science, water quality, water level prediction, weather forecasting, water discharge prediction, water quality forecasting, etc. However, water quality prediction studies based on the machine learning algorithm are limited compared to other water-related applications because of the limited water quality data. Most of the previous water quality prediction studies have predicted monthly water quality, which is useful information but not enough from a practical aspect. In this study, we predicted the dissolved oxygen (DO) using recurrent neural network with long short-term memory model recurrent neural network long-short term memory (RNN-LSTM) algorithms with hourly- and daily-datasets. Bugok Bridge in Oncheoncheon, located in Busan, where the data was collected in real time, was selected as the target for the DO prediction. The 10-month (temperature, wind speed, and relative humidity) data were used as time prediction inputs, and the 5-year (temperature, wind speed, relative humidity, and rainfall) data were used as the daily forecast inputs. Missing data were filled by linear interpolation. The prediction model was coded based on TensorFlow, an open-source library developed by Google. The performance of the RNN-LSTM algorithm for the hourly- or daily-based water quality prediction was tested and analyzed. Research results showed that the hourly data for the water quality is useful for machine learning, and the RNN-LSTM algorithm has potential to be used for hourly- or daily-based water quality forecasting.