• 제목/요약/키워드: Prediction of Missing Values in Time-Series Data

검색결과 6건 처리시간 0.02초

A Novel Framework Based on CNN-LSTM Neural Network for Prediction of Missing Values in Electricity Consumption Time-Series Datasets

  • Hussain, Syed Nazir;Aziz, Azlan Abd;Hossen, Md. Jakir;Aziz, Nor Azlina Ab;Murthy, G. Ramana;Mustakim, Fajaruddin Bin
    • Journal of Information Processing Systems
    • /
    • 제18권1호
    • /
    • pp.115-129
    • /
    • 2022
  • Adopting Internet of Things (IoT)-based technologies in smart homes helps users analyze home appliances electricity consumption for better overall cost monitoring. The IoT application like smart home system (SHS) could suffer from large missing values gaps due to several factors such as security attacks, sensor faults, or connection errors. In this paper, a novel framework has been proposed to predict large gaps of missing values from the SHS home appliances electricity consumption time-series datasets. The framework follows a series of steps to detect, predict and reconstruct the input time-series datasets of missing values. A hybrid convolutional neural network-long short term memory (CNN-LSTM) neural network used to forecast large missing values gaps. A comparative experiment has been conducted to evaluate the performance of hybrid CNN-LSTM with its single variant CNN and LSTM in forecasting missing values. The experimental results indicate a performance superiority of the CNN-LSTM model over the single CNN and LSTM neural networks.

결측치 비율이 높은 시계열 데이터 분석 및 예측을 위한 머신러닝 모델 구축 (Development of a Machine Learning Model for Imputing Time Series Data with Massive Missing Values)

  • 고방원;한용희
    • 한국정보전자통신기술학회논문지
    • /
    • 제17권3호
    • /
    • pp.176-182
    • /
    • 2024
  • 본 연구는 결측치 비율이 높은 시계열 데이터를 효과적으로 분석하고 예측할 수 있는 머신러닝 모델을 구축하기 위해 다양한 결측치 처리 방법을 비교 분석하였다. 이를 위해 PSMF(Predictive State Model Filtering), MissForest, IBFI(Imputation By Feature Importance) 방법을 적용하였으며, 이후 LightGBM, XGBoost, EBM(Explainable Boosting Machines) 머신러닝 모델을 사용하여 예측 성능을 평가하였다. 연구 결과, 결측치 처리 방법 중에서는 MissForest와 IBFI가 비선형적 데이터 패턴을 잘 반영하여 가장 높은 성능을 나타냈으며, 머신러닝 모델 중에서는 XGBoost와 EBM 모델이 LightGBM 모델보다 더 높은 성능을 보였다. 본 연구는 결측치 비율이 높은 시계열 데이터의 분석 및 예측에 있어 비선형적 결측치 처리 방법과 머신러닝 모델의 조합이 중요함을 강조하며, 실무적으로 유용한 방법론을 제시하였다.

Savitzky-Golay 필터와 미분을 활용한 LSTM 기반 지하수 수위 예측 모델의 성능 비교 (Performance Comparison of LSTM-Based Groundwater Level Prediction Model Using Savitzky-Golay Filter and Differential Method )

  • 송근산;송영진
    • 반도체디스플레이기술학회지
    • /
    • 제22권3호
    • /
    • pp.84-89
    • /
    • 2023
  • In water resource management, data prediction is performed using artificial intelligence, and companies, governments, and institutions continue to attempt to efficiently manage resources through this. LSTM is a model specialized for processing time series data, which can identify data patterns that change over time and has been attempted to predict groundwater level data. However, groundwater level data can cause sen-sor errors, missing values, or outliers, and these problems can degrade the performance of the LSTM model, and there is a need to improve data quality by processing them in the pretreatment stage. Therefore, in pre-dicting groundwater data, we will compare the LSTM model with the MSE and the model after normaliza-tion through distribution, and discuss the important process of analysis and data preprocessing according to the comparison results and changes in the results.

  • PDF

시계열 분석을 이용한 진동만의 용존산소량 예측 (Prediction of Dissolved Oxygen in Jindong Bay Using Time Series Analysis)

  • 한명수;박성은;최영진;김영민;황재동
    • 해양환경안전학회지
    • /
    • 제26권4호
    • /
    • pp.382-391
    • /
    • 2020
  • 본 연구에서는 인공지능기법을 이용하여 진동만의 용존산소량 예측을 하였다. 관측자료에 존재하는 결측 구간을 보간하기 위해 양방향재귀신경망(BRITS, Bidirectional Recurrent Imputation for Time Series) 딥러닝 알고리즘을 이용하였고, 대표적 시계열 예측 선형모델인 ARIMA(Auto-Regressive Integrated Moving Average)과 비선형모델 중 가장 많이 이용되고 있는 LSTM(Long Short-Term Memory) 모델을 이용하여 진동만의 용존산소량을 예측하고 그 성능을 평가했다. 결측 구간 보정 실험은 표층에서 높은 정확도로 보정이 가능했으나, 저층에서는 그 정확도가 낮았으며, 중층에서는 실험조건에 따라 정확도가 불안정하게 나타났다. 실험조건에 따라 정확도가 불안정하게 나타났다. 결과로부터 LSTM 모델이 중층과 저층에서 ARIMA 모델보다 우세한 정확도를 보였으나, 표층에서는 ARIMA모델의 정확도가 약간 높은 것으로 나타났다.

Long short term memory 모델을 이용한 시계열 수중 소음 데이터 예측 (Prediction of time-series underwater noise data using long short term memory model)

  • 이혜선;홍우영;김국현;이근화
    • 한국음향학회지
    • /
    • 제42권4호
    • /
    • pp.313-319
    • /
    • 2023
  • 본 논문에서는 일부 소음 데이터만 알고 있을 때 결손된 데이터를 예측할 목적으로 수조에서 측정된 기포유동 소음 데이터와 수중 운동체 발사 소음 데이터를 시계열 기계학습 모델인 Long Short Term Memory(LSTM)에 적용해 보았다. 기포유동소음 데이터는 파이프에서 측정된 소음으로 기포소음, 유동소음, 유체기인소음이 혼합되어 있으며 유형별로 3가지로 분류할 수 있다. 수중 운동체 발사소음은 모형 발사튜브에서 수중 운동체가 사출될 때 발생하는 소음으로 순간소음이며 발사 이벤트마다 불규칙하게 변한다. 이러한 종류의 소음 생성을 위해서는 해석적인 모델보다는 데이터 기반 모델이 유용할 수 있다. 본 연구에서는 LSTM을 데이터 기반 모델을 만들었다. 모델에 영향을 주는 LSTM의 은닉유닛의 개수, 입력시퀸스의 개수, 데시메이션 인자에 따른 모델의 성능을 확인하고 최적의 LSTM 모델을 구성했다. 같은 유형은 새로운 데이터에 대해서도 잘 동작하는 것을 보였다.

적대적 학습 기반 오토인코더(ATAE)를 이용한 다차원 상수도관망 데이터 생성 (Multidimensional data generation of water distribution systems using adversarially trained autoencoder)

  • 김세형;전상훈;정동휘
    • 한국수자원학회논문집
    • /
    • 제56권7호
    • /
    • pp.439-449
    • /
    • 2023
  • 최근 계측 기술의 발전으로 압력계와 유량계 등 다양한 센서를 설치하여 상수도관망의 상태를 효과적으로 파악할 수 있게 되었으나, 도시가 광범위하게 개발됨에 따라 계측 신뢰도에 영향을 미치는 변수는 다양해지고 있다. 특히 상수도관망 분석에 중요한 영향력을 가지는 수요 데이터의 경우 직접 계측의 난이도가 높고 결측이 발생하기 쉬운 것으로 알려져 데이터 생성의 중요도가 증가하고 있다. 본 논문에서는 상수도관망에서 누락된 데이터를 정확하게 생성하기 위해 생성적 딥러닝 모델에 기반한 적대적 학습 기반 오토인코더(ATAE) 모델을 제안한다. 제안된 모델은 판별 신경망과 생성 신경망의 두 가지 신경망의 적대적 학습을 사용하여 압력 데이터로부터 수요 데이터를 생성한다. 학습이 완료된 ATAE 모델의 생성 신경망은 관망의 계측되는 압력 데이터가 존재하는 경우, 그로부터 추정된 관망 수요 데이터를 제공할 수 있다. ATAE 모델은 미국 텍사스주 오스틴의 실제 상수도망에 적용되어 성능이 검증되었다. 수요 및 압력 시계열 데이터의 불확실성 정도에 따른 ATAE 예측 결과의 정확도를 비교하여 데이터 불확실성의 영향을 분석하였으며, 또한 수요 수준에 따른 데이터 수집 기간별 생성 결과를 비교하여 이에 따른 데이터 생성 성능을 검토하였다.