• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
• /
• pp.307-309
• /
• 2023

본 논문에서는 LSTM Autoencoder를 활용한 전동기의 Anomaly Detection을 제안한다. 전동기의 Anomaly Detection를 통해 전동킥보드의 고장을 예방하여 이용자의 안전을 보장한다. 전동기로부터 얻은 시계열 진동 데이터와 시계열 데이터 분석에 유의미한 LSTM을 활용한 Autoencoder를 통해 Anomaly Detection을 구현했다. 그 결과 99.9%의 정확도를 기록하였다.

• 한국컴퓨터정보학회논문지
• /
• 제28권11호
• /
• pp.13-20
• /
• 2023

본 논문에서는 LSTM-Autoencoder 기반 특징추출과 재구성 데이터를 이용한 수온 예측 방법을 제안한다. 냉수대 현상이 발생한 동해 낙산 지역의 해수면 수온과 수온에 영향을 미치는 풍향, 풍속 등 다변량 시계열 데이터를 이용하고, LSTM-Autoencoder 모델을 이용하여, 원본 데이터의 차원 축소를 통해 추출된 특징 데이터를 원본 데이터의 다변수 데이터로 결합한 데이터, 복원 데이터, 원본 데이터 총 3가지를 사용한다. 수온 예측을 위해 LSTM 모델에 3가지 데이터를 학습하고, 정확도를 평가한 결과 MAE 0.3652, RMSE 0.5604, MAPE 3.309%으로 LSTM-Autoencoder의 특징추출을 이용한 수온 예측 정확도가 가장 우수한 성능을 보이는 것을 확인하였다. 본 연구의 결과는 냉수대와 같이 해수면 수온 변화가 급변하는 구간의 예측 정확도를 높여, 자연재해의 피해를 예방할 수 있을 것으로 기대한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.7-10
• /
• 2021

에스컬레이터의 고장 여부를 사전에 파악하는 것은 경제적 손실뿐만 아니라 인명 피해를 예방할 수 있어서 매우 중요하다. 실제 이러한 고장 예측을 위한 많은 딥러닝 알고리즘이 연구되고 있지만, 설비의 이상 데이터 확보가 어려워 모델 학습이 어렵다는 문제점이 있다. 본 연구에서는 이러한 문제의 해결 방안으로 비지도 학습 기반의 방법론 중 하나인 LSTM Autoencoder 알고리즘을 사용해 에스컬레이터의 이상을 탐지하는 모델을 생성했고, 최종 실험 결과 모델 성능 AUROC가 0.9966, 테스트 Accuracy가 0.97이라는 높은 정확도를 기록했다.

• 응용통계연구
• /
• 제37권2호
• /
• pp.191-207
• /
• 2024

자기상관 공정에서 이상상태를 빠르게 탐지하는 절차에 대해 많은 연구가 진행되어 왔다. 가장 전통적인 절차는 관측된 데이터에 대해 적합한 시계열 모형에서 계산된 잔차를 이용하는 잔차 관리도이다. 그러나 최근에는 통계적 학습 방법을 이용하여 자기상관 공정을 모니터링하는 절차가 많이 제안되었다. 이 논문에서는 딥러닝에 기반한 비지도 학습 방법인 LSTM Autoencoder의 잠재 벡터를 이용한 모니터링 절차를 제안하고, 이를 모의실험을 통해 LSTM Autoencoder의 복원 오차를 이용한 절차, RNN 분류 모니터링 절차, 그리고 잔차 관리도 절차의 성능과 비교하였다. 모의실험 결과, 제안된 절차와 RNN 분류 모니터링 절차의 성능은 유사하지만, 제안된 절차는 학습에 이상상태의 데이터가 필요하지 않기 때문에 이상상태의 데이터를 충분하게 확보할 수 없는 공정에 유용하게 적용할 수 있다는 장점이 있다.

• 한국전자거래학회지
• /
• 제26권1호
• /
• pp.127-140
• /
• 2021

최근 센서 측정 데이터, 구매이력 등과 같이 시간 정보를 포함하는 시퀀스(sequence) 데이터가 다양한 응용에서 발생되고 있다. 주어진 시퀀스들 중 다른 시퀀스들과 매우 상이한 이상(anomalous) 시퀀스를 탐지하는 기법들은 지금까지 많이 연구되어왔으나 이들 대부분은 주로 시퀀스 내 원소들의 순서만을 고려하여 이상 시퀀스를 찾는다는 한계가 있다. 따라서 본 논문에서는 원소들의 순서와 원소들 간의 시간 간격 모두를 고려하는 새로운 이상 시퀀스 탐지 기법을 제안한다. 본 논문에서 제안하는 방법은 확장된 LSTM 오토인코더 모델을 사용한다. 이 모델은 시퀀스를 해당 시퀀스 내 원소들의 순서와 시간 간격 모두를 효과적으로 학습할 수 있는 형태로 변환하는 층을 추가로 가진다. 제안방법은 확장된 LSTM 오토인코더 모델로 주어진 시퀀스들의 특징을 학습한 뒤, 해당 모델이 잘 복원하지 못하는 시퀀스를 이상 시퀀스로 탐지한다. 본 논문에서는 정상 시퀀스와 이상 시퀀스를 혼합한 가상 데이터를 사용하여 제안 방법이 전통적인 LSTM 오토인코더만을 사용하는 방법과 비교하여 100%에 가까운 정확도를 나타냄을 보인다.

• 한국전자거래학회지
• /
• 제27권1호
• /
• pp.1-13
• /
• 2022

인터넷, 모바일 등 네트워크 기술이 발전함에 따라 내외부 침입 및 위협으로부터 조직의 자원을 보호하기 위한 보안의 중요성이 커지고 있다. 따라서 최근에는 다양한 보안 로그 이벤트에 대하여 보안 위협 여부를 사전에 파악하고, 예방하는 이상징후 식별 알고리즘의 개발이 강조되고 있다. 과거 규칙 기반 또는 통계 학습에 기반하여 개발되어 온 보안 이상징후 식별 알고리즘은 점차 기계 학습과 딥러닝에 기반한 모델링으로 진화하고 있다. 본 연구에서는 다양한 기계 학습 분석 방법론을 활용하여 악의적 내부자 위협을 사전에 식별하는 최적 알고리즘으로 LSTM-autoencoder를 변형한 Deep-autoencoder 모형을 제안한다. 본 연구는 비지도 학습에 기반한 이상탐지 알고리즘 개발을 통해 적응형 보안의 가능성을 향상시키고, 지도 학습에 기반한 정탐 레이블링을 통해 기존 알고리즘 대비 오탐율을 감소시켰다는 점에서 학문적 의의를 갖는다.

• Journal of Information Processing Systems
• /
• 제16권6호
• /
• pp.1407-1423
• /
• 2020

A graph is a data structure consisting of nodes and edges between these nodes. Graph embedding is to generate a low dimensional vector for a given graph that best represents the characteristics of the graph. Recently, there have been studies on graph embedding, especially using deep learning techniques. However, until now, most deep learning-based graph embedding techniques have focused on unweighted graphs. Therefore, in this paper, we propose a graph embedding technique for weighted graphs based on long short-term memory (LSTM) autoencoders. Given weighted graphs, we traverse each graph to extract node-weight sequences from the graph. Each node-weight sequence represents a path in the graph consisting of nodes and the weights between these nodes. We then train an LSTM autoencoder on the extracted node-weight sequences and encode each nodeweight sequence into a fixed-length vector using the trained LSTM autoencoder. Finally, for each graph, we collect the encoding vectors obtained from the graph and combine them to generate the final embedding vector for the graph. These embedding vectors can be used to classify weighted graphs or to search for similar weighted graphs. The experiments on synthetic and real datasets show that the proposed method is effective in measuring the similarity between weighted graphs.

• 대한원격탐사학회지
• /
• 제37권4호
• /
• pp.719-731
• /
• 2021

This study proposes a two-stage hybrid classification model for crop classification using multi-temporal remote sensing images; the model combines feature embedding by using an autoencoder (AE) with a convolutional neural network (CNN) classifier to fully utilize features including informative temporal and spatial signatures. Long short-term memory (LSTM)-based AE (LAE) is fine-tuned using class label information to extract latent features that contain less noise and useful temporal signatures. The CNN classifier is then applied to effectively account for the spatial characteristics of the extracted latent features. A crop classification experiment with multi-temporal unmanned aerial vehicle images is conducted to illustrate the potential application of the proposed hybrid model. The classification performance of the proposed model is compared with various combinations of conventional deep learning models (CNN, LSTM, and convolutional LSTM) and different inputs (original multi-temporal images and features from stacked AE). From the crop classification experiment, the best classification accuracy was achieved by the proposed model that utilized the latent features by fine-tuned LAE as input for the CNN classifier. The latent features that contain useful temporal signatures and are less noisy could increase the class separability between crops with similar spectral signatures, thereby leading to superior classification accuracy. The experimental results demonstrate the importance of effective feature extraction and the potential of the proposed classification model for crop classification using multi-temporal remote sensing images.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권1호
• /
• pp.216-238
• /
• 2023

In intelligent transportation systems, traffic management is an important task. The accurate forecasting of traffic characteristics like flow, congestion, and density is still active research because of the non-linear nature and uncertainty of the spatiotemporal data. Inclement weather, such as rain and snow, and other special events such as holidays, accidents, and road closures have a significant impact on driving and the average speed of vehicles on the road, which lowers traffic capacity and causes congestion in a widespread manner. This work designs a model for multivariate short-term traffic congestion prediction using SLSTM_AE-BiLSTM. The proposed design consists of a Bidirectional Long Short Term Memory(BiLSTM) network to predict traffic flow value and a Convolutional Neural network (CNN) model for detecting the congestion status. This model uses spatial static temporal dynamic data. The stacked Long Short Term Memory Autoencoder (SLSTM AE) is used to encode the weather features into a reduced and more informative feature space. BiLSTM model is used to capture the features from the past and present traffic data simultaneously and also to identify the long-term dependencies. It uses the traffic data and encoded weather data to perform the traffic flow prediction. The CNN model is used to predict the recurring congestion status based on the predicted traffic flow value at a particular urban traffic network. In this work, a publicly available Caltrans PEMS dataset with traffic parameters is used. The proposed model generates the congestion prediction with an accuracy rate of 92.74% which is slightly better when compared with other deep learning models for congestion prediction.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권5호
• /
• pp.1590-1609
• /
• 2021

Laughter is one of the most important nonverbal sound that human generates. It is a means for expressing his emotions. The acoustic and contextual features of this specific sound are different from those of speech and many difficulties arise during their modeling process. During this work, we propose an audio laughter generation system based on unsupervised generative models: the autoencoder (AE) and its variants. This procedure is the association of three main sub-process, (1) the analysis which consist of extracting the log magnitude spectrogram from the laughter database, (2) the generative models training, (3) the synthesis stage which incorporate the involvement of an intermediate mechanism: the vocoder. To improve the synthesis quality, we suggest two hybrid models (LSTM-VAE, GRU-VAE and CNN-VAE) that combine the representation learning capacity of variational autoencoder (VAE) with the temporal modelling ability of a long short-term memory RNN (LSTM) and the CNN ability to learn invariant features. To figure out the performance of our proposed audio laughter generation process, objective evaluation (RMSE) and a perceptual audio quality test (listening test) were conducted. According to these evaluation metrics, we can show that the GRU-VAE outperforms the other VAE models.