• 제목/요약/키워드: Attention LSTM

검색결과 110건 처리시간 0.02초

제조 설비 이상탐지를 위한 지도학습 및 비지도학습 모델 설계에 관한 연구 (A Study on the Design of Supervised and Unsupervised Learning Models for Fault and Anomaly Detection in Manufacturing Facilities)

  • 오민지;최은선;노경우;김재성;조완섭
    • 한국빅데이터학회지
    • /
    • 제6권1호
    • /
    • pp.23-35
    • /
    • 2021
  • 제4차 산업혁명 선언 이후 생산 제조 기술과 정보통신기술(ICT)이 융합된 스마트 팩토리가 큰 주목을 받고 사물인터넷(IoT) 기술 및 빅데이터 기술 등이 발전하면서 생산 시스템의 자동화가 가능해졌다. 고도화된 제조 산업에서 생산 시스템에는 예정되지 않은 성능 저하 및 가동 중지 발생 가능성이 존재하며, 가능한 한 빨리 잠재적인 오류를 감지하여 이를 복구해 안전 위험을 줄여나가야 한다는 요구가 있다. 본 연구는 유압 시스템에 부착된 다중 센서 데이터를 기반으로 장비의 고장 예측과 이상 발생 시점 예측을 결합하여 제조 설비 이상탐지를 위한 지도학습 및 비지도학습 모델을 설계한다. 지도학습 분석 방법으로 XGBoost, LightGBM, CNN 모델의 정확도를 비교하였다. 혼동행렬 기반의 평가지표를 통해 LightGBM의 예측력이 97%로 가장 우수한 것을 확인하였다. 또한 비지도 학습 분석 방법으로 MD, AE, LSTM-AE 모델을 구축하여 각 모델을 비교 분석한 결과 LSTM-AE 모델이 이상패턴을 75% 감지하여 가장 우수한 성능을 보였다. 본 연구는 지도학습과 비지도학습 기법을 종합하여 설비의 고장여부를 정확하게 진단하고 이상상황이 발생하는 시점을 예측함으로써 이상상황에 대한 선제대응을 할 수 있는 기반을 마련하여 스마트 팩토리 고도화에 기여하고자 한다.

국민청원 주제 분석 및 딥러닝 기반 답변 가능 청원 예측 (Topic Analysis of the National Petition Site and Prediction of Answerable Petitions Based on Deep Learning)

  • 우윤희;김현희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권2호
    • /
    • pp.45-52
    • /
    • 2020
  • 청와대 국민 청원 사이트가 개설된 이래로 많은 관심을 받고 있다. 본 논문에서는 국민 청원의 주제를 분석하고 딥러닝을 활용하여 답변 가능한 청원을 예측하는 모델을 제안하였다. 먼저, 추천순으로 1,500개의 청원글을 수집하였고, K-means 클러스터링을 적용하여 청원글을 군집하여 대주제를 정의하고, 보다 구체적인 세부 주제를 정의하기 위히여 토픽 모델링을 실시하였다. 다음으로는 LSTM을 활용한 답변 가능한 청원 예측 모델을 생성하여, 20만의 청원동의를 얻는 청원을 예측하기 위한 모델을 개발하였다. 이를 위해 글의 주제와 본문뿐만 아니라 글의 길이, 카테고리, 특정 품사의 비율이 영향을 미칠 수 있는지를 살펴보았다. 그 결과, 본문과 함께 글의 길이, 카테고리, 체언, 용언, 독립언, 수식언의 품사의 비율을 변수로 추가한 모델의 f1-score가 0.9 이상으로 글의 제목과 본문을 변수로 하는 모델보다 예측력이 높음을 알 수 있었다.

검색엔진 최적화를 위한 GAN 기반 웹사이트 메타데이터 자동 생성 (GAN-based Automated Generation of Web Page Metadata for Search Engine Optimization)

  • 안소정;이오준;이정현;정재은;용환성
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2019년도 춘계학술대회
    • /
    • pp.79-82
    • /
    • 2019
  • 본 논문에서는 검색엔진 최적화(SEO; Search Engine Optimization)에 인공지능 기법을 접목하여, 자동화된 SEO 도구 설계 및 구현을 목표로 한다. 기존의 SEO 온-페이지(On-page) 최적화 기법들은 웹페이지 관리자들의 경험적 지식에 의존하는 한계점을 보이고 있다. 이는 SEO 성능에 영향을 끼칠 뿐 아니라, 웹페이지 관리자들에게도 SEO 도입의 장벽으로 작용한다. 따라서, 위 문제를 해결하기 위하여 메타데이터의 효과적인 구성을 위해 다음과 같은 3단계의 접근법을 제안하고자 한다. i) 상위 랭킹 웹사이트들의 메타데이터를 추출한다. ii) 어텐션 메커니즘에 기반한 LSTM(Long Short Term Memory)을 이용하여 사용자 질의어와의 관련성 높은 메타데이터를 생성한다. iii) GAN(Generative Adversarial Network) 모델을 통하여 학습함으로써 전반적으로 성능을 높여주는 기법을 제안한다. 본 연구결과는 기업의 온라인 마케팅 프로세스를 평가하고 개선하기 위한 최적화 도구로서 유용하게 활용될 것으로 기대한다.

  • PDF

암호화폐 가격 예측을 위한 딥러닝 앙상블 모델링 : Deep 4-LSTM Ensemble Model (Development of Deep Learning Ensemble Modeling for Cryptocurrency Price Prediction : Deep 4-LSTM Ensemble Model)

  • 최수빈;신동훈;윤상혁;김희웅
    • 한국IT서비스학회지
    • /
    • 제19권6호
    • /
    • pp.131-144
    • /
    • 2020
  • As the blockchain technology attracts attention, interest in cryptocurrency that is received as a reward is also increasing. Currently, investments and transactions are continuing with the expectation and increasing value of cryptocurrency. Accordingly, prediction for cryptocurrency price has been attempted through artificial intelligence technology and social sentiment analysis. The purpose of this paper is to develop a deep learning ensemble model for predicting the price fluctuations and one-day lag price of cryptocurrency based on the design science research method. This paper intends to perform predictive modeling on Ethereum among cryptocurrencies to make predictions more efficiently and accurately than existing models. Therefore, it collects data for five years related to Ethereum price and performs pre-processing through customized functions. In the model development stage, four LSTM models, which are efficient for time series data processing, are utilized to build an ensemble model with the optimal combination of hyperparameters found in the experimental process. Then, based on the performance evaluation scale, the superiority of the model is evaluated through comparison with other deep learning models. The results of this paper have a practical contribution that can be used as a model that shows high performance and predictive rate for cryptocurrency price prediction and price fluctuations. Besides, it shows academic contribution in that it improves the quality of research by following scientific design research procedures that solve scientific problems and create and evaluate new and innovative products in the field of information systems.

암호화폐 종가 예측 성능과 입력 변수 간의 연관성 분석 (Understanding the Association Between Cryptocurrency Price Predictive Performance and Input Features)

  • 박재현;서영석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권1호
    • /
    • pp.19-28
    • /
    • 2022
  • 최근 암호화폐가 많은 주목을 받음에 따라 암호화폐의 종가 예측 연구들이 활발히 진행되고 있다. 특히 딥 러닝 모델을 적용시켜 예측 성능을 높이려는 연구들이 지속되고 있다. 딥 러닝 모델 중 시계열 데이터에서 높은 예측 성능을 보이는 LSTM (Long Short-Term Memory) 모델이 다각도로 응용되고 있으나 변동성이 큰 암호화폐 종가 데이터에서는 낮은 예측 성능을 보인다. 이를 해결하기 위해 새로운 입력 변수를 찾아내고, 이를 사용하는 종가 예측 연구가 수행되고 있다. 그러나 딥 러닝 기반의 암호화폐 종가 예측에 사용되는 데이터들의 각 입력 변수들이 예측 성능에 미치는 영향력이나 학습에 효율적인 입력 변수들의 조합에 관한 연구 사례가 부족한 실정이다. 따라서 본 논문에서는 Bitcoin과 Ethereum을 포함한 6가지 암호화폐의 최근 동향 자료를 수집하였고, 통계와 딥 러닝을 통해 입력 변수들이 암호화폐 종가 예측에 미치는 영향력을 분석한다. 실험 결과 모든 암호화폐의 종가 예측 성능 평가에서 종가 변동률을 제외한 개장가, 고가, 저가, 거래량, 종가를 조합했을 때 가장 우수한 성능을 보였다.

BCG 신호 최적화를 통한 주행중 운전자 수면 상태 분류에 관한 연구 (A Study On The Classification Of Driver's Sleep State While Driving Through BCG Signal Optimization)

  • 박진수;정지성;양철승;이정기
    • 문화기술의 융합
    • /
    • 제8권6호
    • /
    • pp.905-910
    • /
    • 2022
  • 졸음운전은 교통사고 발생률을 높이고 사망사고로 이어지기 때문에 많은 사회적 관심이 필요하다. 졸음운전으로 인한 사고 건수는 매년 증가하고 있다. 따라서 전 세계적으로 이 문제를 해결하기 위해 다양한 생체신호 측정을 위한 연구가 수행되고 있다. 본 논문에서는 그 중에 비접촉 방식의 생체신호 분석에 중점을 두고 있다. 주행중인 차량에서는 엔진, 타이어, 차체 진동 등 다양한 노이즈가 발생한다. 압전센서로 주행중인 차량에서 운전자의 심박수와 호흡수를 측정하기 위해 차량 진동을 완충할 수 있는 센서 플레이트를 설계했고 차량에서 발생하는 노이즈를 줄일 수 있었다. 또한 압전센서의 신호 기반 CNN-LSTM 앙상블 학습 기법으로 모델을 추출하여 운전자가 수면중인지 아닌지 분류하는 시스템을 개발했다. 수면 상태를 학습시키기 위해 30초마다 피험자의 생체 신호를 획득하였고, 797개의 데이터를 비교 분석하였다.

인젝터 설계변수 및 분사조건에 따른 분무타겟팅 지점의 측정 및 예측 (Measurement and Prediction of Spray Targeting Points according to Injector Parameter and Injection Condition)

  • ;;박수한
    • 한국분무공학회지
    • /
    • 제28권1호
    • /
    • pp.1-9
    • /
    • 2023
  • In the cylinder of gasoline direct injection engines, the spray targeting from injectors is of great significance for fuel consumption and pollutant emissions. The automotive industry is putting a lot of effort into improving injector targeting accuracy. To improve the targeting accuracy of injectors, it is necessary to develop models that can predict the spray targeting positions. When developing spray targeting models, the most used technique is computational fluid dynamics (CFD). Recently, due to the superiority of machine learning in prediction accuracy, the application of machine learning in this field is also receiving constant attention. The purpose of this study is to build a machine learning model that can accurately predict spray targeting based on the design parameters of injectors. To achieve this goal, this study firstly used laser sheet beam visualization equipment to obtain many spray cross-sectional images of injectors with different parameters at different injection pressures and measurement planes. The spray images were processed by MATLAB code to get the targeting coordinates of sprays. A total of four models were used for the prediction of spray targeting coordinates, namely ANN, LSTM, Conv1D and Conv1D & LSTM. Features fed into the machine learning model include injector design parameters, injection conditions, and measurement planes. Labels to be output from the model are spray targeting coordinates. In addition, the spray data of 7 injectors were used for model training, and the spray data of the remaining one injector were used for model performance verification. Finally, the prediction performance of the model was evaluated by R2 and RMSE. It is found that the Conv1D&LSTM model has the highest accuracy in predicting the spray targeting coordinates, which can reach 98%. In addition, the prediction bias of the model becomes larger as the distance from the injector tip increases.

Network Anomaly Traffic Detection Using WGAN-CNN-BiLSTM in Big Data Cloud-Edge Collaborative Computing Environment

  • Yue Wang
    • Journal of Information Processing Systems
    • /
    • 제20권3호
    • /
    • pp.375-390
    • /
    • 2024
  • Edge computing architecture has effectively alleviated the computing pressure on cloud platforms, reduced network bandwidth consumption, and improved the quality of service for user experience; however, it has also introduced new security issues. Existing anomaly detection methods in big data scenarios with cloud-edge computing collaboration face several challenges, such as sample imbalance, difficulty in dealing with complex network traffic attacks, and difficulty in effectively training large-scale data or overly complex deep-learning network models. A lightweight deep-learning model was proposed to address these challenges. First, normalization on the user side was used to preprocess the traffic data. On the edge side, a trained Wasserstein generative adversarial network (WGAN) was used to supplement the data samples, which effectively alleviates the imbalance issue of a few types of samples while occupying a small amount of edge-computing resources. Finally, a trained lightweight deep learning network model is deployed on the edge side, and the preprocessed and expanded local data are used to fine-tune the trained model. This ensures that the data of each edge node are more consistent with the local characteristics, effectively improving the system's detection ability. In the designed lightweight deep learning network model, two sets of convolutional pooling layers of convolutional neural networks (CNN) were used to extract spatial features. The bidirectional long short-term memory network (BiLSTM) was used to collect time sequence features, and the weight of traffic features was adjusted through the attention mechanism, improving the model's ability to identify abnormal traffic features. The proposed model was experimentally demonstrated using the NSL-KDD, UNSW-NB15, and CIC-ISD2018 datasets. The accuracies of the proposed model on the three datasets were as high as 0.974, 0.925, and 0.953, respectively, showing superior accuracy to other comparative models. The proposed lightweight deep learning network model has good application prospects for anomaly traffic detection in cloud-edge collaborative computing architectures.

Deep learning-based sensor fault detection using S-Long Short Term Memory Networks

  • Li, Lili;Liu, Gang;Zhang, Liangliang;Li, Qing
    • Structural Monitoring and Maintenance
    • /
    • 제5권1호
    • /
    • pp.51-65
    • /
    • 2018
  • A number of sensing techniques have been implemented for detecting defects in civil infrastructures instead of onsite human inspections in structural health monitoring. However, the issue of faults in sensors has not received much attention. This issue may lead to incorrect interpretation of data and false alarms. To overcome these challenges, this article presents a deep learning-based method with a new architecture of Stateful Long Short Term Memory Neural Networks (S-LSTM NN) for detecting sensor fault without going into details of the fault features. As LSTMs are capable of learning data features automatically, and the proposed method works without an accurate mathematical model. The detection of four types of sensor faults are studied in this paper. Non-stationary acceleration responses of a three-span continuous bridge when under operational conditions are studied. A deep network model is applied to the measured bridge data with estimation to detect the sensor fault. Another set of sensor output data is used to supervise the network parameters and backpropagation algorithm to fine tune the parameters to establish a deep self-coding network model. The response residuals between the true value and the predicted value of the deep S-LSTM network was statistically analyzed to determine the fault threshold of sensor. Experimental study with a cable-stayed bridge further indicated that the proposed method is robust in the detection of the sensor fault.

S2-Net: Machine reading comprehension with SRU-based self-matching networks

  • Park, Cheoneum;Lee, Changki;Hong, Lynn;Hwang, Yigyu;Yoo, Taejoon;Jang, Jaeyong;Hong, Yunki;Bae, Kyung-Hoon;Kim, Hyun-Ki
    • ETRI Journal
    • /
    • 제41권3호
    • /
    • pp.371-382
    • /
    • 2019
  • Machine reading comprehension is the task of understanding a given context and finding the correct response in that context. A simple recurrent unit (SRU) is a model that solves the vanishing gradient problem in a recurrent neural network (RNN) using a neural gate, such as a gated recurrent unit (GRU) and long short-term memory (LSTM); moreover, it removes the previous hidden state from the input gate to improve the speed compared to GRU and LSTM. A self-matching network, used in R-Net, can have a similar effect to coreference resolution because the self-matching network can obtain context information of a similar meaning by calculating the attention weight for its own RNN sequence. In this paper, we construct a dataset for Korean machine reading comprehension and propose an $S^2-Net$ model that adds a self-matching layer to an encoder RNN using multilayer SRU. The experimental results show that the proposed $S^2-Net$ model has performance of single 68.82% EM and 81.25% F1, and ensemble 70.81% EM, 82.48% F1 in the Korean machine reading comprehension test dataset, and has single 71.30% EM and 80.37% F1 and ensemble 73.29% EM and 81.54% F1 performance in the SQuAD dev dataset.