• 제목/요약/키워드: Long-Short Term Memory

검색결과 643건 처리시간 0.023초

Comparison of regression model and LSTM-RNN model in predicting deterioration of prestressed concrete box girder bridges

  • Gao Jing;Lin Ruiying;Zhang Yao
    • Structural Engineering and Mechanics
    • /
    • 제91권1호
    • /
    • pp.39-47
    • /
    • 2024
  • Bridge deterioration shows the change of bridge condition during its operation, and predicting bridge deterioration is important for implementing predictive protection and planning future maintenance. However, in practical application, the raw inspection data of bridges are not continuous, which has a greater impact on the accuracy of the prediction results. Therefore, two kinds of bridge deterioration models are established in this paper: one is based on the traditional regression theory, combined with the distribution fitting theory to preprocess the data, which solves the problem of irregular distribution and incomplete quantity of raw data. Secondly, based on the theory of Long Short-Term Memory (LSTM) Recurrent Neural Network (RNN), the network is trained using the raw inspection data, which can realize the prediction of the future deterioration of bridges through the historical data. And the inspection data of 60 prestressed concrete box girder bridges in Xiamen, China are used as an example for validation and comparative analysis, and the results show that both deterioration models can predict the deterioration of prestressed concrete box girder bridges. The regression model shows that the bridge deteriorates gradually, while the LSTM-RNN model shows that the bridge keeps great condition during the first 5 years and degrades rapidly from 5 years to 15 years. Based on the current inspection database, the LSTM-RNN model performs better than the regression model because it has smaller prediction error. With the continuous improvement of the database, the results of this study can be extended to other bridge types or other degradation factors can be introduced to improve the accuracy and usefulness of the deterioration model.

Network Anomaly Traffic Detection Using WGAN-CNN-BiLSTM in Big Data Cloud-Edge Collaborative Computing Environment

  • Yue Wang
    • Journal of Information Processing Systems
    • /
    • 제20권3호
    • /
    • pp.375-390
    • /
    • 2024
  • Edge computing architecture has effectively alleviated the computing pressure on cloud platforms, reduced network bandwidth consumption, and improved the quality of service for user experience; however, it has also introduced new security issues. Existing anomaly detection methods in big data scenarios with cloud-edge computing collaboration face several challenges, such as sample imbalance, difficulty in dealing with complex network traffic attacks, and difficulty in effectively training large-scale data or overly complex deep-learning network models. A lightweight deep-learning model was proposed to address these challenges. First, normalization on the user side was used to preprocess the traffic data. On the edge side, a trained Wasserstein generative adversarial network (WGAN) was used to supplement the data samples, which effectively alleviates the imbalance issue of a few types of samples while occupying a small amount of edge-computing resources. Finally, a trained lightweight deep learning network model is deployed on the edge side, and the preprocessed and expanded local data are used to fine-tune the trained model. This ensures that the data of each edge node are more consistent with the local characteristics, effectively improving the system's detection ability. In the designed lightweight deep learning network model, two sets of convolutional pooling layers of convolutional neural networks (CNN) were used to extract spatial features. The bidirectional long short-term memory network (BiLSTM) was used to collect time sequence features, and the weight of traffic features was adjusted through the attention mechanism, improving the model's ability to identify abnormal traffic features. The proposed model was experimentally demonstrated using the NSL-KDD, UNSW-NB15, and CIC-ISD2018 datasets. The accuracies of the proposed model on the three datasets were as high as 0.974, 0.925, and 0.953, respectively, showing superior accuracy to other comparative models. The proposed lightweight deep learning network model has good application prospects for anomaly traffic detection in cloud-edge collaborative computing architectures.

Speech Emotion Recognition in People at High Risk of Dementia

  • Dongseon Kim;Bongwon Yi;Yugwon Won
    • 대한치매학회지
    • /
    • 제23권3호
    • /
    • pp.146-160
    • /
    • 2024
  • Background and Purpose: The emotions of people at various stages of dementia need to be effectively utilized for prevention, early intervention, and care planning. With technology available for understanding and addressing the emotional needs of people, this study aims to develop speech emotion recognition (SER) technology to classify emotions for people at high risk of dementia. Methods: Speech samples from people at high risk of dementia were categorized into distinct emotions via human auditory assessment, the outcomes of which were annotated for guided deep-learning method. The architecture incorporated convolutional neural network, long short-term memory, attention layers, and Wav2Vec2, a novel feature extractor to develop automated speech-emotion recognition. Results: Twenty-seven kinds of Emotions were found in the speech of the participants. These emotions were grouped into 6 detailed emotions: happiness, interest, sadness, frustration, anger, and neutrality, and further into 3 basic emotions: positive, negative, and neutral. To improve algorithmic performance, multiple learning approaches were applied using different data sources-voice and text-and varying the number of emotions. Ultimately, a 2-stage algorithm-initial text-based classification followed by voice-based analysis-achieved the highest accuracy, reaching 70%. Conclusions: The diverse emotions identified in this study were attributed to the characteristics of the participants and the method of data collection. The speech of people at high risk of dementia to companion robots also explains the relatively low performance of the SER algorithm. Accordingly, this study suggests the systematic and comprehensive construction of a dataset from people with dementia.

입출력구조와 신경망 모델에 따른 딥러닝 기반 정규화 기법의 성능 분석 (Performance Analysis of Deep Learning-based Normalization According to Input-output Structure and Neural Network Model)

  • 류창수;김근환
    • 한국산업정보학회논문지
    • /
    • 제29권4호
    • /
    • pp.13-24
    • /
    • 2024
  • 본 논문에서는 다양한 신경망 모델과 입출력 구조에 따른 정규화 기법의 성능을 비교 분석하였다. 분석을 위해 균등한 잡음과 최대 3개의 간섭 신호가 있는 잡음 환경에 대한 시뮬레이션 기반의 데이터 세트를 사용하였다. 실험 결과, 잡음 분산을 직접 출력하는 End-to-End 구조에 대해서 1-D 콘볼루션 신경망과 BiLSTM 모델을 사용할 경우 우수한 성능을 보였으며, 특히 간섭 신호에 대해 강건한 것으로 분석되었다. 이러한 결과는 다층 퍼셉트론 신경망과 트랜스포머보다 1-D 콘볼루션 신경망 및 BiLSTM 모델이 귀납적 편향이 강하기 때문에 나타난 것으로 판단된다. 이 논문의 분석 결과는 향후 딥러닝 기반 정규화 기법 연구에 유용한 기준점으로 활용될 수 있을 것으로 기대된다.

Life prediction of IGBT module for nuclear power plant rod position indicating and rod control system based on SDAE-LSTM

  • Zhi Chen;Miaoxin Dai;Jie Liu;Wei Jiang;Yuan Min
    • Nuclear Engineering and Technology
    • /
    • 제56권9호
    • /
    • pp.3740-3749
    • /
    • 2024
  • To reduce the losses caused by aging failure of insulation gate bipolar transistor (IGBT), which is the core components of nuclear power plant rod position indicating and rod control (RPC) system. It is necessary to conduct studies on its life prediction. The selection of IGBT failure characteristic parameters in existing research relies heavily on failure principles and expert experience. Moreover, the analysis and learning of time-domain degradation data have not been fully conducted, resulting in low prediction efficiency as the monotonicity, time correlation, and poor anti-interference ability of extracted degradation features. This paper utilizes the advantages of the stacked denoising autoencoder(SDAE) network in adaptive feature extraction and denoising capabilities to perform adaptive feature extraction on IGBT time-domain degradation data; establishes a long-short-term memory (LSTM) prediction model, and optimizes the learning rate, number of nodes in the hidden layer, and number of hidden layers using the Gray Wolf Optimization (GWO) algorithm; conducts verification experiments on the IGBT accelerated aging dataset provided by NASA PCoE Research Center, and selects performance evaluation indicators to compare and analyze the prediction results of the SDAE-LSTM model, PSOLSTM model, and BP model. The results show that the SDAE-LSTM model can achieve more accurate and stable IGBT life prediction.

LSTM 모형과 로지스틱 회귀를 통한 도시 침수 범위의 예측 (Prediction of Urban Flood Extent by LSTM Model and Logistic Regression)

  • 김현일;한건연;이재영
    • 대한토목학회논문집
    • /
    • 제40권3호
    • /
    • pp.273-283
    • /
    • 2020
  • 기후변화의 영향으로 국지성 및 집중호우에 대한 발생 가능성이 높아지는 시점에서 과거에 침수피해를 입은 도시 유역에 대하여 실제 호우에 대한 침수 양상을 예측하는 것은 중요하다. 이에 수치해석 기반 프로그램과 함께 기계학습을 이용한 홍수 분석에 대한 연구가 증가하고 있다. 본 연구에서 적용한 LSTM 신경망은 일련의 자료를 분석하는데 유용하지만, 딥 러닝을 수행하기 위하여 충분한 양의 자료를 필요로 한다. 그러나 단일 도시유역에 홍수를 일으킬 강우가 매년 일어나지 않기에 많은 홍수 자료를 수집하기에는 어려움이 있다. 이에 본 연구에서는 대상 유역에서 관측되는 강우 외에 전국 단위의 실제 호우를 예측 모형에 반영하였다. LSTM (Long Short-Term Memory) 신경망은 강우에 대한 총 월류량을 예측하기 위하여 사용되었으며, 목표값으로 SWMM (Storm Water Management Model)의 유출 모의 결과를 사용하였다. 침수 범위 예측을 위해서는 로지스틱 회귀를 사용하였으며, 로지스틱 회귀 모형의 독립 변수는 총 월류량이며 종속 변수는 격자 별 침수 발생 유무이다. 침수 범위 자료는 SWMM의 유출 결과를 바탕으로 수행된 2차원 침수해석 모의 결과를 통해 수집하였다. LSTM의 매개변수 조건에 따라 총 월류량 예측 결과를 비교하였다. 매개변수 설정에 따른 4가지의 LSTM 모형을 사용하였는데, 검증과 테스트 단계에 대한 평균 RMSE (Root Mean Square Error)는 1.4279 ㎥/s, 1.0079 ㎥/s으로 산정되었다. 최소 RMSE는 검증과 테스트에 대하여 각각 1.1656 ㎥/s, 0.8797㎥/s 으로 산정되었으며, SWMM모의 결과를 적절히 재현할 수 있음을 확인하였다. LSTM 신경망의 결과와 로지스틱 회귀를 연계하여 침수 범위 예측을 수행하였으며, 침수심 0.5m 이상을 고려하였을 때에 최대 침수면적 적합도가 97.33 %으로 나타났다. 본 연구에서 제시된 방법론은 딥 러닝에 기반하여 도시 홍수 대응능력을 향상 시키는데 도움이 될 것으로 판단된다.

인공지능의 사회적 수용도에 따른 키워드 검색량 기반 주가예측모형 비교연구 (Comparison of Models for Stock Price Prediction Based on Keyword Search Volume According to the Social Acceptance of Artificial Intelligence)

  • 조유정;손권상;권오병
    • 지능정보연구
    • /
    • 제27권1호
    • /
    • pp.103-128
    • /
    • 2021
  • 최근 주식의 수익률과 거래량을 설명하는 주요 요인으로서 투자자의 관심도와 주식 관련 정보 전파의 영향력이 부각되고 있다. 또한 인공지능과 같은 혁신 신기술을 개발보급하거나 활용하려는 기업의 경우 거시환경 및 시장 불확실성 때문에 기업의 미래 주식 수익률과 주식 변동성을 예측하기 어렵다는 문제를 가지고 있다. 이는 인공지능 활성화의 장애요인으로 인식되고 있다. 따라서 본 연구의 목적은 인공지능 관련 기술 키워드의 인터넷 검색량을 투자자의 관심 척도로 사용하여, 기업의 주가 변동성을 예측하는 기계학습 모형을 제안하는 것이다. 이를 위해 심층신경망 LSTM(Long Short-Term Memory)과 벡터자기회귀(Vector Autoregression)를 통해 주식시장을 예측하고, 기술의 사회적 수용 단계에 따라 키워드 검색량을 활용한 주가예측 성능 비교를 통해 기업의 투자수익 예측이나 투자자들의 투자전략 의사결정을 지원하는 주가 예측 모형을 구축하였다. 또한 인공지능 기술의 세부 하위 기술에 대한 분석도 실시하여 기술 수용 단계에 따른 세부 기술 키워드 검색량의 변화를 살펴보고 세부기술에 대한 관심도가 주식시장 예측에 미치는 영향을 살펴보았다. 이를 위해 본 연구에서는 인공지능, 딥러닝, 머신러닝 키워드를 선정하여, 2015년 1월 1일부터 2019년 12월 31일까지 5년간의 인터넷 주별 검색량 데이터와 코스닥 상장 기업의 주가 및 거래량 데이터를 수집하여 분석에 활용하였다. 분석 결과 인공지능 기술에 대한 키워드 검색량은 사회적 수용 단계가 진행될수록 증가하는 것으로 나타났고, 기술 키워드를 기반으로 주가예측을 하였을 경우 인식(Awareness)단계에서 가장 높은 정확도를 보였으며, 키워드별로 가장 좋은 예측 성능을 보이는 수용 단계가 다르게 나타남을 확인하였다. 따라서 기술 키워드를 활용한 주가 예측 모델 구축을 위해서는 해당 기술의 하위 기술 분류를 고려할 필요가 있다. 본 연구의 결과는 혁신기술을 기반으로 기업의 투자수익률을 예측하기 위해서는 기술에 대한 대중의 관심이 급증하는 인식 단계를 포착하는 것이 중요하다는 점을 시사한다. 또한 최근 금융권에서 선보이고 있는 빅데이터 기반 로보어드바이저(Robo-advisor) 등 투자 의사 결정 지원 시스템 개발 시 기술의 사회적 수용도를 세분화하여 키워드 검색량 변화를 통해 예측 모델의 정확도를 개선할 수 있다는 점을 시사하고 있다.

기상 데이터를 활용한 LSTM 기반의 해양 혼합층 수온 예측 (LSTM Based Prediction of Ocean Mixed Layer Temperature Using Meteorological Data)

  • 고관섭;김영원;변성현;이수진
    • 대한원격탐사학회지
    • /
    • 제37권3호
    • /
    • pp.603-614
    • /
    • 2021
  • 최근 우리나라 주변 해역의 해수면 온도가 상승하고 있다. 이러한 수온 상승은 어족자원의 변화를 일으켜 낚시와 같은 레저활동에 영향을 미치기도 하며, 특히 고수온은 적조 발생으로 이어져 양식업과 같은 해양산업에 극심한 피해를 유발하기도 한다. 한편 수온 변화는 잠수함을 탐지하는 군사작전과도 밀접하게 연관되어 있다. 이는 잠수함을 탐지하기 위한 음파가 수온층에 따라 회절, 굴절 및 반사되는 정도가 달라지기 때문이다. 이와 같이 해양과 관련된 다양한 분야에서 중요성을 가지는 해양 수온의 변화를 예측하기 위한 연구가 현재 활발하게 진행되고 있다. 그러나 기존 연구들은 대부분 해수면 온도만을 예측하는데 중점을 두고 있어 수심별 어족자원의 변화나 잠수함 탐지와 같은 군사분야 활용이 제한된다. 이에 본 연구에서는 수심별 수온자료 및 해수면 온도와 상관관계를 가지는 기온, 기압, 일조량 등의 기상 데이터를 함께 활용하여 수심 38 m 혼합층의 수온을 예측하였다. 사용된 데이터는 이어도 해양과학기지에서 관측한 2016년부터 2020년까지의 기상 데이터와 수심별 수온 자료이며, 예측의 정확성과 효율성을 높이기 위해 딥러닝 기법 중 시계열 자료에 적합하다고 알려진 LSTM(Long Short-Term Memory)을 사용하였다. 실험 결과 1시간 예측을 기준으로 기온과 기압, 일조량 자료를 함께 활용한 모델의 RMSE(Root Mean Square Error)는 0.473으로 나타났다. 반면 해수면 수온만을 활용한 모델의 RMSE는 0.631로 나타나 기상데이터를 함께 활용한 모델이 상부 혼합층 수온 예측에서 보다 우수한 성능을 보임을 확인하였다.

댐 방류 의사결정지원을 위한 딥러닝 기법의 적용성 평가 (Application of deep learning method for decision making support of dam release operation)

  • 정성호;레수안히엔;김연수;최현구;이기하
    • 한국수자원학회논문집
    • /
    • 제54권spc1호
    • /
    • pp.1095-1105
    • /
    • 2021
  • 기후변화에 따른 집중호우, 태풍 등의 발생빈도의 증가로 인하여 댐 운영의 고도화가 요구되고 있다. 일반적으로 댐 운영의 경우 강우예측, 강우-유출, 홍수추적 등 다양한 수리수문학적 요소들을 반영하여 수행되나 기 계획된 특정 규칙에 기반한 댐 운영 모형의 경우, 때때로 개별 모듈들의 불확실성과 복합적인 인자들로 인하여 댐의 방류량을 능동적으로 제어하는데 제약이 있을 수 있다. 본 연구는 남강댐 직하류 홍수피해 예방을 위하여 댐의 방류량 결정 등 효율적인 댐 운영을 지원하기 위해 딥러닝 기반 LSTM (Long Short-Term Memory) 모형을 구축하고, 선행시간별 댐직하류 수위예측 정확도를 분석하는 것을 목적으로 한다. LSTM 모형의 입력자료는 댐 운영에 사용되는 기초자료 및 하류 장대동 수위관측소의 수위 자료를 시 단위로 2009년부터 2021년 7월까지 수집하였다. 2009년부터 2018년 자료는 모형의 학습과 검증 및 2019년부터 2021년 7월 자료는 선행시간을 7개(1 h, 3 h, 6 h, 9 h, 12 h, 18 h, 24 h)로 구분하여 관측 수위와 예측 수위를 비교·분석하였다. 그 결과, 선행시간 1시간의 예측결과는 평균적으로 MAE가 0.01 m, RMSE가 0.015 m, NSE가 0.99 로 관측 수위에 매우 근접한 예측 결과를 나타내었다. 또한, 선행시간이 길어질수록 예측 정확도는 근소하게 감소하였지만, 관측 수위의 시간적 패턴을 유사하게 안정적으로 예측하는 것으로 분석되었다. 따라서 수리수문학적 비선형의 복잡한 자료간의 특징을 자동으로 추출하여 예측 자료를 생산하는 LSTM 모형은 댐 방류량 의사결정에 있어 활용이 가능할 것으로 판단된다.

인공지능 교육 기반 초등학교 수업 사례 분석 (Case Study of Elementary School Classes based on Artificial Intelligence Education)

  • 이승민
    • 정보교육학회논문지
    • /
    • 제25권5호
    • /
    • pp.733-740
    • /
    • 2021
  • 본 연구의 목적은 실제 학교 현장에서 AI 교육과 관련된 수업들의 사례를 분석하여, 초등학교 AI 교육의 방향을 제시하는 것이다. 이를 위해 AI 교육 기반의 초등학교 수업 사례로 19개의 수업을 수집하였다. 수업 사례를 분석한 결과에 따르면, AI를 학습내용과 방법의 혼합적 측면에서 수업을 설계하였음을 확인하였다. 성취기준과 학습목표를 분석한 결과, AI를 도구적 관점에서 활용한 8개 수업에서 기억, 이해, 적용에 관한 행동 동사가 발견되였다. 수업을 도입, 전개, 정리단계로 나누었을 때, AI 교육 요소는 전개 단계에서 가장 많이 나타났다. 한편 전개 단계에서 AI 교육 요소의 학습내용과 학습방법의 비율을 살펴보았을 때 학습방법으로 AI 교육을 접근하는 학습시간이 압도적으로 높았다. 이를 토대로 다음과 같은 시사점을 도출하였다. 첫째, 학교, 학년 교육과정을 설계할 때, 학습 내용과 방법으로의 AI를 포괄적으로 다룰 수 있도록 설계해야 한다. 둘째, AI에 대한 이해를 보완하기 위해 단기적으로는 실과 교과나 창의적 체험활동에서의 시수 확보가 요구되며, 장기적으로는 정보 교과의 확보가 필요하다.