• 제목/요약/키워드: Long-Short Term Memory Network

검색결과 324건 처리시간 0.026초

스마트 팩토리 모니터링을 위한 빅 데이터의 LSTM 기반 이상 탐지 (LSTM-based Anomaly Detection on Big Data for Smart Factory Monitoring)

  • ;;김진술
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권4호
    • /
    • pp.789-799
    • /
    • 2018
  • 이 논문에서는 이러한 산업 단지 시스템에서의 비정상적인 동작이 일어날 때, 시간 계열의 데이터를 분석하기 위하여 Big 데이터를 이용한 접근을 기반으로 하는 머신 러닝을 보여줍니다. Long Short-Term Memory (LSTM) 네트워크는 향상된 RNN버전으로서 입증되었으며 많은 작업에 유용한 도움이 되었습니다. 이 LSTM 기반 모델은 시간적 패턴뿐만 아니라 더 높은 레벨의 시간적 특징을 학습 한 다음, 미래의 데이터를 예측하기 위해 예측 단계에 사용됩니다. 예측 오차는 예측 인자에 의해 예측 된 결과와 실제 예상되는 값의 차이입니다. 오차 분포 추정 모델은 가우스 분포를 사용하여 관찰 스코어의 이상을 계산합니다. 이러한 방식으로, 우리는 하나의 비정상적 데이터의 개념에서 집단적인 비정상적 데이터 개념으로 바뀌어 갑니다. 이 작업은 실패를 최소화하고 제조품질을 향상시키는 Smart Factory의 모니터링 및 관리를 지원할 수 있습니다.

LSTM을 이용한 표면 근전도 분석을 통한 서로 다른 손가락 움직임 분류 정확도 향상 (Improvement of Classification Accuracy of Different Finger Movements Using Surface Electromyography Based on Long Short-Term Memory)

  • 신재영;김성욱;이윤성;이형탁;황한정
    • 대한의용생체공학회:의공학회지
    • /
    • 제40권6호
    • /
    • pp.242-249
    • /
    • 2019
  • Forearm electromyography (EMG) generated by wrist movements has been widely used to develop an electrical prosthetic hand, but EMG generated by finger movements has been rarely used even though 20% of amputees lose fingers. The goal of this study is to improve the classification performance of different finger movements using a deep learning algorithm, and thereby contributing to the development of a high-performance finger-based prosthetic hand. Ten participants took part in this study, and they performed seven different finger movements forty times each (thumb, index, middle, ring, little, fist and rest) during which EMG was measured from the back of the right hand using four bipolar electrodes. We extracted mean absolute value (MAV), root mean square (RMS), and mean (MEAN) from the measured EMGs for each trial as features, and a 5x5-fold cross-validation was performed to estimate the classification performance of seven different finger movements. A long short-term memory (LSTM) model was used as a classifier, and linear discriminant analysis (LDA) that is a widely used classifier in previous studies was also used for comparison. The best performance of the LSTM model (sensitivity: 91.46 ± 6.72%; specificity: 91.27 ± 4.18%; accuracy: 91.26 ± 4.09%) significantly outperformed that of LDA (sensitivity: 84.55 ± 9.61%; specificity: 84.02 ± 6.00%; accuracy: 84.00 ± 5.87%). Our result demonstrates the feasibility of a deep learning algorithm (LSTM) to improve the performance of classifying different finger movements using EMG.

딥러닝을 이용한 하천 유량 예측 알고리즘 (Groundwater Level Prediction using ANFIS Algorithm)

  • 박귀만;오세랑;박근호;배영철
    • 한국전자통신학회논문지
    • /
    • 제16권6호
    • /
    • pp.1239-1248
    • /
    • 2021
  • 본 논문은 학문적인 이해를 기반을 둔 예측을 수행하기 위해 FDNN(: Flood drought index neural network) 알고리즘을 제시한다. 데이터에 의존한 예측이 아닌 학문적인 이해를 기반을 둔 예측을 딥러닝에 적용하기 위해, 알고리즘을 수리, 수문학을 기반으로 구성하였다. 강수량의 입력으로 하천의 유량을 예측하는 모델을 구성하여 K-교차검증을 통해 모델의 성능을 측정한다. 제시한 알고리즘의 성능을 증명하기 위해 시계열 예측에서 가장 많이 사용되는 LSTM(: Long short term memory) 알고리즘의 예측 성능과 비교하여 제시한 알고리즘의 우수성을 나타낸다.

Comparison of artificial intelligence models reconstructing missing wind signals in deep-cutting gorges

  • Zhen Wang;Jinsong Zhu;Ziyue Lu;Zhitian Zhang
    • Wind and Structures
    • /
    • 제38권1호
    • /
    • pp.75-91
    • /
    • 2024
  • Reliable wind signal reconstruction can be beneficial to the operational safety of long-span bridges. Non-Gaussian characteristics of wind signals make the reconstruction process challenging. In this paper, non-Gaussian wind signals are converted into a combined prediction of two kinds of features, actual wind speeds and wind angles of attack. First, two decomposition techniques, empirical mode decomposition (EMD) and variational mode decomposition (VMD), are introduced to decompose wind signals into intrinsic mode functions (IMFs) to reduce the randomness of wind signals. Their principles and applicability are also discussed. Then, four artificial intelligence (AI) algorithms are utilized for wind signal reconstruction by combining the particle swarm optimization (PSO) algorithm with back propagation neural network (BPNN), support vector regression (SVR), long short-term memory (LSTM) and bidirectional long short-term memory (Bi-LSTM), respectively. Measured wind signals from a bridge site in a deep-cutting gorge are taken as experimental subjects. The results showed that the reconstruction error of high-frequency components of EMD is too large. On the contrary, VMD fully extracts the multiscale rules of the signal, reduces the component complexity. The combination of VMD-PSO-Bi-LSTM is demonstrated to be the most effective among all hybrid models.

Self-Attention을 적용한 문장 임베딩으로부터 이미지 생성 연구 (A Study on Image Generation from Sentence Embedding Applying Self-Attention)

  • 유경호;노주현;홍택은;김형주;김판구
    • 스마트미디어저널
    • /
    • 제10권1호
    • /
    • pp.63-69
    • /
    • 2021
  • 사람이 어떤 문장을 보고 그 문장에 대해 이해하는 것은 문장 안에서 주요한 단어를 이미지로 연상시켜 그 문장에 대해 이해한다. 이러한 연상과정을 컴퓨터가 할 수 있도록 하는 것을 text-to-image라고 한다. 기존 딥 러닝 기반 text-to-image 모델은 Convolutional Neural Network(CNN)-Long Short Term Memory(LSTM), bi-directional LSTM을 사용하여 텍스트의 특징을 추출하고, GAN에 입력으로 하여 이미지를 생성한다. 기존 text-to-image 모델은 텍스트 특징 추출에서 기본적인 임베딩을 사용하였으며, 여러 모듈을 사용하여 이미지를 생성하므로 학습 시간이 오래 걸린다. 따라서 본 연구에서는 자연어 처리분야에서 성능 향상을 보인 어텐션 메커니즘(Attention Mechanism)을 문장 임베딩에 사용하여 특징을 추출하고, 추출된 특징을 GAN에 입력하여 이미지를 생성하는 방법을 제안한다. 실험 결과 기존 연구에서 사용되는 모델보다 inception score가 높았으며 육안으로 판단하였을 때 입력된 문장에서 특징을 잘 표현하는 이미지를 생성하였다. 또한, 긴 문장이 입력되었을 때에도 문장을 잘 표현하는 이미지를 생성하였다.

도로포장의 유지관리 계획 수립을 위한 딥러닝 기반 열화 예측 모델 개발 (Development of Deep Learning Based Deterioration Prediction Model for the Maintenance Planning of Highway Pavement)

  • 이용준;선종완;이민재
    • 한국건설관리학회논문집
    • /
    • 제20권6호
    • /
    • pp.34-43
    • /
    • 2019
  • 도로연장의 지속적인 증가와 공용기간이 상당히 경과한 노후 노선이 늘어남에 따라 도로포장에 대한 유지관리비용은 점차 증가하고 있어, 예방적 유지관리를 통해 비용을 최소화 하는 방안에 대한 필요성이 제기되고 있다. 예방적 유지관리를 위해서는 도로포장의 정확한 열화 예측을 통한 전략적 유지관리 계획 수립이 필요하다. 이에 본 연구에서는 고속도로포장 열화예측 모델 개발을 위해 딥러닝 모델 중 가장 보편적으로 많이 사용하는 심층신경망(DNN)과 시계열 데이터 분석에 강점을 가진 순환신경망(RNN)을 사용하였으며, 두 개의 모델의 성능을 비교 분석하여 우수한 모델을 제안하였다. RNN의 Vanishing Gradient Problem을 해결하기 위해 좀 더 복잡한 형태의 RNN구조인 LSTM(Long short-term memory circuits)을 사용하였다. 학습 결과, RNN-LSTM 모델의 RMSE 값이 0.102로 DNN모델보다 낮아 성능이 더 우수하였다. 또한, 대상구간의 시간경과별 평균 도로포장 상태 예측치와 실제 도로포장 상태 실측치의 비교를 통해 RNN-LSTM 모델의 높은 정확도를 검증하였다. 따라서 향후 고속도로 콘크리트 포장의 유지관리 계획 수립시 유지보수 수요 추정을 위한 열화 예측 모델로는 DNN 모델보다 시계열 분석에 강한 RNN-LSTM의 모델을 제안한다.

심층 신경망을 이용한 변동성 돌파 전략 기반 주식 매매 방법에 관한 연구 (A Study on Stock Trading Method based on Volatility Breakout Strategy using a Deep Neural Network)

  • 이은우;이원부
    • 한국콘텐츠학회논문지
    • /
    • 제22권3호
    • /
    • pp.81-93
    • /
    • 2022
  • 주식 투자는 가장 널리 알려진 재테크 방법들 중 하나지만 실제 투자를 통해 수익을 얻기는 쉽지 않기 때문에 과거부터 효과적이고 안정적인 투자 수익을 얻기 위한 다양한 투자 전략들이 고안되고 시도되어 왔다. 그중 변동성 돌파 전략(Volatility Breakout)은 일일 단위로 일정 수준 이상의 범위를 뛰어넘는 강한 상승세를 돌파 신호로 파악하여 상승하는 추세를 따라가며 일 단위로 빠르게 수익을 실현하는 전략으로 널리 쓰이고 있는 단기 투자 전략들 중 하나이다. 그러나 주식 종목마다 가격의 추이나 변동성의 정도가 다르며 동일한 종목이라도 시기에 따라 주가의 흐름이 일정하지 않아 주가를 예측하고 정확한 매매 시점을 찾아내는 것은 매우 어려운 문제이다. 본 논문에서는 단순히 종가 또는 장기간에 걸친 수익률을 예측하는 기존 연구 방법들과는 달리 단기간에 수익을 실현할 수 있는 주식과 같은 시계열 데이터 분석에 적합한 양방향 장단기 메모리 심층 신경망을 이용하여 변동성 돌파 전략 기반 매매 시의 수익률을 예측하여 주식을 매매하여 방법을 제안한다. 이렇게 학습된 모델로 테스트 데이터에 대하여 실제 매매를 가정하여 실험한 결과 기존의 장단기 메모리 심층 신경망을 이용한 종가 예측 모델보다 수익률과 안정성을 모두 상회하는 결과를 확인할 수 있다.

정수장 전염소 공정제어를 위한 침전지 잔류염소농도 예측 머신러닝 모형 (Machine learning model for residual chlorine prediction in sediment basin to control pre-chlorination in water treatment plant)

  • 김주환;이경혁;김수전;김경훈
    • 한국수자원학회논문집
    • /
    • 제55권spc1호
    • /
    • pp.1283-1293
    • /
    • 2022
  • 본 연구는 정수장의 수처리 공정에서 계측되고 있는 수량 및 수질데이터의 활용과 수처리 공정제어의 지능화를 위한 것으로 정수장에서 전염소 공정이 수반되는 처리공정에서 침전지 유출수 잔류염소농도 안정화를 위하여 이를 추정할 수 있는 모형을 구축하고자 하였다. 정수장 침전지 유출수의 잔류염소농도를 예측하기 위하여 중회귀모형과 인공지능 알고리즘 중 다층퍼셉트론 신경망, 랜덤포레스트 및 장단기기억(Long Short Term Memory; LSTM) 모형을 활용하였고 그 결과를 비교, 평가하였다. 모형의 입력변수로는 전염소 공정이 도입된 정수장에서의 잔류염소농도, 수온, 탁도, pH, 전기전도도, 유량, 알칼리도 등이 사용되었고 전염소에 따른 침전지의 안정적 운영을 위해 요구되는 침전지 잔류염소농도를 출력변수로 구성하였다. 적용 결과에서는 랜덤포레스트 모형이 가장 양호한 결과를 보여 주었으며 다음으로 LSTM, 다층퍼셈트론 신경망 순으로 나타났다. 수학적 모형인 중회귀모형은 적합도 측면에서 가장 낮은 결과를 보여 주었는데, 이는 수량과 수질데이터의 수치적인 규모나 차원의 차이뿐만 아니라 계절별 수질특성에 따라 염소소비 특성이 매우 다양하게 반응하기 때문으로 판단된다. 따라서 정수장 수처리 공정에서 인공지능 알고리즘의 적용을 위해서는 랜덤포레스트와 같이 의사결정 트리구조의 도입과 적용이 타당한 것으로 나타났다. 본 연구에서 분석된 결과를 근거로 전염소 공정이 도입된 정수장 수처리 공정에서 염소주입량을 실시간으로 예측 가능하게 함으로써 침전지 유출수에서 잔류염소농도를 일정하게 유지하는데 기여할 수 있을 것으로 기대된다.

Recurrent Neural Networks를 활용한 Baltic Dry Index (BDI) 예측 (Time-Series Prediction of Baltic Dry Index (BDI) Using an Application of Recurrent Neural Networks)

  • 한민수;유성진
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2017년도 추계학술대회
    • /
    • pp.50-53
    • /
    • 2017
  • 장기 해운불황에 따라 불확실성이 증폭되고 있는 상황에서 경기추세의 이해뿐만 아니라 예측 또한 중요해지고 있는 실정이다. 본 논문에서는 최근 특정 복잡한 문제에 대해서 각광받고 있는 인공신경망을 적용하여 BDI 예측을 연구하였다. 사용된 인공신경망은 순환신경망으로 RNN과 LSTM 그리고 비교의 목적으로 MLP를 통해 2009.04.01.부터 2017.07.31.의 기간을 대상으로 연구를 진행하였다. 또한 전통적 시계열 예측방법론인 ARIMA 분석을 실시해 인공신경망들의 예측성능과 비교하였다. 결과로 순환신경망인 RNN의 성능이 가장 뛰어났으며 LSTM의 특정 시계열(BDI)에의 적용가능성을 확인할 수 있었다.

  • PDF

Text Classification on Social Network Platforms Based on Deep Learning Models

  • YA, Chen;Tan, Juan;Hoekyung, Jung
    • Journal of information and communication convergence engineering
    • /
    • 제21권1호
    • /
    • pp.9-16
    • /
    • 2023
  • The natural language on social network platforms has a certain front-to-back dependency in structure, and the direct conversion of Chinese text into a vector makes the dimensionality very high, thereby resulting in the low accuracy of existing text classification methods. To this end, this study establishes a deep learning model that combines a big data ultra-deep convolutional neural network (UDCNN) and long short-term memory network (LSTM). The deep structure of UDCNN is used to extract the features of text vector classification. The LSTM stores historical information to extract the context dependency of long texts, and word embedding is introduced to convert the text into low-dimensional vectors. Experiments are conducted on the social network platforms Sogou corpus and the University HowNet Chinese corpus. The research results show that compared with CNN + rand, LSTM, and other models, the neural network deep learning hybrid model can effectively improve the accuracy of text classification.