• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.818-833
• /
• 2021

To address the problems of low precision rate, insufficient feature extraction, and poor contextual ability in existing text sentiment analysis methods, a mixed model account of a CNN-BiLSTM-TE (convolutional neural network, bidirectional long short-term memory, and topic extraction) model was proposed. First, Chinese text data was converted into vectors through the method of transfer learning by Word2Vec. Second, local features were extracted by the CNN model. Then, contextual information was extracted by the BiLSTM neural network and the emotional tendency was obtained using softmax. Finally, topics were extracted by the term frequency-inverse document frequency and K-means. Compared with the CNN, BiLSTM, and gate recurrent unit (GRU) models, the CNN-BiLSTM-TE model's F1-score was higher than other models by 0.0147, 0.006, and 0.0052, respectively. Then compared with CNN-LSTM, LSTM-CNN, and BiLSTM-CNN models, the F1-score was higher by 0.0071, 0.0038, and 0.0049, respectively. Experimental results showed that the CNN-BiLSTM-TE model can effectively improve various indicators in application. Lastly, performed scalability verification through a takeaway dataset, which has great value in practical applications.

• 터널과지하공간
• /
• 제28권3호
• /
• pp.277-291
• /
• 2018

이 논문에서는 재료의 단축하중 하에서의 응력-변형률 곡선을 예측하기 위하여 순환 신경망의 일종인 LSTM(Long Short-Term Memory) 알고리즘을 사용하였다. 석고와 규사를 혼합해 만든 재료에 일축압축시험을 수행하여 얻은 응력-변형률 데이터를 이용하였으며, 낮은 응력 구간의 초반 데이터를 활용해서 파괴 전까지의 거동을 예측하였다. 앞부분의 데이터를 활용하여 단계적으로 뒤쪽 구간의 값을 예측하는 LSTM 순환 신경망의 구조상 큰 응력에 대응하는 변형률을 예측할 경우에는 앞쪽 구간의 오차가 누적되어 실측값과 차이가 늘어났으나 전반적으로 높은 정확도로 응력-변형률 곡선을 예측하였다. 예측에 사용한 초기 데이터의 길이가 늘어나는 경우 정확도는 조금 증가했다. 그러나 접선을 이용한 단순 예측과의 성능 차이는 초기 데이터의 길이가 작은 경우에 두드러졌으며, 적은양의 데이터로도 응력-변형률 곡선 전체 구간의 예측을 가능하게 한다는 점으로부터 신경망 모델의 필요성을 확인하였다.

• 한국인터넷방송통신학회논문지
• /
• 제19권5호
• /
• pp.79-85
• /
• 2019

본 연구에서는 Long Short Term Memory (LSTM) 신경망과 Gated Recurrent Unit(GRU) 신경망을 Internet of Things (IoT) 파워미터에 적용하여 단기 전력사용량 예측방법을 제안하고, 실제 가정의 전력사용량 데이터를 토대로 예측 성능을 분석한다. 성능평가 지표로써 Mean Absolute Error (MAE), Mean Absolute Percentage Error (MAPE), Mean Percentage Error (MPE), Mean Squared Error (MSE), Root Mean Squared Error (RMSE)를 이용한다. 실험 결과는 GRU 기반의 모델이 LSTM 기반의 모델에 비해 MAPE 기준으로 4.52%, MPE 기준으로 5.59%만큼의 성능개선을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제8권3호
• /
• pp.123-128
• /
• 2019

본 논문에서는 RCNN (recurrent convolution neural network) 계층 모델을 채택한 인공 지능에 기반을 둔 주가 예측을 제안한다. LSTM (long-term memory model) 기반 신경망은 시계열 데이터의 예측에 사용된다. 다른 한편, 컨볼루션 신경망은 데이터 필터링, 평균화 및 데이터 확장을 제공한다. 제안된 주가 예측에서는 위에서 언급 한 장점들을 RCNN 모델에서 결합하여 적용함으로써 다음날의 주가 종가를 예측한다. 그리고 최근의 시계열의 데이터를 강조하기 위해 커스텀 가중치 손실 함수가 채택되었다. 또한 시장의 상황을 반영하기 위해 주가 인덱스에 관련된 데이터를 입력으로 포함하였다. 제안된 주가 예측 방식은 실제 주가를 대상으로 한 실험에서 3.19%로 테스트 오차를 줄였으며, 다른 방법보다 약 19%의 성능 향상을 거둘 수 있었다.

• 응용통계연구
• /
• 제33권5호
• /
• pp.627-637
• /
• 2020

본 논문에서는 건강보험심사평가원에서 제공한 약 120만명의 2014년 고령환자의료자료(HIRA-APS-2014-0053)과 기상자료를 일반화추정방정식(generalized estimating equation; GEE) 모형과 long short term memory (LSTM) 기반 순환신경망(recurrent neural network; RNN) 모형으로 분석하여 기상 조건에 따른 주요 주상병의 발생 빈도를 예측한다. 이를 위해 환자가 의료 서비스를 받은 기관의 지역을 이용하여 환자의 거주지를 추정하고 해당 지역의 주별 기상 관측소 자료와 의료자료를 병합하였다. 질병 발생 상태를 세 개의 범주(질병에 걸리지 않음, 관심 주상병 발생, 다른 질병 방생)로 나누었으며 각 범주에 속할 확률을 GEE 모형과 RNN 모형으로 추정하였다. 각 범주별 발생 건수는 해당 범주의 속할 추정확률의 합으로 계산하였으며 비교분석결과 RNN을 이용한 예측이 GEE를 이용한 예측보다 정확도가 높은 것으로 나타났다.

• 산업과 과학
• /
• 제3권1호
• /
• pp.17-22
• /
• 2024

인류의 출현과 함께 시작된 역사에는 기록이라는 수단이 있기에 현재에 사는 우리는 데이터를 통해 과거를 확인할 수 있다. 생성되는 데이터는 일정 순간에만 발생하여 저장될 수도 있지만, 과거로부터 현재까지 일정 시간 간격 동안 계속해서 생성될 뿐만 아니라 다가올 미래에도 발생함으로써 이를 활용하여 예측하는 것 또한 중요한 작업이다. 본 논문은 수많은 데이터 중에서 시계열 데이터의 활용 동향을 알아보기 위해서 시계열 데이터의 개념에서부터 머신러닝 분야에서 시계열 데이터 분석에 주로 사용되는 Recurrent Neural Network와 Long-Short Term Memory에 대해 분석하고, 이런 모델들을 활용한 사례의 조사를 통해 의료 진단, 주식 시세 분석, 기후 예측 등 다양한 분야에 활용되어 높은 예측 결과를 보이고 있음을 확인하였고, 이를 바탕으로 향후 활용방안에 대하여 모색해본다.

• 한국음향학회지
• /
• 제36권4호
• /
• pp.267-272
• /
• 2017

본 논문에서는 다채널 오디오 특징값을 게이트형 순환 신경망(Gated Recurrent Neural Networks, GRNN)에 적용한 효과적인 다성 사운드 이벤트 검출 방식을 제안한다. 실생활의 사운드는 여러 사운드 이벤트가 겹쳐있는 다성사운드로, 기존의 단일 채널 오디오 특징값으로는 다성 사운드에서 개별적인 이벤트의 검출이 어렵다는 한계가 있다. 이에 본 논문에서는 다채널 오디오 신호를 기반으로 추출된 특징값을 사용하여 다성 사운드 이벤트 검출에 적용하였다. 또한 본 논문에서는 현재 순환 신경망에서 가장 높은 성능을 보이는 장단기 기억 신경망(Long Short Term Memory, LSTM) 보다 간단한 GRNN을 분류에 적용하여 다성 사운드 이벤트 검출의 성능을 더욱 향상시키고자 하였다. 실험결과는 본 논문에서 제안한 방식이 기존의 방식보다 성능이 더 뛰어나다는 것을 보인다.

• 해양환경안전학회지
• /
• 제29권5호
• /
• pp.505-511
• /
• 2023

본 논문에서는 소형어선의 운동 응답을 예측하기 위해 딥러닝 모델을 구축하였다. 크기가 다른 두 소형어선을 대상으로 유체동역학 성능을 평가하여 데이터세트를 확보하였다. 딥러닝 모델은 순환 신경망 기법의 하나인 장단기 메모리 기법(LSTM, Long Short-Term Memory)을 사용하였다. 딥러닝 모델의 입력 데이터는 6 자유도 운동 및 파고의 시계열 데이터를 사용하였으며, 출력 라벨로는 6 자유도 운동의 시계열 데이터로 선정하였다. 최적 LSTM 모델 구축을 위해 hyperparameter 및 입력창 길이의 영향을 평가하였다. 구축된 LSTM 모델을 통해 입사파 방향에 따른 시계열 운동 응답을 예측하였다. 예측된 시계열 운동 응답은 해석 결과와 전반적으로 잘 일치함을 확인할 수 있었다. 시계열의 길이가 길어짐에 따라서 예측값과 해석 결과의 차이가 발생하는데, 이는 장기 데이터에 따른 훈련 영향도가 감소 됨에 따라 나타난 것으로 확인할 수 있다. 전체 예측 데이터의 오차는 약 85% 이상의 데이터가 10% 이내의 오차를 보였으며, 소형어선의 시계열 운동 응답을 잘 예측함을 확인하였다. 구축된 LSTM 모델은 소형어선의 모니터링 및 경보 시스템에 활용될 수 있을 것으로 기대한다.

• ETRI Journal
• /
• 제39권6호
• /
• pp.832-840
• /
• 2017

Recently, deep recurrent neural networks have achieved great success in various machine learning tasks, and have also been applied for sound event detection. The detection of temporally overlapping sound events in realistic environments is much more challenging than in monophonic detection problems. In this paper, we present an approach to improve the accuracy of polyphonic sound event detection in multichannel audio based on gated recurrent neural networks in combination with auditory spectral features. In the proposed method, human hearing perception-based spatial and spectral-domain noise-reduced harmonic features are extracted from multichannel audio and used as high-resolution spectral inputs to train gated recurrent neural networks. This provides a fast and stable convergence rate compared to long short-term memory recurrent neural networks. Our evaluation reveals that the proposed method outperforms the conventional approaches.

• 한국항행학회논문지
• /
• 제23권6호
• /
• pp.561-569
• /
• 2019

태양광 발전은 일사량만 있으면 전기에너지를 얻을 수 있기 때문에, 새로운 에너지 공급원으로 용도가 급증하고 있다. 본 논문은 실제 태양광 발전 시스템의 컨버터 출력을 이용하여 장단기 출력 예측을 하였다. 예측 알고리즘은 다중선형회귀와 머신러닝의 지도학습 중 분류모델인 서포트 벡터 머신 그리고 DNN과 LSTM 등 딥러닝을 이용하였다. 또한 기상요소의 입출력 구조에 따라 3개의 모델을 이용하였다. 장기 예측은 월별, 계절별, 연도별 예측을 하였으며, 단기 예측은 7일간의 예측을 하였다. 결과로서 RMSE 측도에 의한 예측 오차로 비교해 본 결과 다중선형회귀와 SVM 보다는 딥러닝 네트워크가 예측 정확도 측면에서 더 우수하였다. 또한, DNN 보다 시계열 예측에 우수한 모델인 LSTM이 예측 정확도 측면에서 우수하였다. 입출력 구조에 따른 실험 결과는 모델 1보다 모델 2가 오차가 적었으며, 모델 2보다는 모델 3이 오차가 적었다.