• Journal of Information Processing Systems
• /
• 제17권5호
• /
• pp.867-878
• /
• 2021

In context awareness and user intention tasks, dataset construction is expensive because specific domain data are required. Although pretraining with a large corpus can effectively resolve the issue of lack of data, it ignores domain knowledge. Herein, we concentrate on data domain knowledge while addressing data scarcity and accordingly propose a multi-channel long short-term memory (LSTM). Because multi-channel LSTM integrates pretrained vectors such as task and general knowledge, it effectively prevents catastrophic forgetting between vectors of task and general knowledge to represent the context as a set of features. To evaluate the proposed model with reference to the baseline model, which is a single-channel LSTM, we performed two tasks: voice phishing with context awareness and movie review sentiment classification. The results verified that multi-channel LSTM outperforms single-channel LSTM in both tasks. We further experimented on different multi-channel LSTMs depending on the domain and data size of general knowledge in the model and confirmed that the effect of multi-channel LSTM integrating the two types of knowledge from downstream task data and raw data to overcome the lack of data.

• 한국콘텐츠학회논문지
• /
• 제19권11호
• /
• pp.278-287
• /
• 2019

공간 정보 추출은 자연어 텍스트에 있는 정적 및 동적인 공간 정보를 공간 개체와 그들 사이의 관계로 명확히 표시하여 추출하는 것을 말한다. 이 논문은 2단계 양방향 LSTM-CRF 앙상블 모델을 사용하여 한국어 공간 정보를 추출할 수 있는 심층 학습 방법을 제안한다. 또한 공간 개체 추출과 공간 관계 속성 추출을 통합한 모델을 소개한다. 한국어 공간정보 말뭉치(Korean SpaceBank)를 사용하여 실험한 결과 제안한 심층학습 방법이 기존의 CRF 모델보다 우수함을 보였으며, 특히 제안한 앙상블 모델이 단일 모델보다 더 우수한 성능을 보였다.

• 항공우주시스템공학회지
• /
• 제14권2호
• /
• pp.50-56
• /
• 2020

In this study, we investigated whether long short-term memory (LSTM) can be used in the future to predict F10.7 index data; the F10.7 index is a space environment factor affecting atomic oxygen erosion. Based on this, we compared the prediction performances of LSTM, the Autoregressive integrated moving average (ARIMA) model (which is a traditional statistical prediction model), and the similar pattern searching method used for long-term prediction. The LSTM model yielded superior results compared to the other techniques in the prediction period starting from the max/min points, but presented inferior results in the prediction period including the inflection points. It was found that efficient learning was not achieved, owing to the lack of currently available learning data in the prediction period including the maximum points. To overcome this, we proposed a method to increase the size of the learning samples using the sunspot data and to upgrade the LSTM model.

• 문화기술의 융합
• /
• 제9권6호
• /
• pp.1065-1071
• /
• 2023

본 논문에서는 주거지 내의 재실자의 행동을 분류하기 위한 LSTM 모델을 개발하는 연구에 대해 다룬다. 다중센서의 구성은 실내 공기질을 측정하는 IAQ(Indoor air quality) 센서, 재실감지 및 위치를 추적하는 UWB 레이더, 재실자의 생체정보를 측정하기 위한 Piezo 센서로 구성되며 실제 주거환경과 유사한 실험환경을 구축하여 외출, 재실, 요리, 청소, 운동, 수면 등의 재실자 행동 데이터를 수집한다. 수집한 데이터를 이상치와 결측치를 전처리 후 LSTM 모델을 사용하여 재실자 행동 분류 모델의 정확도, 민감도, 특이도, 그리고 T1스코어를 계산 후 평가한다.

• 디지털융복합연구
• /
• 제17권12호
• /
• pp.243-248
• /
• 2019

다중작업학습(Multi-Task Learning, MTL) 기법은 하나의 신경망을 통해 다양한 작업을 동시에 수행하고 각 작업 간에 상호적으로 영향을 미치면서 학습하는 방식을 말한다. 본 연구에서는 전통문화 말뭉치를 직접 구축 및 학습데이터로 활용하여 다중작업학습 기법을 적용한 개체명 인식 모델에 대해 성능 비교 분석을 진행한다. 학습 과정에서 각각의 품사 태깅(Part-of-Speech tagging, POS-tagging) 과 개체명 인식(Named Entity Recognition, NER) 학습 파라미터에 대해 Bi-LSTM 계층을 통과시킨 후 각각의 Bi-LSTM을 계층을 통해 최종적으로 두 loss의 joint loss를 구한다. 결과적으로, Bi-LSTM 모델을 활용하여 단일 Bi-LSTM 모델보다 MTL 기법을 적용한 모델에서 1.1%~4.6%의 성능 향상이 있음을 보인다.

• 한국전자거래학회지
• /
• 제26권1호
• /
• pp.127-140
• /
• 2021

최근 센서 측정 데이터, 구매이력 등과 같이 시간 정보를 포함하는 시퀀스(sequence) 데이터가 다양한 응용에서 발생되고 있다. 주어진 시퀀스들 중 다른 시퀀스들과 매우 상이한 이상(anomalous) 시퀀스를 탐지하는 기법들은 지금까지 많이 연구되어왔으나 이들 대부분은 주로 시퀀스 내 원소들의 순서만을 고려하여 이상 시퀀스를 찾는다는 한계가 있다. 따라서 본 논문에서는 원소들의 순서와 원소들 간의 시간 간격 모두를 고려하는 새로운 이상 시퀀스 탐지 기법을 제안한다. 본 논문에서 제안하는 방법은 확장된 LSTM 오토인코더 모델을 사용한다. 이 모델은 시퀀스를 해당 시퀀스 내 원소들의 순서와 시간 간격 모두를 효과적으로 학습할 수 있는 형태로 변환하는 층을 추가로 가진다. 제안방법은 확장된 LSTM 오토인코더 모델로 주어진 시퀀스들의 특징을 학습한 뒤, 해당 모델이 잘 복원하지 못하는 시퀀스를 이상 시퀀스로 탐지한다. 본 논문에서는 정상 시퀀스와 이상 시퀀스를 혼합한 가상 데이터를 사용하여 제안 방법이 전통적인 LSTM 오토인코더만을 사용하는 방법과 비교하여 100%에 가까운 정확도를 나타냄을 보인다.

• 한국전자통신학회논문지
• /
• 제18권6호
• /
• pp.1151-1156
• /
• 2023

본 논문은 초기 리튬이온 배터리의 충·방전 데이터를 활용하여 리튬이온 배터리의 잔존 수명을 예측할 수 있는 딥러닝 모델을 제시한다. PNP(Positive and Negative Perceptron) 모델을 사용하여 DMP(Deep learning Model using PNP model)를 구축하였으며, DMP의 성능을 증명하기 위해 LSTM 모델을 사용하여 DML(Deep learning Model using LSTM model)을 구성하였다. DMP와 DML의 리튬이온 배터리의 잔존 수명 예측 성능을 비교하며, 오차 측정 방법은 RMSE(Root Mean Square Error)와 RMSPE(Root Mean Square Percentage Error)이다. 시험 데이터로 오차를 측정한 결과 DMP와 DML의 RMSE 차이는 144.62[Cycle]이며, RMSPE 차이는 3.37[%]로 DMP의 오차가 낮게 측정되었다. 이를 통해 우리는 DMP의 성능이 높은 것으로 증명하였으며, 이는 리튬이온 배터리 분야에서 PNP 모델이 LSTM 모델보다 성능이 뛰어남을 나타내었다.

• 한국정보전자통신기술학회논문지
• /
• 제11권2호
• /
• pp.204-208
• /
• 2018

본 논문에서는 시계열 데이터인 주가의 변동 패턴을 학습하고, 주가 가격을 예측하기 적합한 주가 예측 딥러닝 모델을 제시하고 평가하였다. 일반신경망에 시계열 개념이 추가되어 은닉계층에 이전 정보를 기억시킬 수 있는 순환신경망이 시계열 데이터인 주가 예측 모델로 적합하다. 순환신경망에서 나타나는 기울기 소멸문제를 해결하며, 장기의존성을 유지하기 위하여, 순환신경망의 내부에 작은 메모리를 가진 LSTM을 사용한다. 또한, 순환신경망의 시계열 데이터의 직전 패턴 기반으로만 학습하는 경향을 보이는 한계를 해결하기 위하여, 데이터의 흐름의 역방향에 은닉계층이 추가되는 양방향 LSTM 순환신경망을 이용하여 주가예측 모델을 구현하였다. 실험에서는 제시된 주가 예측 모델에 텐서플로우를 이용하여 주가와 거래량을 입력 값으로 학습을 하였다. 주가예측의 성능을 평가하기 위해서, 실제 주가와 예측된 주가 간의 평균 제곱근 오차를 구하였다. 실험결과로는 단방향 LSTM 순환신경망보다, 양방향 LSTM 순환신경망을 이용한 주가예측 모델이 더 작은 오차가 발생하여 주가 예측 정확성이 향상되었다.

• International Journal of Computer Science & Network Security
• /
• 제22권2호
• /
• pp.131-138
• /
• 2022

Soft sensors are used to anticipate complicated model parameters using data from classifiers that are comparatively easy to gather. The goal of this study is to use artificial intelligence techniques to design and build soft sensors. The combination of a Long Short-Term Memory (LSTM) network and Grey Wolf Optimization (GWO) is used to create a unique soft sensor. LSTM is developed to tackle linear model with strong nonlinearity and unpredictability of manufacturing applications in the learning approach. GWO is used to accomplish input optimization technique for LSTM in order to reduce the model's inappropriate complication. The newly designed soft sensor originally brought LSTM's superior dynamic modeling with GWO's exact variable selection. The performance of our proposal is demonstrated using simulations on real-world datasets.

• ETRI Journal
• /
• 제44권3호
• /
• pp.438-449
• /
• 2022

This study proposes a dependency grammar-based self-attention multilayered bidirectional long short-term memory (DG-M-Bi-LSTM) model for subject-predicate-object (SPO) tuple recognition from natural language (NL) sentences. To add recent knowledge to the knowledge base autonomously, it is essential to extract knowledge from numerous NL data. Therefore, this study proposes a high-accuracy SPO tuple recognition model that requires a small amount of learning data to extract knowledge from NL sentences. The accuracy of SPO tuple recognition using DG-M-Bi-LSTM is compared with that using NL-based self-attention multilayered bidirectional LSTM, DG-based bidirectional encoder representations from transformers (BERT), and NL-based BERT to evaluate its effectiveness. The DG-M-Bi-LSTM model achieves the best results in terms of recognition accuracy for extracting SPO tuples from NL sentences even if it has fewer deep neural network (DNN) parameters than BERT. In particular, its accuracy is better than that of BERT when the learning data are limited. Additionally, its pretrained DNN parameters can be applied to other domains because it learns the structural relations in NL sentences.