• 한국컴퓨터정보학회논문지
• /
• 제29권7호
• /
• pp.73-80
• /
• 2024

본 연구는 토픽 모델링과 장단기 기억(LSTM) 신경망을 결합하여 한국 종합주가지수(KOSPI) 예측의 정확도를 향상하는 방법을 제안한다. 본 논문에서는 LDA(Latent Dirichlet Allocation) 기법을 이용해 금융 뉴스 데이터에서 금리 인상 및 인하와 관련된 10개의 주요 주제를 추출하고, 추출된 주제를 과거 KOSPI 지수와 함께 LSTM 모델에 입력하여 KOSPI 지수를 예측하는 모델을 제안한다. 제안된 모델은 과거 KOSPI 지수를 LSTM 모델에 입력하여 시계열 예측 방법과 뉴스 데이터를 입력하여 토픽 모델링하는 방법을 결합하여 KOSPI 지수를 예측하는 특성을 가진다. 제안된 모델의 성능을 검증하기 위해, 본 논문에서는 LSTM의 입력 데이터의 종류에 따라 4개의 모델(LSTM_K 모델, LSTM_KNS 모델, LDA_K 모델, LDA_KNS 모델)을 설계하고 각 모델의 예측 성능을 제시하였다. 예측 성능을 비교한 결과, 금융 뉴스 주제 데이터와 과거 KOSPI 지수 데이터를 입력으로 하는 LSTM 모델(LDA_K 모델)이 가장 낮은 RMSE(Root Mean Square Error)를 기록하여 가장 좋은 예측 성능을 보였다.

• 한국수자원학회논문집
• /
• 제55권7호
• /
• pp.495-504
• /
• 2022

최근 인공지능의 발전으로 시계열 자료 분석에 효과적인 Long Short-Term Memory (LSTM) 모델이 댐유입량 예측의 정확도를 높이는 데 활용되고 있다. 본 연구에서는 그 중 LSTM의 성능을 더욱 향상할 수 있는 Sequence-to-Sequence (s2s) 구조에 Attention 기법을 LSTM 모델에 첨가하여 소양강댐 유역의 유입량을 예측하였다. 분석 데이터는 2013년부터 2020년까지의 유입량 시자료와 종관기상관측기온 및 강수량 자료를 학습, 검증, 평가로 나누어 훈련한 후, 모델의 성능 평가를 진행하였다. 분석 결과, LSTM-s2s 모델보다 attention까지 첨가한 모델이 일반적으로 더 좋은 성능을 보였으며, attention 첨가 모델이 첨두값도 더 잘 예측하는 모습을 보였다. 그리고 두 모델 모두 첨두값 발생 동안 유량 패턴을 잘 반영하였지만 세밀한 시간 단위 변화량에는 어려움이 있었다. 이를 통해 시간 단위 예측의 어려움에도 불구하고, LSTM-s2s에 attention까지 첨가한 모델이 기존 LSTM-s2s의 예측 성능을 향상할 수 있음을 알 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
• /
• pp.224-227
• /
• 2015

상호참조해결은 특정 개체에 대해 다르게 표현한 단어들을 서로 연관지어 주며, 이러한 개체에 대해 표현한 단어들을 멘션(mention)이라 하며, 이런 멘션을 찾아내는 것을 멘션탐지(mention detection)라 한다. 멘션은 명사나 명사구를 기반으로 정의되며, 명사구의 경우에는 수식어를 포함하기 때문에 멘션탐지를 순차 데이터 문제(sequence labeling problem)로 정의할 수 있다. 순차 데이터 문제에는 Recurrent Neural Network(RNN) 종류의 모델을 적용할 수 있으며, 모델들은 Long Short-Term Memory(LSTM) RNN, LSTM Recurrent CRF(LSTM-CRF), Bidirectional LSTM-CRF(Bi-LSTM-CRF) 등이 있다. LSTM-RNN은 기존 RNN의 그레디언트 소멸 문제(vanishing gradient problem)를 해결하였으며, LSTM-CRF는 출력 결과에 의존성을 부여하여 순차 데이터 문제에 더욱 최적화 하였다. Bi-LSTM-CRF는 과거입력자질과 미래입력자질을 함께 학습하는 방법으로 최근에 가장 좋은 성능을 보이고 있다. 이에 따라, 본 논문에서는 멘션탐지에 Bi-LSTM-CRF를 적용할 것을 제안하며, 각 딥 러닝 모델들에 대한 비교실험을 보인다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.226-226
• /
• 2023

하천유량, 댐유입량 등을 예측하기 위해 다양한 Long Short-Term Memory (LSTM) 방법들이 활발하게 적용 및 개발되고 있다. 최근 연구들은 s2s (sequence-to-sequence), Attention 기법 등을 통해 LSTM의 성능을 개선할 수 있음을 제시하고 있다. 이에 따라 본 연구에서는 LSTM-s2s와 LSTM-s2s에 attention까지 첨가한 모델을 구축하고, 시간 단위 자료를 사용하여 유입량 예측을 수행하여, 이의 실제 댐 운영에 모델들의 활용 가능성을 확인하고자 하였다. 소양강댐 유역을 대상으로 2013년부터 2020년까지의 유입량 시자료와 종관기상관측기온 및 강수량 데이터를 학습, 검증, 평가로 나누어 훈련한 후, 모델의 성능 평가를 진행하였다. 최적 시퀀스 길이를 결정하기 위해 R², RRMSE, CC, NSE, 그리고 PBIAS을 사용하였다. 분석 결과, LSTM-s2s 모델보다 attention까지 첨가한 모델이 전반적으로 성능이 우수했으며, attention 첨가 모델이 첨두값 예측에서도 높은 정확도를 보였다. 두 모델 모두 첨두값 발생 동안 유량 패턴을 잘 반영하였지만 세밀한 시간 단위 변화량 패턴 모의에는 한계가 있었다. 시간 단위 예측의 한계에도 불구하고, LSTM-s2s에 attention까지 추가한 모델은 향후 댐유입량 예측에 활용될 수 있을 것으로 판단한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권11호
• /
• pp.491-500
• /
• 2021

본 연구에서는 MS Kinect v2 RGBD 카메라 기반의 Human-Skeleton Keypoints와 2-Stacked Bi-LSTM 모델을 이용하여 낙상 행위를 탐지하는 방법을 제안한다. 기존의 연구는 RGB 영상에서 OpenPose 등의 딥러닝 모델을 이용하여 골격 정보를 추출한 후 LSTM, GRU 등의 순환신경망 모델을 이용해 인식을 수행하였다. 제안한 방법은 카메라로부터 골격정보를 바로 전달 받아 가속도 및 거리의 2개의 시계열 특징을 추출한 후 2-Stacked Bi-LSTM 모델을 이용하여 낙상 행위를 인식하였다. 어깨, 척추, 골반 등 주요 골격을 대상으로 중심관절을 구하고 이 중심관절의 움직임 가속도와 바닥과의 거리를 특징으로 제안하였다. 추출된 특징은 Stacked LSTM, Bi-LSTM 등의 모델과 성능비교를 수행하였고 GRU, LSTM 등의 기존연구에 비해 향상된 검출 성능을 실험을 통해 증명하였다.

• 한국수자원학회논문집
• /
• 제57권2호
• /
• pp.127-137
• /
• 2024

수자원 관리를 위해 주로 사용되는 물리 모형은 입력자료의 구축과 구동이 어렵고 사용자의 주관적 견해가 개입될 수 있다. 최근 수자원 분야에서 이러한 문제점을 보완하기 위해 기계학습과 같은 자료기반 모델을 이용한 연구가 활발히 진행되고 있다. 본 연구에서는 관측자료만을 이용하여 강원도 삼척시 오십천 유역의 장기강우유출모의를 수행했다. 이를 위해 기상자료로 3개의 입력자료군(기상관측요소, 일 강수량 및 잠재증발산량, 일강수량 - 잠재증발산량)을 구성하고 LSTM (Long Short-term Memory)인공신경망 모델에 각각 학습시킨 결과를 비교 및 분석했다. 그 결과 기상관측요소만을 이용한 LSTM-Model 1의 성능이 가장 높았으며, 여기에 MLP 인공신경망을 더한 6개의 LSTM-MLP 앙상블 모델을 구축하여 오십천 유역의 장기유출을 모의했다. LSTM 모델과 LSTM-MLP 모형을 비교한 결과 두 모델 모두 대체적으로 비슷한 결과를 보였지만 LSTM 모델에 비해 LSTM-MLP의 MAE, MSE, RMSE가 감소했고 특히 저유량 부분이 개선되었다. LSTM-MLP의 결과에서 저유량 부분의 개선을 보임에 따라 향후 LSTM-MLP 모델 이외에 CNN등 다양한 앙상블 모형을 이용해 물리적 모델 구축 및 구동 시간이 오래 걸리는 대유역과 입력 자료가 부족한 미계측 유역의 유황곡선 작성 등에 활용성이 높을 것으로 판단된다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.331-332
• /
• 2022

본 논문에서는 3축 가속도와 3축 각속도 센서로 구성된 관성 측정 장치(IMU)와 압력센서가 내장되어있는 스마트 인솔을 착용하여 얻어진 보행 데이터를 통해 보폭을 추정하는 방법을 제안한다. 먼저 압력센서를 활용하여 한 걸음 주기로 나눈 뒤 나누어진 가속도와 각속도 센서 데이터를 LSTM과 Attention 계층을 결합한 딥러닝 모델에 학습하여 보폭 추정을 시행하였다. LSTM-Attention 모델은 기존 LSTM 모델보다 약 1.14%의 성능 향상을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
• /
• pp.194-197
• /
• 2015

Long Short-term Memory Network(LSTM) 기반 Recurrent Neural Network(RNN)는 순차 데이터를 모델링 할 수 있는 딥 러닝 모델이다. 기존 RNN의 그래디언트 소멸 문제(vanishing gradient problem)를 해결한 LSTM RNN은 멀리 떨어져 있는 이전의 입력 정보를 볼 수 있다는 장점이 있어 음성 인식 및 필기체 인식 등의 분야에서 좋은 성능을 보이고 있다. 또한 LSTM RNN 모델에 의존성(전이 확률)을 추가한 LSTM CRF모델이 자연어처리의 한 분야인 개체명 인식에서 우수한 성능을 보이고 있다. 본 논문에서는 한국어 문장의 지배소가 문장 후위에 나타나는 점에 착안하여 Backward 방식의 LSTM CRF 모델을 제안하고 이를 한국어 의미역 결정에 적용하여 기존 연구보다 더 높은 성능을 얻을 수 있음을 보인다.

• 한국빅데이터학회지
• /
• 제5권1호
• /
• pp.1-9
• /
• 2020

이 연구는 2018년도 정부(농림축산식품부)의 재원으로 농림식품기술기획평가원 지원을 받아 수행된 연구이다. 최근 시계열 및 텍스트 마이닝에서 활발히 사용되는 모델은 딥러닝(Deep Learning) 모델 구조를 활용한 LSTM(Long Short-Term Memory models) 모델이다. LSTM 모델은 RNN의 BPTT(Backpropagation Through Time) 과정에서 발생하는 Long-Term Dependency Problem을 해결하기 위해 등장한 모델이다. LSTM 모델은 가변적인 Sequence data를 활용하여 예측하는 문제를 굉장히 잘 해결했고, 지금도 널리 사용되고 있다. 본 논문 연구에서는 KT가 제공하는 CDR(Call Detailed Record) 데이터를 활용하여 바이러스와 밀접한 관계가 있을 것으로 예측되는 사람의 이동 경로를 파악하였다. 해당 사람의 경로를 활용하여 LSTM 모델을 학습시켜 이동 경로를 예측한 결과를 소개한다. 본 연구 결과를 활용하여 HPAI가 전파되는 경로를 예측하여 방역에 중점을 둘 경로 또는 지역을 선정해 HPAI 확산을 줄이는 데 이용될 수 있을 것이다.

• 한국융합학회논문지
• /
• 제9권12호
• /
• pp.47-52
• /
• 2018

개체명 인식(Named Entity Recognition)시스템은 문서로부터 고유한 의미를 가질 수 있는 인명(PS), 지명(LC), 기관명(OG) 등의 개체명을 추출하고 추출된 개체명의 범주를 결정하는 시스템이다. 최근 딥러닝 방식을 이용한 개체명 인식 연구에서 입력 데이터의 앞, 뒤 방향을 고려한 LSTM 기반의 Bi-LSTM 모델로부터 출력 데이터 간의 전이 확률을 이용한 CRF를 결합한 방식의 Bi-LSTM-CRF가 우수한 성능을 보이고, 문자 및 단어 단위의 효율적인 임베딩 벡터생성에 관한 연구와 CNN, LSTM을 활용한 모델에서도 좋은 성능을 보여주고 있다. 본 연구에서는 한국어 개체명 인식시스템 성능 향상을 위해 자질을 보강한 Bi-LSTM-CNN-CRF 모델에 관해 기술하고 전통문화 말뭉치구축 방식에 대해 제안한다. 그리고 구축한 말뭉치를 한국어 개체명 인식 성능 향상을 위한 자질 보강 모델 Bi-LSTM-CNN-CRF로 학습한 결과에 대해 제안한다.