• 한국수자원학회논문집
• /
• 제54권5호
• /
• pp.301-309
• /
• 2021

본 연구에서는 시계열 순서의 의미가 희석될 수 있는 기존의 U-net 기반 딥러닝 강우예측 모델의 성능을 개선하고자 하였다. 이를 위해서 데이터의 연속성을 고려한 ConvLSTM2D U-Net 신경망 구조를 갖는 모델을 적용하고, RainNet 모델 및 외삽 기반의 이류모델을 이용하여 예측정확도 개선 정도를 평가하였다. 또한 신경망 기반 모델 학습과정에서의 불확실성을 개선하기 위해 단일 모델뿐만 아니라 10개의 앙상블 모델로 학습을 수행하였다. 학습된 신경망 강우예측모델은 현재를 기준으로 과거 30분 전까지의 연속된 4개의 자료를 이용하여 10분 선행 예측자료를 생성하는데 최적화되었다. 최적화된 딥러닝 강우예측모델을 이용하여 강우예측을 수행한 결과, ConvLSTM2D U-Net을 사용하였을 때 예측 오차의 크기가 가장 작고, 강우 이동 위치를 상대적으로 정확히 구현하였다. 특히, 앙상블 ConvLSTM2D U-Net이 타 예측모델에 비해 높은 CSI와 낮은 MAE를 보이며, 상대적으로 정확하게 강우를 예측하였으며, 좁은 오차범위로 안정적인 예측성능을 보여주었다. 다만, 특정 지점만을 대상으로 한 예측성능은 전체 강우 영역에 대한 예측성능에 비해 낮게 나타나, 상세한 영역의 강우예측에 대한 딥러닝 강우예측모델의 한계도 확인하였다. 본 연구를 통해 시간의 변화를 고려하기 위한 ConvLSTM2D U-Net 신경망 구조가 예측정확도를 높일 수 있었으나, 여전히 강한 강우영역이나 상세한 강우예측에는 공간 평활로 인한 합성곱 신경망 모델의 한계가 있음을 확인하였다.

• 한국빅데이터학회지
• /
• 제5권1호
• /
• pp.197-208
• /
• 2020

어휘적 중의성이란 동음이의어, 다의어와 같이 단어를 2개 이상의 의미로 해석할 수 있는 경우를 의미하며, 감정을 나타내는 어휘에서도 어휘적 중의성을 띄는 경우가 다수 존재한다. 이러한 어휘들은 인간의 심리를 투영한다는 점에서 구체적이고, 풍부한 맥락을 전달하는 특징이 있다. 본 연구에서는 양방향 LSTM을 적용하여 중의성을 해소한 감정 분류 모델을 제안한다. 주변 문맥의 정보를 충분히 반영한다면, 어휘적 중의성 문제를 해결하고, 문장이 나타내려는 감정을 하나로 압축할 수 있다는 가정을 기반으로 한다. 양방향 LSTM은 문맥 정보를 필요로 하는 자연어 처리 연구 분야에서 자주 활용되는 알고리즘으로 본 연구에서도 문맥을 학습하기 위해 활용하고자 한다. GloVe 임베딩을 본 연구 모델의 임베딩 층으로 사용했으며, LSTM, RNN 알고리즘을 적용한 모델과 비교하여 본 연구 모델의 성능을 확인하였다. 이러한 프레임워크는 SNS 사용자들의 감정을 소비 욕구로 연결시킬 수 있는 마케팅 등 다양한 분야에 기여할 수 있을 것이다.

• 디지털융복합연구
• /
• 제17권12호
• /
• pp.243-248
• /
• 2019

다중작업학습(Multi-Task Learning, MTL) 기법은 하나의 신경망을 통해 다양한 작업을 동시에 수행하고 각 작업 간에 상호적으로 영향을 미치면서 학습하는 방식을 말한다. 본 연구에서는 전통문화 말뭉치를 직접 구축 및 학습데이터로 활용하여 다중작업학습 기법을 적용한 개체명 인식 모델에 대해 성능 비교 분석을 진행한다. 학습 과정에서 각각의 품사 태깅(Part-of-Speech tagging, POS-tagging) 과 개체명 인식(Named Entity Recognition, NER) 학습 파라미터에 대해 Bi-LSTM 계층을 통과시킨 후 각각의 Bi-LSTM을 계층을 통해 최종적으로 두 loss의 joint loss를 구한다. 결과적으로, Bi-LSTM 모델을 활용하여 단일 Bi-LSTM 모델보다 MTL 기법을 적용한 모델에서 1.1%~4.6%의 성능 향상이 있음을 보인다.

• 한국전자거래학회지
• /
• 제26권1호
• /
• pp.127-140
• /
• 2021

최근 센서 측정 데이터, 구매이력 등과 같이 시간 정보를 포함하는 시퀀스(sequence) 데이터가 다양한 응용에서 발생되고 있다. 주어진 시퀀스들 중 다른 시퀀스들과 매우 상이한 이상(anomalous) 시퀀스를 탐지하는 기법들은 지금까지 많이 연구되어왔으나 이들 대부분은 주로 시퀀스 내 원소들의 순서만을 고려하여 이상 시퀀스를 찾는다는 한계가 있다. 따라서 본 논문에서는 원소들의 순서와 원소들 간의 시간 간격 모두를 고려하는 새로운 이상 시퀀스 탐지 기법을 제안한다. 본 논문에서 제안하는 방법은 확장된 LSTM 오토인코더 모델을 사용한다. 이 모델은 시퀀스를 해당 시퀀스 내 원소들의 순서와 시간 간격 모두를 효과적으로 학습할 수 있는 형태로 변환하는 층을 추가로 가진다. 제안방법은 확장된 LSTM 오토인코더 모델로 주어진 시퀀스들의 특징을 학습한 뒤, 해당 모델이 잘 복원하지 못하는 시퀀스를 이상 시퀀스로 탐지한다. 본 논문에서는 정상 시퀀스와 이상 시퀀스를 혼합한 가상 데이터를 사용하여 제안 방법이 전통적인 LSTM 오토인코더만을 사용하는 방법과 비교하여 100%에 가까운 정확도를 나타냄을 보인다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.34-36
• /
• 2019

기존 딥 러닝을 이용한 형태소 분석 및 품사 태깅(Part-Of-Speech tagging)은 feed-forward neural network에 CRF를 결합하는 방법이나 sequence-to-sequence 모델을 이용한 방법 등의 다양한 모델들이 연구되었다. 본 논문에서는 한국어 형태소 분석 및 품사 태깅을 수행하기 위하여 최근 자연어처리 태스크에서 많은 성능 향상을 보이고 있는 BERT를 기반으로 한 음절 단위 LSTM-CRF 모델을 제안한다. BERT는 양방향성을 가진 트랜스포머(transformer) 인코더를 기반으로 언어 모델을 사전 학습한 것이며, 본 논문에서는 한국어 대용량 코퍼스를 어절 단위로 사전 학습한 KorBERT를 사용한다. 실험 결과, 본 논문에서 제안한 모델이 기존 한국어 형태소 분석 및 품사 태깅 연구들 보다 좋은 (세종 코퍼스) F1 98.74%의 성능을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.932-933
• /
• 2023

이 연구는 사람의 감정 변화를 건강하게 파악하고 분석하기 위해 시작되었다. Natural Language Processing(NLP)는 컴퓨터가 인간의 언어를 이해하기 위해 개발된 자연어 처리 기술이다. 본 논문에서는 이 기술을 이용하여 Text Mining을 통해 사용자가 작성한 일기에 담긴 감정을 분석하고 LSTM 모델과 GRU 모델을 비교군으로 두어 두 모델 중 감정 분석에 더 적합한 모델을 찾는 과정을 거쳤다. 이 과정을 정확도가 더 높은 LSTM 모델을 사용하여 감정 분석 결과를 분류하였다.

• 대한원격탐사학회지
• /
• 제36권5_3호
• /
• pp.1077-1093
• /
• 2020

해수면 온도는 전 세계 해양, 기상 현상에 영향을 주고 해양 환경 변화와 생물에게 영향을 주는 중요한 요소이다. 특히, 우리나라 남해안을 비롯한 연안 지역의 경우 어업 및 양식업 등의 수산업이 많이 발달하여, 매년 고수온 현상으로 인한 사회·경제적 피해가 발생하고 있다. 따라서 위성 자료와 같은 광범위한 지역을 감시할 수 있는 자료를 활용한 해수면 온도 및 공간적 분포의 예측기술 개발을 통하여 피해를 예방할 수 있는 시스템을 구축할 필요가 있다. 해수면 온도 예측은 기존의 수치 모델을 통해서 예측을 진행하였지만, 다수의 역학적 요인들을 사용하여 예측 결과 산출 시 복잡함이 존재한다. 최근 기계학습 및 딥러닝 기법이 발달함에 따라 해양 분야의 예측에 적용하는 연구가 진행되고 있다. 본 연구는 그 중 시·공간적인 일관성 및 정확도가 높은 장단기 기억(Long Short Term Memory, LSTM)과 합성곱 장단기 기억(Convolutional Long Short Term Memory, ConvLSTM) 딥러닝 기법을 사용하여 남해지역의 해수면온도 예측 및 2017년부터 2019년까지의 고수온 발생 건에 대해서 예측 결과의 공간 분포와 공간 분포와 예측 가능성에 대해 분석을 하였다. 1일 예측 모델의 정확도는 RMSE 기준으로 ConvLSTM(전체: 0.33℃, 봄: 0.34℃, 여름: 0.27℃, 가을: 0.32℃, 겨울: 0.36℃)이 LSTM 기반의 예측 모델(전체: 0.40℃, 봄: 0.40℃, 여름: 0.48℃, 가을: 0.39℃, 겨울: 0.34℃)보다 우수한 성능을 보였다. 2017년 고수온 발생 사례에 대해 해수면 온도 예측과 고수온 탐지 성능에서 ConvLSTM은 5일까지 경보를 탐지하였지만, LSTM의 경우 2일 예측 이후 해수면 온도를 과소 추정하는 경향이 커짐에 따라 탐지하지 못하였다. 시공간적인 해수면 온도 예측 시 ConvLSTM이 LSTM에 비해 적절한 모델로 판단된다.

• 지능정보연구
• /
• 제28권4호
• /
• pp.1-25
• /
• 2022

2020년 1월 국내에 첫 코로나19 확진자가 발생한 후 버스와 지하철 같은 대중교통이 아닌 공공자전거와 같은 개인형 이동수단에 대한 관심이 증가하였다. 서울시에서 운영하는 공공자전거인 '따릉이'에 대한 수요 역시 증가하였다. 본 연구에서는 서울시 공공자전거의 최근 3년간(2019~2021) 시간대별 대여이력을 바탕으로 게이트 순환 유닛(GRU, Gated Recurrent Unit)의 수요예측 모델을 제시하였다. 본 연구에서 제시하는 GRU 방법의 유용성은 서울시 영등포구 여의도에 위치한 여의나루 1번 출구의 대여이력을 바탕으로 검증하였다. 특히, 동일한 조건에서 다중선형회귀 모델 및 순환신경망 모델들과 이를 비교 분석하였다. 아울러, 모델 개발시 기상요소 이외에 서울시 생활인구를 변수로 활용하여 이에 대한 검증도 함께 진행하였다. 모델의 성능지표로는 MAE와 RMSE를 사용하였고, 이를 통해 본 연구에서 제안하는 GRU 모델의 유용성을 제시하였다. 분석결과 제안한 GRU 모델이 전통적인 기법인 다중선형회귀 모델과 최근 각광받고 있는 LSTM 모델 및 Conv-LSTM 모델보다 예측 정확도가 높게 나타났다. 또한 분석에 소요되는 시간도 GRU 모델이 LSTM 모델, Conv-LSTM 모델보다 짧았다. 본 연구를 통해 서울시 공공자전거의 수요예측을 보다 빠르고 정확하게 하여 향후 재배치 문제 등의 해결에 도움이 될 수 있을 것이다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.105-110
• /
• 2016

개체명 인식이란 문서 내에서 인명, 기관명, 지명, 시간, 날짜 등 고유한 의미를 가지는 개체명을 추출하여 그 종류를 결정하는 것을 말한다. 최근 개체명 인식 연구에서는 bidirectional LSTM CRFs가 가장 우수한 성능을 보여주고 있다. 하지만 LSTM 기반의 딥 러닝 모델은 입력이 되는 단어 표상에 의존적이기 때문에 입력이 되는 단어 표상을 확장하는 방법에 대한 연구가 많이 진행되어지고 있다. 본 논문에서는 한국어 개체명 인식을 위하여 bidirectional LSTM CRFs모델을 사용하고, 그 입력으로 사용되는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩 벡터, 품사 임베딩 벡터, 그리고 음절 기반에서 확장된 단어 임베딩 벡터를 사용한다. 음절 기반에서 단어 기반 임베딩 벡터로 확장하기 위하여 bidirectional LSTM을 이용하고, 그 입력으로 학습 데이터에서 추출한 개체명 분포를 이용하였다. 그 결과 사전 학습된 단어 임베딩 벡터만 사용한 것보다 4.93%의 성능 향상을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
• /
• pp.105-110
• /
• 2016

개체명 인식이란 문서 내에서 인명, 기관명, 지명, 시간, 날짜 등 고유한 의미를 가지는 개체명을 추출하여 그 종류를 결정하는 것을 말한다. 최근 개체명 인식 연구에서는 bidirectional LSTM CRFs가 가장 우수한 성능을 보여주고 있다. 하지만 LSTM 기반의 딥 러닝 모델은 입력이 되는 단어 표상에 의존적이기 때문에 입력이 되는 단어 표상을 확장하는 방법에 대한 연구가 많이 진행되어지고 있다. 본 논문에서는 한국어 개체명 인식을 위하여 bidirectional LSTM CRFs모델을 사용하고, 그 입력으로 사용되는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩 벡터, 품사 임베딩 벡터, 그리고 음절 기반에서 확장된 단어 임베딩 벡터를 사용한다. 음절 기반에서 단어 기반 임베딩 벡터로 확장하기 위하여 bidirectional LSTM을 이용하고, 그 입력으로 학습 데이터에서 추출한 개체명 분포를 이용하였다. 그 결과 사전 학습된 단어 임베딩 벡터만 사용한 것보다 4.93%의 성능 향상을 보였다.