• 스마트미디어저널
• /
• 제7권4호
• /
• pp.17-23
• /
• 2018

자동 띄어쓰기 특성을 효과적으로 처리할 수 있는 LSTM(Long Short-Term Memory Neural Networks) 기반의 RNN 모델을 제시하고 적용한 결과를 분석하였다. 문장이 길거나 일부 노이즈가 포함된 경우에 신경망 학습이 쉽지 않은 문제를 해결하기 위하여 입력 데이터 형식과 디코딩 데이터 형식을 정의하고, 신경망 학습에서 드롭아웃, 양방향 다층 LSTM 셀, 계층 정규화 기법, 주목 기법(attention mechanism)을 적용하여 성능을 향상시키는 방법을 제안하였다. 학습 데이터로는 세종 말뭉치 자료를 사용하였으며, 학습 데이터가 부분적으로 불완전한 띄어쓰기가 포함되어 있었음에도 불구하고, 대량의 학습 데이터를 통해 한글 띄어쓰기에 대한 패턴이 의미 있게 학습되었다. 이것은 신경망에서 드롭아웃 기법을 통해 학습 모델의 오버피팅이 되지 않도록 함으로써 노이즈에 강한 모델을 만들었기 때문이다. 실험결과로 LSTM sequence-to-sequence 모델이 재현율과 정확도를 함께 고려한 평가 점수인 F1 값이 0.94로 규칙 기반 방식과 딥러닝 GRU-CRF보다 더 높은 성능을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권6호
• /
• pp.245-254
• /
• 2022

단백질은 모든 생명 활동의 기본 단위이며, 이를 이해하는 것은 생명 현상을 연구하는 데 필수적이다. 인공신경망을 이용한 기계학습 방법론이 대두된 이후로 많은 연구자들이 단백질 서열만을 사용하여 단백질의 기능을 예측하고자 하였다. 많은 조합의 딥러닝 모델이 학계에 보고되었으나 그 방법은 제각각이며 정형화된 방법론이 없고, 각기 다른 데이터에 맞춰져있어 어떤 알고리즘이 더 단백질 데이터를 다루는 데 적합한지 직접 비교분석 된 적이 없다. 본 논문에서는 단백질의 기능을 예측하는 융합 분야에서 가장 많이 사용되는 대표 알고리즘인 CNN, LSTM, GRU 모델과 이를 이용한 두가지 결합 모델에 동일 데이터를 적용하여 각 알고리즘의 단일 모델 성능과 결합 모델의 성능을 정확도와 속도를 기준으로 비교 평가하였으며 최종 평가 척도를 마이크로 정밀도, 재현율, F1 점수로 나타내었다. 본 연구를 통해 단순 분류 문제에서 단일 모델로 LSTM의 성능이 준수하고, 복잡한 분류 문제에서는 단일 모델로 중첩 CNN이 더 적합하며, 결합 모델로 CNN-LSTM의 연계 모델이 상대적으로 더 우수함을 확인하였다.

• 디지털융복합연구
• /
• 제19권8호
• /
• pp.319-325
• /
• 2021

무선 기술의 고도화 및 이동통신 기술의 인프라가 빠르게 성장함에 따라 AI 기반 플랫폼을 적용한 시스템이 사용자의 주목을 받고 있다. 특히 사용자의 취향이나 관심사 등을 이해하고, 선호하는 아이템을 추천해주는 시스템은 고도화된 전자상거래 맞춤형 서비스 및 스마트 홈 등에 적용되고 있다. 그러나 이러한 추천 시스템은 다양한 사용자들의 취향이나 관심사 등에 대한 선호도를 실시간으로 반영하기 어렵다는 문제가 있다. 본 연구에서는 이러한 문제를 해소하기 위해 GRU(Gated Recurrent Unit) 언어 모델을 이용한 Fuzzy-AHP 기반 영화 추천 시스템을 제안하였다. 본 시스템에서는 사용자의 취향이나 관심사를 실시간으로 반영하기 위해 Fuzzy-AHP를 적용하였다. 또한 대중들의 관심사 및 해당 영화의 내용을 분석하여 사용자가 선호하는 요인과 유사한 영화를 추천하기 위해 GRU 언어 모델 기반의 모델을 적용하였다. 본 추천 시스템의 성능을 검증하기 위해 학습 모듈에서 사용된 스크래핑 데이터를 이용하여 학습 모델의 적합성을 측정하였으며, LSTM(Long Short-Term Memory) 언어 모델과 Epoch 당 학습 시간을 비교하여 학습 수행 속도를 측정하였다. 그 결과 본 연구의 학습 모델의 평균 교차 검증 지수가 94.8%로 적합하다는 것을 알 수 있었으며, 학습 수행 속도가 LSTM 언어 모델보다 우수함을 확인할 수 있었다.

• 대한원격탐사학회지
• /
• 제38권3호
• /
• pp.299-309
• /
• 2022

최근 한반도 주역 해역의 수온이 꾸준히 증가하고 있다. 수온변화는 어업생태계에 영향을 미칠 뿐만 아니라 해양에서의 군사작전과도 밀접히 연관되어 있다. 본 연구는 딥러닝 기술을 기반으로 하는 다양한 예측모델을 통해 단기간 수온예측을 시도함으로써 어떠한 모델이 수온예측분야에 더욱 적합한지를 제시하는 것에 목적을 두었다. 예측을 위해 사용한 데이터는 국립수산과학원에서 해양 관측부이를 통해 관측한 2016년부터 2020년까지 동해 지역(고성, 양양, 강릉, 영덕)의 수온 데이터이다. 또한 예측을 위한 모델로는 시계열 데이터 예측에 우수한 성능을 보이는 Long Short-Term Memory (LSTM), Bidirectional LSTM 그리고 Gated Recurrent Unit (GRU) 기법을 사용하였다. 기존 연구가 LSTM만을 활용하였던데 반해 이번 연구에서는 LSTM 외에 다양한 기법을 적용함으로써 각 기법의 예측 정확도와 수행시간을 비교하였다. 연구결과, 1시간 예측을 기준으로 모든 관측지점에서 Bidirectional LSTM과 GRU 기법이 실제값과 예측값의 오차가 가장 적은 것으로 확인되었으며, 학습시간에 있어서는 GRU가 가장 빠른 것으로 확인되었다. 이를 통해, 예측 오차를 줄이면서 정확도를 향상하기 위한 수온예측에는 Bidirectional LSTM을 활용하고 대잠작전처럼 정확도 외에 실시간 예측이 필요한 분야에 있어서는 GRU 기법을 활용하는 방안이 더욱 적절할 것으로 판단된다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제12권2호
• /
• pp.53-60
• /
• 2023

최근 실시간 스트리밍 플랫폼을 기반으로 한 다양한 멀티미디어 컨텐츠의 수요량과 트래픽 양이 급격히 증가하고 있는 추세이다. 본 논문에서는 실시간 스트리밍 서비스의 품질을 향상시키기 위해서 실시간 스트리밍 트래픽을 예측한다. 네트워크 트래픽을 예측하기 위해 통계적 모형을 활용하였으나, 실시간 스트리밍 트래픽은 매우 동적으로 변화함에 따라 통계적 모형보다는 순환 신경망 기반 딥러닝 모델이 적합하다. 따라서, 실시간 스트리밍 트래픽을 수집, 정제 후 Vanilla RNN, LSTM, GRU, Bi-LSTM, Bi-GRU 모델을 활용하여 예측하며, 각 모델의 학습 시간, 정확도를 측정하여 비교한다.

• 한국컴퓨터정보학회논문지
• /
• 제28권1호
• /
• pp.17-26
• /
• 2023

본 연구논문에서는 LSTM 기반의 학습 모델 적용과 그 효용성을 높일 수 있도록 몇 가지 평활 기법을 비교, 적용하고자 한다. 적용된 평활 기법은 Savitky-Golay, 지수 평활법, 가중치 이동 평균 등이다. 본 연구를 통해 비트코인 데이터에 LSTM모델 적용 시 보여준 결과 값보다 전처리 과정에서 적용된 Savitky-Golay 필터가 적용된 LSTM 알고리즘이 예측 성능에 유의미한 좋은 결과를 보였다. 예측 성능 결과를 확인하기 위해 비트코인 가격 예측에 따른 복잡 요인을 제거하는데 사용된 LSTM의 경우와 Savitzky-Golay LSTM 모델에 따른 학습 손실율과 검증 손실율을 비교하고 그 신뢰성을 높일 수 있도록 20회 평균값으로 실험하였다. 그 결과 (3.0556, 0.00005), (1.4659, 0.00002)의 값을 얻을 수 있었다. 결과적으로는 비트코인과 같은 암호화폐가 주식보다 더한 변동성을 가지는 만큼 데이터 전처리 과정에서 평활 기법(Savitzky-Golay)을 적용하여 잡음(Noise)을 제거하였으며, 전처리 후의 데이터는 LSTM 신경망 학습을 통해서 비트코인 예측률을 높이는데 가장 유의미한 결과를 얻을 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 추계학술대회
• /
• pp.216-218
• /
• 2022

이상 기후로 인한 자연 재해는 지속적으로 증가하고 있으며, 자연재해 중 가장 많은 피해를 입히는 유형은 폭우, 태풍 등으로 인한 수해 피해로 이러한 재해는 홍수를 동반하여 더욱 큰 피해를 입히기도 한다. 따라서, 홍수 피해를 줄이기 위해 본 논문에서는 LSTM과 GRU를 활용하여 실시간으로 홍수의 주요 파라미터인 수위를 실시간으로 예측할 수 있는 시스템을 제안한다. 홍수 예측을 위해 사용된 입력 데이터는 하천의 상류 및 하류 수위, 기온, 습도, 강수량이 사용되며, 사전에 학습된 LSTM-GRU 모델을 통해 실시간 예측을 진행한다. 입력 데이터는 과거 20시간의 데이터를 활용하여 향후 3시간의 수위를 예측한다. 본 논문에서 제안한 시스템을 통해 위험도 판별 기능을 추가하고 홍수에 노출된 사람들에게 대피 명령을 내릴 수 있다면 홍수로 인한 많은 피해를 줄일 수 있을 것으로 사료된다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2022년도 학술발표회
• /
• pp.483-483
• /
• 2022

댐과 저수지의 운영 최적화를 위한 수문학적 예보는 현재 수동적인 댐 운영이 주를 이루면서 활용도가 높지 않다. 불확실한 기후변화나 기후재난 상황에서 우리 사회에 악영향을 최소화하기 위해 선제적으로 대응/대비할 수 있는 댐 운영 방안이 불가피하다. 강우량 예측 기술은 기후변화로 인해 제한적인 상황이다. 실례로, 2020년 8월에 섬진강의 댐이 극심한 집중 강우로 인해 무너지는 사태가 발생하였고 이로 인해 지역사회에 막대한 경제적 피해가 발생하였다. 선제적 댐 방류량 운영 기술은 또한 환경적인 변화로 인한 영향을 완화하기 위해 필요한 것이다. 제한적인 기상 예보 기술을 극복하고자 심화학습이나 강화학습 같은 인공지능 모델들의 활용성에 대한 연구가 시도되고 있다. 따라서 본 연구는 섬진강 댐의 시간당 수문 데이터를 이용하여 댐 운영을 위한 심화학습 모델을 개발하고 그 활용도를 평가하였다. 댐 운영을 위한 심화학습 모델로서 시계열 데이터 예측에 적합한 Long Sort Term Memory(LSTM)과 Gated Recurrent Unit(GRU) 알고리즘을 구축하고 댐 수위를 예측하였다. 분석 자료는 WAMIS에서 제공하는 2000년부터 2021년까지의 시간당 데이터를 사용하였다. 입력 데이터로서 시간당 유입량, 강우량과 방류량을, 출력 데이터로서 시간당 수위 자료를 각각 사용하였으며. 결정계수(R2 Score)를 통해 모델의 예측 성능을 평가하였다. 댐 수위 예측값 개선을 위해 하이퍼파라미터의 '최적값'이 존재하는 범위를 줄여나가는 하이퍼파라미터 최적화를 두 가지 방법으로 진행하였다. 첫 번째 방법은 수동적 탐색(Manual Search) 방법으로 Sequence Length를 24, 48, 72시간, Hidden Layer를 1, 3, 5개로 설정하여 하이퍼파라미터의 조합에 따른 LSTM와 GRU의 민감도를 평가하였다. 두 번째 방법은 Grid Search로 최적의 하이퍼파라미터를 찾았다. 이 두가지 방법에서는 같은 하이퍼파라미터 안에서 GRU가 LSTM에 비해 더 높은 예측 정확도를 보였고 Sequence Length가 높을수록 정확도가 높아지는 경향을 보였다. Manual Search 방법의 경우 R2가 최대 0.72의 정확도를 보였고 Grid Search 방법의 경우 R2가 0.79의 정확도를 보였다. 본 연구 결과는 가뭄과 홍수와 같은 물 재해에 사전 대응하고 기후변화에 적응할 수 있는 댐 운영 개선에 도움을 줄 수 있을 것으로 판단된다.

• 전기전자학회논문지
• /
• 제23권1호
• /
• pp.120-126
• /
• 2019

최근 에너지 인터넷에서 지능형 원격검침 인프라를 이용하여 확보된 대량의 전력사용데이터를 기반으로 효과적인 전력수요 예측을 위해 다양한 기계학습기법에 관한 연구가 활발히 진행되고 있다. 본 연구에서는 전력량 데이터와 같은 시계열 데이터에 대해 효율적으로 패턴인식을 수행하는 인공지능 네트워크인 Gated Recurrent Unit(GRU)을 기반으로 딥 러닝 모델을 제안하고, 실제 가정의 전력사용량 데이터를 토대로 예측 성능을 분석한다. 제안한 학습 모델의 예측 성능과 기존의 Long Short Term Memory (LSTM) 인공지능 네트워크 기반의 전력량 예측 성능을 비교하며, 성능평가 지표로써 Mean Squared Error (MSE), Mean Absolute Error (MAE), Forecast Skill Score, Normalized Root Mean Squared Error (RMSE), Normalized Mean Bias Error (NMBE)를 이용한다. 실험 결과에서 GRU기반의 제안한 시계열 데이터 예측 모델의 전력량 수요 예측 성능이 개선되는 것을 확인한다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제10권3호
• /
• pp.71-80
• /
• 2021

기계학습에서 정확한 데이터 예측을 위해서는 적절한 인공신경망 알고리즘을 선택해야 한다. 이러한 알고리즘에는 심층 신경망 (DNN), 반복 신경망 (RNN), 장단기 기억 (LSTM) 네트워크 및 게이트 반복 단위 (GRU) 신경망등을 들 수 있다. 개발자가 실험을 위해, 하나를 선택해야 하는 경우, 각 알고리즘의 성능에 대한 충분한 정보가 없었기 때문에, 직관에 의존할 수 밖에 없었다. 본 연구에서는 이러한 어려움을 완화하기 위해 실험을 통해 예측 오류(RMSE)와 처리 시간을 비교 평가 하였다. 각 알고리즘은 텐서플로우를 이용하여 구현하였으며, 세금 데이터를 사용하여 학습을 수행 하였다. 학습 된 모델을 사용하여, 세금 예측을 수행 하였으며, 실제값과의 비교를 통해 정확도를 측정 하였다. 또한, 활성화 함수와 다양한 최적화 함수들이 알고리즘에 미치는 영향을 비교 분석 하였다. 실험 결과, GRU 및 LSTM 알고리즘의 경우, RMSE(Root Mean Sqaure Error)는 0.12이고 R2값은 각각 0.78 및 0.75로 다른 알고리즘에 비해 더 낳은 성능을 보여 주었다. 기본 심층 신경망(DNN)의 경우, 처리 시간은 가장 낮지만 예측 오류는 0.163로 성능은 가장 낮게 측정 되었다. 최적화 알고리즘의 경우, 아담(Adam)이 오류 측면에서 최고의 성능을, 처리 시간 측면에서 최악의 성능을 보여 주었다. 본 연구의 연구결과는 데이터 예측을 위한 알고리즘 선택시, 개발자들에게 유용한 정보로 사용될 것으로 예상된다.