• 제목/요약/키워드: LSTM 알고리즘

검색결과 188건 처리시간 0.032초

LSTM 알고리즘을 이용한 수도데이터 정제기법 (A Study on the cleansing of water data using LSTM algorithm)

  • 유기현;김종립;신강욱
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.501-503
    • /
    • 2017
  • 수도분야에서는 정수장 및 관말 관로 상의 전 공정에서 유량, 압력, 수질, 수위 등 다양한 데이터를 수집하고 있다. 수집되는 데이터는 각 정수장 DB에 저장되며, 권역별 DB에서 합쳐져 수자원공사 본사의 DB 서버에 최종 저장된다. 측정기기가 데이터를 측정하거나 여러 과정에 걸쳐 데이터가 통신될 때 다양한 이상 데이터가 발생할 수 있으며 크게 결측 데이터와 오측 데이터로 분류할 수 있다. 각각의 이상 데이터의 발생원인은 상이하다. 따라서 오측 및 결측 데이터를 검출하는 방식에는 차이가 있으나 실제 이를 정제하는 방식은 동일하다. 본 연구에서는 딥러닝 알고리즘의 일종인 LSTM(Long Short Term Memory) 방식을 적용하여 오 결측 데이터를 자동으로 정제할 수 있는 프로그램에 대하여 고찰한다.

  • PDF

다수 가전기기 유효전력의 스팩토그램 분석 및 LSTM기반의 전력 분해 알고리즘 (Spectogram analysis of active power of appliances and LSTM-based Energy Disaggregation)

  • 김임규;김현철;김승윤;신상용
    • 한국융합학회논문지
    • /
    • 제12권2호
    • /
    • pp.21-28
    • /
    • 2021
  • 본 연구에서는 가전기기 5종에 대해 실제 측정 전력 데이터를 이용하여 딥러닝 기반의 NILM 기법을 제안하고 그 효용성을 검증 하고자 한다. 약 3주간 중앙 전력 측정 장치 및 5종 가전기기(냉장고, 인덕션, TV, 세탁기, 공기청정기)의 유효전력을 개별 측정하였다. 실측 데이터의 전처리 방법을 소개하고 Spectogram 분석을 통해 가전 기기별 특징을 분석하였다. 가전기기별 특징을 학습 데이터셋으로 구성하였다. 중앙 전력 측정 기기와 가전기기 5종에서 측정된 모든 전력 데이터를 시계열 매핑하여 시계열 데이터 분석에 우수한 RNN 계열의 LSTM 신경망을 이용해 학습을 수행하였다. 메인 중앙 전력 측정 장치의 전력 데이터만으로도 5종 전력 신호를 분해해낼 수 있는 알고리즘을 제안하였다.

딥러닝 알고리즘 기반의 초미세먼지(PM2.5) 예측 성능 비교 분석 (Comparison and analysis of prediction performance of fine particulate matter(PM2.5) based on deep learning algorithm)

  • 김영희;장관종
    • 융합정보논문지
    • /
    • 제11권3호
    • /
    • pp.7-13
    • /
    • 2021
  • 본 연구는 딥러닝(Deep Learning) 알고리즘 GAN 모델을 기반으로 초미세먼지(PM2.5) 인공지능 예측시스템을 개발한다. 실험 데이터는 시계열 축으로 생성된 온도, 습도, 풍속, 기압의 기상변화와 SO2, CO, O3, NO2, PM10와 같은 대기오염물질 농도와 밀접한 관련이 있다. 데이터 특성상, 현재시간 농도가 이전시간 농도에 영향을 받기 때문에 반복지도학습(Recursive Supervised Learning) 예측 모델을 적용하였다. 기존 모델인 CNN, LSTM의 정확도(Accuracy)를 비교분석을 위해 관측값(Observation Value)과 예측값(Prediction Value)간의 차이를 분석하고 시각화했다. 성능분석 결과 제안하는 GAN이 LSTM 대비 평가항목 RMSE, MAPE, IOA에서 각각 15.8%, 10.9%, 5.5%로 향상된 것을 확인하였다.

딥러닝 알고리즘을 이용한 문서의 인코딩 및 언어 판별 (Encoding and language detection of text document using Deep learning algorithm)

  • 김선범;배준우;박희진
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제13권5호
    • /
    • pp.124-130
    • /
    • 2017
  • 문자 인코딩은 문자나 기호를 컴퓨터로 표현하기 위해 사용되는 방법이며 문자 인코딩 판별 소프트웨어들이 존재한다. 기존의 널리 쓰이는 인코딩 판별 소프트웨어인"uchardet"의 경우 변조되지 않은 일반 문서의 인코딩 판별 정확도는 91.39% 이지만 언어 판별 정확도는 32.09%에 불과하다. 또한 문서가 치환 암호에 의해 암호화 된 경우 인코딩 판별 정확도는 3.55%, 언어 판별 정확도는 0.06%로 매우 낮은 정확도를 보였다. 따라서 본 논문에서는 Deep learning 알고리즘인 LSTM(Long Short-Term Memory)을 이용한 문서의 인코딩 및 언어 판별 방법을 제안하며, 기존의 인코딩 판별 소프트웨어"uchardet"보다 뛰어난 결과를 보였다. 제안하는 방법을 이용한 일반 문서의 인코딩 판별 정확도는 99.89%이며, 언어 판별 정확도는 99.92%이다. 또한 문서가 치환 암호에 의해 암호화된 경우에는 제안하는 방법의 인코딩 판별 정확도는 99.26%이며, 언어 판별 정확도는 99.77%로 매우 뛰어나다.

A Comparative study on smoothing techniques for performance improvement of LSTM learning model

  • Tae-Jin, Park;Gab-Sig, Sim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권1호
    • /
    • pp.17-26
    • /
    • 2023
  • 본 연구논문에서는 LSTM 기반의 학습 모델 적용과 그 효용성을 높일 수 있도록 몇 가지 평활 기법을 비교, 적용하고자 한다. 적용된 평활 기법은 Savitky-Golay, 지수 평활법, 가중치 이동 평균 등이다. 본 연구를 통해 비트코인 데이터에 LSTM모델 적용 시 보여준 결과 값보다 전처리 과정에서 적용된 Savitky-Golay 필터가 적용된 LSTM 알고리즘이 예측 성능에 유의미한 좋은 결과를 보였다. 예측 성능 결과를 확인하기 위해 비트코인 가격 예측에 따른 복잡 요인을 제거하는데 사용된 LSTM의 경우와 Savitzky-Golay LSTM 모델에 따른 학습 손실율과 검증 손실율을 비교하고 그 신뢰성을 높일 수 있도록 20회 평균값으로 실험하였다. 그 결과 (3.0556, 0.00005), (1.4659, 0.00002)의 값을 얻을 수 있었다. 결과적으로는 비트코인과 같은 암호화폐가 주식보다 더한 변동성을 가지는 만큼 데이터 전처리 과정에서 평활 기법(Savitzky-Golay)을 적용하여 잡음(Noise)을 제거하였으며, 전처리 후의 데이터는 LSTM 신경망 학습을 통해서 비트코인 예측률을 높이는데 가장 유의미한 결과를 얻을 수 있었다.

도시가스 배관압력 예측모델 (City Gas Pipeline Pressure Prediction Model)

  • 정원희;박길주;구영현;김성현;유성준;조영도
    • 한국전자거래학회지
    • /
    • 제23권2호
    • /
    • pp.33-47
    • /
    • 2018
  • 도시가스 배관은 지중에 매설되어 있기 때문에 세부 관리가 어렵고 다양한 위험에 노출되어 있다. 본 연구에서는 도시가스 배관압력 실시간 데이터를 분석해 배관압력 이상을 예측하고 전문가의 의사결정을 돕는 모델을 제안한다. 국내 도시가스 공급업체들 중 하나인 중부도시가스사의 정압기에서 수집하는 실시간 배관압력 데이터와 시간변수, 외부환경변수를 통합해 분석 데이터로 사용한다. 아산시와 천안시에 위치하는 11개 정압기를 분석 대상으로 하며 분 단위 배관압력 예측모델을 구현한다. Random forest, support vector regression(SVR), long-short term memory(LSTM) 알고리즘을 사용해 회귀모델을 구현한 결과 LSTM 모델에서 우수한 성능을 보인다. 아산시 배관압력 예측모델의 경우 LSTM 모델에서 RMSE가 0.011, MAPE가 0.494이며, 천안시 배관압력 예측모델의 경우 LSTM 모델에서 평균제곱근오차(root mean square error, RMSE)가 0.015, 절대평균백분율오차(mean absolute percentage error, MAPE)가 0.668로 가장 낮은 오류율을 보인다.

심층학습을 이용한 음절태깅 기반의 외래어 인식 시스템 (Loanword Recognition Using Deep Learning)

  • 박호민;김창현;천민아;노경목;김재훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.71-75
    • /
    • 2017
  • 외래어란 외국어로부터 들어와 한국어에 동화되고 한국어로서 사용되는 언어이다. 나날이 우리의 언어사용 문화에서 외래어의 사용 비율은 높아져가는 추세로, 전문분야에서는 특히 두드러진다. 그러므로 더 효율적이고 효과적인 자연언어처리를 위해서 문서 내 외래어 인식은 중요한 전처리 과정이다. 따라서 본 논문에서는 bidirectional LSTM(이하 bi-LSTM)-CRF 모형의 심층학습을 이용한 음절태깅 기반의 외래어 인식 시스템을 제안한다. 제안하는 시스템의 외래어 인식 학습 과정은 다음과 같다. 첫째, 학습용 말뭉치 자료의 한글 음절들과 공백, 마침표(.)를 토대로 word2vec을 통해 학습용 피쳐(feature) 자료를 생성한다. 둘째, 학습용 말뭉치 자료와 학습용 피쳐 자료를 결합하여 bi-LSTM 모형 학습 자료를 구축한다. 셋째, bi-LSTM 모형을 거쳐 학습된 결과물을 CRF 모형에서 로그 가능도(log likelyhood)와 비터비(Viterbi) 알고리즘을 통해 학습 결과물을 내놓는다. 넷째, 학습용 말뭉치 자료의 정답과 비교한 뒤 모형 내부의 수치들을 조정한다. 다섯째, 학습을 마칠 때까지 반복한다. 본 논문에서 제안하는 시스템을 이용하여 자체적인 뉴스 수집 자료에 대해서 높은 정확도와 재현율을 기록하였다.

  • PDF

심층학습을 이용한 음절태깅 기반의 외래어 인식 시스템 (Loanword Recognition Using Deep Learning)

  • 박호민;김창현;천민아;노경목;김재훈
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.71-75
    • /
    • 2017
  • 외래어란 외국어로부터 들어와 한국어에 동화되고 한국어로서 사용되는 언어이다. 나날이 우리의 언어사용 문화에서 외래어의 사용 비율은 높아져가는 추세로, 전문분야에서는 특히 두드러진다. 그러므로 더 효율적이고 효과적인 자연언어처리를 위해서 문서 내 외래어 인식은 중요한 전처리 과정이다. 따라서 본 논문에서는 bidirectional LSTM(이하 bi-LSTM)-CRF 모형의 심층학습을 이용한 음절태깅 기반의 외래어 인식 시스템을 제안한다. 제안하는 시스템의 외래어 인식 학습 과정은 다음과 같다. 첫째, 학습용 말뭉치 자료의 한글 음절들과 공백, 마침표(.)를 토대로 word2vec을 통해 학습용 피쳐(feature) 자료를 생성한다. 둘째, 학습용 말뭉치 자료와 학습용 피쳐 자료를 결합하여 bi-LSTM 모형 학습 자료를 구축한다. 셋째, bi-LSTM 모형을 거쳐 학습된 결과물을 CRF 모형에서 로그 가능도(log likelyhood)와 비터비(Viterbi) 알고리즘을 통해 학습 결과물을 내놓는다. 넷째, 학습용 말뭉치 자료의 정답과 비교한 뒤 모형 내부의 수치들을 조정한다. 다섯째, 학습을 마칠 때까지 반복한다. 본 논문에서 제안하는 시스템을 이용하여 자체적인 뉴스 수집 자료에 대해서 높은 정확도와 재현율을 기록하였다.

  • PDF

LSTM을 이용한 댐 유입량 예측 평가 (Prediction of Reservoir-Inflow using LSTM)

  • 목지윤;황성환;최지혁;문영일
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.319-319
    • /
    • 2019
  • 기후변화로 인한 극한 기후 상황의 증가로 홍수기 홍수피해와 갈수기 가뭄피해가 심화되고 있으며, 수자원 관리에 대한 어려움이 발생하고 있다. 효율적인 수자원 관리를 위해 국내에는 약 1,8000여개의 댐을 운영하고 있으며, 댐의 유입량과 저수량을 감안하여 물을 적절하게 방류하는 것을 목적으로 한다. 그러기 위해서는 유입량이 우선적으로 확보되어야 하며, 더 나아가 유입량을 미리 예측할 수 있다면 더욱 효율적인 댐 운영이 가능할 것이다. 기존에는 수위나 유량을 예측하기 위해서는 주로 물리적 모형이 사용되어 왔으며, 물리적 모형은 매개변수 결정을 위한 많은 자료를 필요로 하고 그 과정에서 많은 불확실성을 포함하고 있기 때문에 계산 과정을 거치는 동안 다양한 오차가 반복 누적되는 단점이 있다. 반면에 시계열 데이터 예측을 위한 알고리즘 LSTM(Long Short-Term Memory)은 입력된 데이터와 출력된 데이터를 동시에 이용하여 보다 정확한 예측 값을 얻을 수 있다. 따라서 본 연구는 다목적댐의 유입유량 예측을 위해 구글에서 제공하는 딥러닝 오픈소스 라이브러리를 활용하여 LSTM모형을 구축하고 댐 유입유량을 예측하였다. 분석 자료로는 wamis에서 제공하는 용담댐의 2006년부터 2018년까지의 시간당 유입량 자료를 사용하였으며, 입력 데이터로 모형을 학습한 후 2018년의 유입량을 예측하였다. 예측 값의 정확도를 판단하기 위해 2018년의 실제 유입량 자료와 비교하였다.

  • PDF

딥러닝을 이용한 풍력 발전량 예측 (Prediction of Wind Power Generation using Deep Learnning)

  • 최정곤;최효상
    • 한국전자통신학회논문지
    • /
    • 제16권2호
    • /
    • pp.329-338
    • /
    • 2021
  • 본 연구는 풍력발전의 합리적인 운영 계획과 에너지 저장창치의 용량산정을 위한 풍력 발전량을 예측한다. 예측을 위해 물리적 접근법과 통계적 접근법을 결합하여 풍력 발전량의 예측 방법을 제시하고 풍력 발전의 요인을 분석하여 변수를 선정한다. 선정된 변수들의 과거 데이터를 수집하여 딥러닝을 이용해 풍력 발전량을 예측한다. 사용된 모델은 Bidirectional LSTM(:Long short term memory)과 CNN(:Convolution neural network) 알고리즘을 결합한 하이브리드 모델을 구성하였으며, 예측 성능 비교를 위해 MLP 알고리즘으로 이루어진 모델과 오차를 비교하여, 예측 성능을 평가하고 그 결과를 제시한다.