• 제목/요약/키워드: long-memory

검색결과 1,152건 처리시간 0.032초

시간 연속성을 고려한 딥러닝 기반 레이더 강우예측 (Radar rainfall prediction based on deep learning considering temporal consistency)

  • 신홍준;윤성심;최재민
    • 한국수자원학회논문집
    • /
    • 제54권5호
    • /
    • pp.301-309
    • /
    • 2021
  • 본 연구에서는 시계열 순서의 의미가 희석될 수 있는 기존의 U-net 기반 딥러닝 강우예측 모델의 성능을 개선하고자 하였다. 이를 위해서 데이터의 연속성을 고려한 ConvLSTM2D U-Net 신경망 구조를 갖는 모델을 적용하고, RainNet 모델 및 외삽 기반의 이류모델을 이용하여 예측정확도 개선 정도를 평가하였다. 또한 신경망 기반 모델 학습과정에서의 불확실성을 개선하기 위해 단일 모델뿐만 아니라 10개의 앙상블 모델로 학습을 수행하였다. 학습된 신경망 강우예측모델은 현재를 기준으로 과거 30분 전까지의 연속된 4개의 자료를 이용하여 10분 선행 예측자료를 생성하는데 최적화되었다. 최적화된 딥러닝 강우예측모델을 이용하여 강우예측을 수행한 결과, ConvLSTM2D U-Net을 사용하였을 때 예측 오차의 크기가 가장 작고, 강우 이동 위치를 상대적으로 정확히 구현하였다. 특히, 앙상블 ConvLSTM2D U-Net이 타 예측모델에 비해 높은 CSI와 낮은 MAE를 보이며, 상대적으로 정확하게 강우를 예측하였으며, 좁은 오차범위로 안정적인 예측성능을 보여주었다. 다만, 특정 지점만을 대상으로 한 예측성능은 전체 강우 영역에 대한 예측성능에 비해 낮게 나타나, 상세한 영역의 강우예측에 대한 딥러닝 강우예측모델의 한계도 확인하였다. 본 연구를 통해 시간의 변화를 고려하기 위한 ConvLSTM2D U-Net 신경망 구조가 예측정확도를 높일 수 있었으나, 여전히 강한 강우영역이나 상세한 강우예측에는 공간 평활로 인한 합성곱 신경망 모델의 한계가 있음을 확인하였다.

데이터 예측을 위한 텐서플로우 기반 기계학습 알고리즘 비교 연구 (A Comparative Study of Machine Learning Algorithms Based on Tensorflow for Data Prediction)

  • ;장성봉
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제10권3호
    • /
    • pp.71-80
    • /
    • 2021
  • 기계학습에서 정확한 데이터 예측을 위해서는 적절한 인공신경망 알고리즘을 선택해야 한다. 이러한 알고리즘에는 심층 신경망 (DNN), 반복 신경망 (RNN), 장단기 기억 (LSTM) 네트워크 및 게이트 반복 단위 (GRU) 신경망등을 들 수 있다. 개발자가 실험을 위해, 하나를 선택해야 하는 경우, 각 알고리즘의 성능에 대한 충분한 정보가 없었기 때문에, 직관에 의존할 수 밖에 없었다. 본 연구에서는 이러한 어려움을 완화하기 위해 실험을 통해 예측 오류(RMSE)와 처리 시간을 비교 평가 하였다. 각 알고리즘은 텐서플로우를 이용하여 구현하였으며, 세금 데이터를 사용하여 학습을 수행 하였다. 학습 된 모델을 사용하여, 세금 예측을 수행 하였으며, 실제값과의 비교를 통해 정확도를 측정 하였다. 또한, 활성화 함수와 다양한 최적화 함수들이 알고리즘에 미치는 영향을 비교 분석 하였다. 실험 결과, GRU 및 LSTM 알고리즘의 경우, RMSE(Root Mean Sqaure Error)는 0.12이고 R2값은 각각 0.78 및 0.75로 다른 알고리즘에 비해 더 낳은 성능을 보여 주었다. 기본 심층 신경망(DNN)의 경우, 처리 시간은 가장 낮지만 예측 오류는 0.163로 성능은 가장 낮게 측정 되었다. 최적화 알고리즘의 경우, 아담(Adam)이 오류 측면에서 최고의 성능을, 처리 시간 측면에서 최악의 성능을 보여 주었다. 본 연구의 연구결과는 데이터 예측을 위한 알고리즘 선택시, 개발자들에게 유용한 정보로 사용될 것으로 예상된다.

천연 건강식품인 누에의 과거, 현재 그리고 미래 (The past, present and future of silkworm as a natural health food)

  • 김기영;고영호
    • 식품과학과 산업
    • /
    • 제55권2호
    • /
    • pp.154-165
    • /
    • 2022
  • 인간이 최소 8,500년 이상 이용하고 섭취를 해온 누에는 화학물질과 공해에 매우 민감하다. 뽕나무 밭이나 누에를 키우는 잠실 근처의 농작물 재배용 밭이나 과수원에서 병해충 방제를 위해 살포한 농약이 비산 되면, 매우 적은 양의 농약이 누에의 먹이가 되는 뽕나무 잎을 오염시키거나, 잠실로 침투해도 누에 유충은 섭식을 더 이상 하지 않아서 성장을 멈추고 죽는 특징이 있다(양잠보급과, 2022). 그리고, 누에 유충은 가축 배설물에서 나는 냄새와 차량통행에서 나오는 공해 물질과 먼지에도 매우 민감하므로(양잠보급과, 2022), 정상적으로 성장한 누에는 천연식품으로 간주할 수 있다. 누에제품들에 대한 성분분석결과를 보면 5령3일 동결건조 누에 분말(권해용 등, 2019)과 홍잠 분말(Ji 등, 2016, 2017, 2019)에서는 중금속이 전혀 검출되지 않는다. 그러므로, 누에를 이용하여 제조된 제품들의 안전성은 다른 곤충식품이나 육류에 비하여 매우 높다. 하지만, 누에는 오로지 뽕 나뭇잎 만을 섭취하고, 5령 동안 전 생애 섭취하는 뽕 나뭇잎의 80% 이상을 섭취하기 때문에 단 기간 고강도의 노동이 필요하므로, 제품의 단가가 높은 단점을 가지고 있다. 이러한 문제점을 해결하기 위해서는 누에 사육에 자동화 시스템을 도입해서, 노동력 투입을 줄이면서 품질이 일정한 제품을 생산할 수 있어야 한다. 현재 선진국들은 의생명과학의 발전과 개인 위생의 증진으로 기대수명이 빠르게 늘어나고 있다. 대한민국을 포함한 많은 여러 선진국은 2030년에 기대수명이 90세를 초과할 것이라고 예측되고 있다(Kontis 등, 2017). 하지만, 65세 이상의 노인은 하나 이상의 만성질환으로 고통을 받고 있어서 기대수명(또는 기대여명)과 질병없이 건강하게 살아가는 건강수명과는 9년 내외의 차이가 나고 있다(Garmany 등, 2021). 2021년 현재 노인인구의 비율은 16.5%이지만(통계청, 2021), 노인이 사용하는 건강보험 진료비 비율은 2020년에 이미 총 진료비에서 43.4%에 도달하였다(건강보험심사평가원, 2021). 그러므로, 향후 개인과 국가의 의료비용을 절감하기 위해서는 건강수명을 늘려야 한다. 누에의 산물들은 다양한 건강증진 효과가 있고(표1과 2), 인류가 이미 8500년 이상 섭취를 하여온 대부분의 사람들에게는 부작용이 없는 식품이다. 그리고 누에 산물 중 홍잠의 경우는 동물 모델의 건강수명을 증진시켜 줌이 알려져 있으므로(Choi 등, 2017b; Mai 등, 2022; Nguyen 등, 2016; Park 등, 2022), 향후 홍잠을 이용한 새로운 제품을 개발하고 판매하여 대중화되면, 국민들의 건강수명이 증대됨으로서 의료비용의 감소를 가져오고 개인의 행복이 증진될 것이다.

단어그룹 확장 기법을 활용한 순환신경망 알고리즘 성능개선 연구 (A Study on Performance Improvement of Recurrent Neural Networks Algorithm using Word Group Expansion Technique)

  • 박대승;성열우;김정길
    • 산업융합연구
    • /
    • 제20권4호
    • /
    • pp.23-30
    • /
    • 2022
  • 최근 인공지능(AI)과 딥러닝 발전으로 대화형 인공지능 챗봇의 중요성이 부각되고 있으며 다양한 분야에서 연구가 진행되고 있다. 챗봇을 만들기 위해서 직접 개발해 사용하기도 하지만 개발의 용이성을 위해 오픈소스 플랫폼이나 상업용 플랫폼을 활용하여 개발한다. 이러한 챗봇 플랫폼은 주로 RNN (Recurrent Neural Network)과 응용 알고리즘을 사용하며, 빠른 학습속도와 모니터링 및 검증의 용이성 그리고 좋은 추론 성능의 장점을 가지고 있다. 본 논문에서는 RNN과 응용 알고리즘의 추론 성능 향상방법을 연구하였다. 제안 방법은 RNN과 응용 알고리즘 적용 시 각 문장에 대한 핵심단어의 단어그룹에 대해 확장학습을 통해 데이터에 내재된 의미를 넓히는 기법을 사용하였다. 본 연구의 결과는 순환 구조를 갖는 RNN, GRU (Gated Recurrent Unit), LSTM (Long-short Term Memory) 세 알고리즘에서 최소 0.37%에서 최대 1.25% 추론 성능향상을 달성하였다. 본 연구를 통해 얻은 연구결과는 관련 산업에서 인공지능 챗봇 도입을 가속하고 다양한 RNN 응용 알고리즘을 활용하도록 하는데 기여할 수 있다. 향후 연구에서는 다양한 활성 함수들이 인공신경망 알고리즘의 성능 향상에 미치는 영향에 관한 연구가 필요할 것이다.

비주얼 씽킹을 활용한 한국어 추측 표현 교육 방안 : '-(으)ㄹ 것 같다', '-나 보다'를 대상으로 (Way to the Method of Teaching Korean Speculative Expression Using Visual Thinking : Focusing on '-(으)ㄹ 것 같다', '-나 보다')

  • 이은경;박종호
    • 한국엔터테인먼트산업학회논문지
    • /
    • 제15권5호
    • /
    • pp.141-151
    • /
    • 2021
  • 이 연구는 상황에 따라 다양한 의미 기능을 나타내는 추측 표현 중 '-(으)ㄹ 것 같다'와 '-나 보다'를 대상으로 그 의미와 기능을 분석하고 실제 한국어 교육 현장에서 비주얼 씽킹을 적용한 시각화를 통해 전통적인 수업 방법에서 확장하여 보다 효율적으로 추측 표현을 교육할 수 있는 방안에 대해 논의하였다. Visual Thinking'은 '생각의 시각화'인데, 머릿속 지식이나 생각, 느낌 등을 시각적으로 나타내는 것으로 다양한 교육 현장에서 활용 가능한 것이다. 이 비주얼 씽킹을 활용하여 실제 교육 현장에서 교육 내용의 시각적 전달을 통해 학생들의 흥미를 높이고, 메타 언어적 정보 전달의 수업 방식도 보완하고자 하였다. 이 연구의 대상인 추측 표현은 화자의 어떤 일이나 상황에 대한 추측을 나타내는데, 추측의 근거와 추측의 주체 등에 따라 그 의미에 미세한 차이가 있다. 다양한 상황에서 미세한 의미 차이를 보이는 추측 표현을 정보나 지식의 시각화를 통해 교수-학습의 다변화 및 효율성을 높일 수 있는 교육 방안을 제안하였다. 비주얼 씽킹을 언어 교육에 활용하게 되면 언어 지식의 시각화를 통해 언어 정보를 단순화해서 제공할 수 있고 학습자들은 언어 지식을 정리하고 체계화하는 데 효율적일 수 있다. 또한 언어 지식의 시각화를 통해 언어 정보를 장기기억 할 수 있는 장점도 있다. 한국어 교육 현장에서 적용해 볼 수 있는 다양한 교육 방법의 시도는 좀 더 체계적이고 효율적인 교육 방법을 정립하는 데 기여할 수 있는데, 이 연구에서 제안한 비주얼 씽킹을 적용한 한국어 교육 방안은 유학생들의 한국어 학습에 또 다른 흥미와 효율성을 줄 수 있다는 데에 의의가 있다고 하겠다.

데이터의 불균형성을 제거한 네트워크 침입 탐지 모델 비교 분석 (Experimental Comparison of Network Intrusion Detection Models Solving Imbalanced Data Problem)

  • 이종화;방지원;김종욱;최미정
    • KNOM Review
    • /
    • 제23권2호
    • /
    • pp.18-28
    • /
    • 2020
  • 컴퓨팅 환경의 발전에 따라 IT 기술이 의료, 산업, 통신, 문화 등의 분야에서 사람들에게 제공해주는 혜택이 늘어나 삶의 질도 향상되고 있다. 그에 따라 발전된 네트워크 환경을 노리는 다양한 악의적인 공격이 존재한다. 이러한 공격들을 사전에 탐지하기 위해 방화벽, 침입 탐지 시스템 등이 존재하지만, 나날이 진화하는 악성 공격들을 탐지하는 데에는 한계가 있다. 이를 해결하기 위해 기계 학습을 이용한 침입 탐지 연구가 활발히 진행되고 있지만, 학습 데이터셋의 불균형으로 인한 오탐 및 미탐이 발생하고 있다. 본 논문에서는 네트워크 침입 탐지에 사용되는 UNSW-NB15 데이터셋의 불균형성 문제를 해결하기 위해 랜덤 오버샘플링 방법을 사용했다. 실험을 통해 모델들의 accuracy, precision, recall, F1-score, 학습 및 예측 시간, 하드웨어 자원 소모량을 비교 분석했다. 나아가 본 연구를 기반으로 랜덤 오버샘플링 방법 이외에 불균형한 데이터 문제를 해결할 수 있는 다른 방법들과 성능이 높은 모델들을 이용하여 좀 더 효율적인 네트워크 침입 탐지 모델 연구로 발전시키고자 한다.

Bi-LSTM 모델을 이용한 음악 생성 시계열 예측 (Prediction of Music Generation on Time Series Using Bi-LSTM Model)

  • 김광진;이칠우
    • 스마트미디어저널
    • /
    • 제11권10호
    • /
    • pp.65-75
    • /
    • 2022
  • 딥러닝은 기존의 분석 모델이 갖는 한계를 극복하고 텍스트, 이미지, 음악 등 다양한 형태의 결과물을 생성할 수 있는 창의적인 도구로 활용되고 있다. 본 고에서는 Niko's MIDI Pack 음원 파일 1,609개를 데이터 셋으로 삼아 전처리 과정을 수행하고, 양방향 장단기 기억 순환 신경망(Bi-LSTM) 모델을 이용하여, 효율적으로 음악을 생성할 수 있는 전처리 방법과 예측 모델을 제시한다. 생성되는 으뜸음을 바탕으로 음악적 조성(調聲)에 적합한 새로운 시계열 데이터를 생성할 수 있도록 은닉층을 다층화하고, 디코더의 출력 게이트에서 인코더의 입력 데이터 중 영향을 주는 요소의 가중치를 적용하는 어텐션(Attention) 메커니즘을 적용한다. LSTM 모델의 인식률 향상을 위한 파라미터로서 손실함수, 최적화 방법 등 설정 변수들을 적용한다. 제안 모델은 MIDI 학습의 효율성 제고 및 예측 향상을 위해 높은음자리표(treble clef)와 낮은음자리표(bass clef)를 구분하여 추출된 음표, 음표의 길이, 쉼표, 쉼표의 길이와 코드(chord) 등을 적용한 다채널 어텐션 적용 양방향 기억 모델(Bi-LSTM with attention)이다. 학습의 결과는 노이즈와 구별되는 음악의 전개에 어울리는 음표와 코드를 생성하며, 화성학적으로 안정된 음악을 생성하는 모델을 지향한다.

해양환경 모니터링을 위한 순환 신경망 기반의 돌고래 클릭 신호 분류 알고리즘 개발 (Development of Dolphin Click Signal Classification Algorithm Based on Recurrent Neural Network for Marine Environment Monitoring)

  • 정서제;정우근;신성렬;김동현;김재수;변기훈;이다운
    • 지구물리와물리탐사
    • /
    • 제26권3호
    • /
    • pp.126-137
    • /
    • 2023
  • 본 연구에서는 해양 모니터링 중에 기록된 돌고래 클릭 신호를 분류하기 위해 순환 신경망(RNN)을 적용하는 방법을 검토했다. 클릭 신호 분류의 정확도를 높이기 위해 단일 시계열 자료를 분수 푸리에 변환을 사용하여 분수 영역으로 변환하여 특징을 확장했으며, 분류를 위한 최적의 네트워크를 결정하기 위해 세 가지 순환 신경망 모델(LSTM, GRU, BiLSTM)을 비교 분석하였다. 순환 신경망 모델의 입력 자료로써 이용된 분수 영역 자료의 경우, 분수 푸리에 변환 시 회전 각도에 따라 다른 특성을 가지므로, 각 네트워크 모델에 따라 우수한 성능을 가지는 회전 각도 범위를 분석했다. 이때 네트워크 성능 분석을 위해 정확도, 정밀도, 재현율, F1-점수와 같은 성능 평가 지표를 도입했다. 수치실험 결과, 세 가지 네트워크 모두 높은 성능을 보였으며, BiLSTM 네트워크가 LSTM, GRU에 비해 뛰어난 학습 결과를 제공했다. 마지막으로, 현장 자료 적용 가능성 측면에서 BiLSTM 네트워크가 다른 네트워크에 비해 낮은 오탐지 결과를 제공하였다.

A Study on Deep Learning Model for Discrimination of Illegal Financial Advertisements on the Internet

  • Kil-Sang Yoo; Jin-Hee Jang;Seong-Ju Kim;Kwang-Yong Gim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권8호
    • /
    • pp.21-30
    • /
    • 2023
  • 인터넷 불법금융광고는 인터넷 카페, 블로그 등을 통해 통장매매, 신용카드·휴대폰결제현금화 및 개인신용정보매매 등 불법금융행위를 목적으로 한다. 금융감독당국의 노력에도 불구하고 불법금융행위는 줄어들지 않고 있다. 본 연구는 인터넷 불법금융광고 게시글에 파이썬 딥러닝 기반 텍스트 분류기법을 적용해 불법여부를 탐지하는 모델을 제안한다. 텍스트 분류기법으로 주로 사용되는 합성곱 신경망(CNN: Convolutional Neural Network), 순환 신경망(RNN: Recurrent Neural Network), 장단기 메모리(LSTM: Long-Short Term Memory) 및 게이트 순환 유닛(GRU: Gated Recurrent Unit)을 활용한다. 그동안 수작업으로 심사한 불법확인 결과를 기초 데이터로 이용한다. 한국어 자연어처리와 딥러닝 모델의 하이퍼파라미터 조절을 통해 최적의 성능을 보이는 모델을 완성하였다. 본 연구는 그동안 이뤄지지 않았던 인터넷 불법금융광고 판별을 위한 딥러닝 모델을 제시하였다는데 큰 의미가 있다. 또한 딥러닝 모델에서 91.3~93.4% 수준의 정확도를 보임으로써 불법금융광고 탐지에 딥러닝 모델을 실제 적용하여 불법금융광고 근절에 기여할 수 있기를 기대해 본다.

댐 운영 고도화를 위한 AI 기법 적용 연구 (Research on the Application of AI Techniques to Advance Dam Operation)

  • 최현구;정석일;박진용;권이재;이준열
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.387-387
    • /
    • 2022
  • 기존 홍수기시 댐 운영은 예측 강우와 실시간 관측 강우를 이용하여 댐 운영 모형을 수행하며, 예측 결과에 따라 의사결정 및 댐 운영을 실시하게 된다. 하지만 이 과정에서 반복적인 분석이 필요하며, 댐 운영 모형 수행자의 경험에 따라 예측 결과가 달라져서 반복작업에 대한 자동화, 모형 수행자에 따라 달라지지 않는 예측 결과의 일반화가 필요한 상황이다. 이에 댐 운영 모형에 AI 기법을 적용하여, 다양한 강우 상황에 따른 자동 예측 및 모형 결과의 일반화를 구현하고자 하였다. 이를 위해 수자원 분야에 적용된 국내외 129개 연구논문에서 사용된 딥러닝 기법의 활용성을 분석하였으며, 다양한 수자원 분야 AI 적용 사례 중에서 댐 운영 예측 모형에 적용한 사례는 없었지만 유사한 분야로는 장기 저수지 운영 예측과 댐 상·하류 수위, 유량 예측이 있었다. 수자원의 시계열 자료 활용을 위해서는 Long-Short Term Memory(LSTM) 기법의 적용 활용성이 높은 것으로 분석되었다. 댐 운영 모형에서 AI 적용은 2개 분야에서 진행하였다. 기존 강우관측소의 관측 강우를 활용하여 강우의 패턴분석을 수행하는 과정과, 강우에서 댐 유입량 산정시 매개변수 최적화 분야에 적용하였다. 강우 패턴분석에서는 유사한 표본끼리 묶음을 생성하는 K-means 클러스터링 알고리즘과 시계열 데이터의 유사도 분석 방법인 Dynamic Time Warping을 결합하여 적용하였다. 강우 패턴분석을 통해서 지점별로 월별, 태풍 및 장마기간에 가장 많이 관측되었던 강우 패턴을 제시하며, 이를 모형에서 직접적으로 활용할 수 있도록 구성하였다. 강우에서 댐 유입량을 산정시 활용되는 매개변수 최적화를 위해서는 3층의 Multi-Layer LSTM 기법과 경사하강법을 적용하였다. 매개변수 최적화에 적용되는 매개변수는 중권역별 8개이며, 매개변수 최적화 과정을 통해 산정되는 결과물은 실측값과 오차가 제일 적은 유량(유입량)이 된다. 댐 운영 모형에 AI 기법을 적용한 결과 기존 반복작업에 대한 자동화는 이뤘으며, 댐 운영에 따른 상·하류 제약사항 표출 기능을 추가하여 의사결정에 소요되는 시간도 많이 줄일 수 있었다. 하지만, 매개변수 최적화 부분에서 기존 댐운영 모형에 적용되어 있는 고전적인 매개변수 추정기법보다 추정시간이 오래 소요되며, 매개변수 추정결과의 일반화가 이뤄지지 않아 이 부분에 대한 추가적인 연구가 필요하다.

  • PDF