• 제목/요약/키워드: Long-Term Memory

검색결과 784건 처리시간 0.027초

딥러닝 모형을 이용한 팔당대교 지점에서의 유량 예측 (Flow rate prediction at Paldang Bridge using deep learning models)

  • 성연정;박기두;정영훈
    • 한국수자원학회논문집
    • /
    • 제55권8호
    • /
    • pp.565-575
    • /
    • 2022
  • 최근의 수자원공학 분야는 4차산업혁명과 더불어 비약적으로 발전된 딥러닝 기술을 활용한 시계열 수위 및 유량의 예측에 대한 관심이 높아지고 있다. 또한 시계열 자료의 예측이 가능한 LSTM 모형과 GRU 모형을 활용하여 수위 및 유량 예측을 수행하고 있지만 시간 변동성이 매우 큰 하천에서의 유량 예측 정확도는 수위 예측 정확도에 비해 낮게 예측되는 경향이 있다. 본 연구에서는 유량변동이 크고 하구에서의 조석의 영향이 거의 없는 한강의 팔당대교 관측소를 선택하였다. 또한, LSTM 모형과 GRU 모형의 입력 및 예측 자료로 활용될 유량변동이 큰 시계열 자료를 선택하였고 총 자료의 길이는 비교적 짧은 2년 7개월의 수위 자료 및 유량 자료를 수집하였다. 시간변동성이 큰 시계열 수위를 2개의 모형에서 학습할 경우, 2개의 모형 모두에서 예측되는 수위 결과는 관측 수위와 비교하여 적정한 정확도가 확보되었으나 변동성이 큰 유량 자료를 2개의 모형에서 직접 학습시킬 경우, 예측되는 유량 자료의 정확도는 악화되었다. 따라서, 본 연구에서는 급변하는 유량을 정확히 예측하기 위하여 2개 모형으로 예측된 수위 자료를 수위-유량관계곡선의 입력자료로 활용하여 유량의 예측 정확도를 크게 향상시킬 수 있었다. 마지막으로 본 연구성과는 수문자료의 별도 가공없이 관측 길이가 상대적으로 충분히 길지 않고 유출량이 급변하는 도시하천에서의 홍수예경보 자료로 충분히 활용할 수 있을 것으로 기대된다.

이진 분류문제에서의 딥러닝 알고리즘의 활용 가능성 평가 (Feasibility of Deep Learning Algorithms for Binary Classification Problems)

  • 김기태;이보미;김종우
    • 지능정보연구
    • /
    • 제23권1호
    • /
    • pp.95-108
    • /
    • 2017
  • 최근 알파고의 등장으로 딥러닝 기술에 대한 관심이 고조되고 있다. 딥러닝은 향후 미래의 핵심 기술이 되어 일상생활의 많은 부분을 개선할 것이라는 기대를 받고 있지만, 주요한 성과들이 이미지 인식과 자연어처리 등에 국한되어 있고 전통적인 비즈니스 애널리틱스 문제에의 활용은 미비한 실정이다. 실제로 딥러닝 기술은 Convolutional Neural Network(CNN), Recurrent Neural Network(RNN), Deep Boltzmann Machine (DBM) 등 알고리즘들의 선택, Dropout 기법의 활용여부, 활성 함수의 선정 등 다양한 네트워크 설계 이슈들을 가지고 있다. 따라서 비즈니스 문제에서의 딥러닝 알고리즘 활용은 아직 탐구가 필요한 영역으로 남아있으며, 특히 딥러닝을 현실에 적용했을 때 발생할 수 있는 여러 가지 문제들은 미지수이다. 이에 따라 본 연구에서는 다이렉트 마케팅 응답모델, 고객이탈분석, 대출 위험 분석 등의 주요한 분류 문제인 이진분류에 딥러닝을 적용할 수 있을 것인지 그 가능성을 실험을 통해 확인하였다. 실험에는 어느 포르투갈 은행의 텔레마케팅 응답여부에 대한 데이터 집합을 사용하였으며, 전통적인 인공신경망인 Multi-Layer Perceptron, 딥러닝 알고리즘인 CNN과 RNN을 변형한 Long Short-Term Memory, 딥러닝 모형에 많이 활용되는 Dropout 기법 등을 이진 분류 문제에 활용했을 때의 성능을 비교하였다. 실험을 수행한 결과 CNN 알고리즘은 비즈니스 데이터의 이진분류 문제에서도 MLP 모형에 비해 향상된 성능을 보였다. 또한 MLP와 CNN 모두 Dropout을 적용한 모형이 적용하지 않은 모형보다 더 좋은 분류 성능을 보여줌에 따라, Dropout을 적용한 CNN 알고리즘이 이진분류 문제에도 활용될 수 있는 가능성을 확인하였다.

딥러닝의 모형과 응용사례 (Deep Learning Architectures and Applications)

  • 안성만
    • 지능정보연구
    • /
    • 제22권2호
    • /
    • pp.127-142
    • /
    • 2016
  • 딥러닝은 인공신경망(neural network)이라는 인공지능분야의 모형이 발전된 형태로서, 계층구조로 이루어진 인공신경망의 내부계층(hidden layer)이 여러 단계로 이루어진 구조이다. 딥러닝에서의 주요 모형은 합성곱신경망(convolutional neural network), 순환신경망(recurrent neural network), 그리고 심층신뢰신경망(deep belief network)의 세가지라고 할 수 있다. 그 중에서 현재 흥미로운 연구가 많이 발표되어서 관심이 집중되고 있는 모형은 지도학습(supervised learning)모형인 처음 두 개의 모형이다. 따라서 본 논문에서는 지도학습모형의 가중치를 최적화하는 기본적인 방법인 오류역전파 알고리즘을 살펴본 뒤에 합성곱신경망과 순환신경망의 구조와 응용사례 등을 살펴보고자 한다. 본문에서 다루지 않은 모형인 심층신뢰신경망은 아직까지는 합성곱신경망 이나 순환신경망보다는 상대적으로 주목을 덜 받고 있다. 그러나 심층신뢰신경망은 CNN이나 RNN과는 달리 비지도학습(unsupervised learning)모형이며, 사람이나 동물은 관찰을 통해서 스스로 학습한다는 점에서 궁극적으로는 비지도학습모형이 더 많이 연구되어야 할 주제가 될 것이다.

치매 환자를 위한 딥러닝 기반 이상 행동 탐지 시스템 (Deep Learning-based Abnormal Behavior Detection System for Dementia Patients)

  • 김국진;이승진;김성중;김재근;신동일;신동규
    • 인터넷정보학회논문지
    • /
    • 제21권3호
    • /
    • pp.133-144
    • /
    • 2020
  • 고령화로 인해 증가하는 노인 비율만큼이나 치매를 앓는 노인 수 또한 빠르게 늘고 있는데 이는 사회적, 경제적 부담을 발생시킨다. 특히, 간병인의 근무 시간 손실 및 간호 부담으로 인한 의료 비용 증가와 같은 간접비용을 포함하는 치매 관리 비용은 수년에 걸쳐 기하급수적으로 증가하고 있다. 이러한 비용을 줄이기 위해 치매 환자를 돌보기 위한 관리 시스템 도입이 시급하다. 따라서 본 연구는 항상 치매 환자를 돌볼 수 없는 환경이나 독거노인을 관리하기 위한 센서 기반 이상 행동 탐지 시스템을 제안한다. 기존 연구들은 단지 행동을 인지하거나 정상 행동 여부를 평가하는 정도였고 센서로부터 받은 데이터가 아닌 이미지를 처리하여 행동을 인지한 연구도 있었다. 본 연구에서는 실데이터 수집에 한계가 있음을 인지하여 비지도 학습 모델인 오토인코더와 지도 학습 모델인 장·단기 기억 모형을 동시에 사용했다. 비지도 학습 모델인 오토인코더는 정상 행동 데이터를 학습하여 정상적인 행동에 대한 패턴을 학습시켰고 장·단기 기억 모형은 센서로 인지 가능한 행동을 학습시켜 분류를 좀 더 세분화했다. 테스트 결과 각각의 모델은 약 96%, 98% 이상의 정확도를 도출하였고 오토인코더의 이상치가 3% 이상을 갖는 경우 장·단기 기억 모형을 통과하도록 설계했다. 이 시스템을 통해 혼자 사는 노인이나 치매 환자를 효율적으로 관리할 수 있으며 돌보기 위한 비용 또한 절감할 수 있을 것으로 전망된다.

기술 용어에 대한 한국어 정의 문장 자동 생성을 위한 순환 신경망 모델 활용 연구 (Research on the Utilization of Recurrent Neural Networks for Automatic Generation of Korean Definitional Sentences of Technical Terms)

  • 최가람;김한국;김광훈;김유일;최성필
    • 한국문헌정보학회지
    • /
    • 제51권4호
    • /
    • pp.99-120
    • /
    • 2017
  • 본 논문에서는 지속적으로 커져가는 산업 시장에 대해 관련 연구자들이 이를 효율적으로 분석할 수 있는 반자동 지원 체제개발을 위한 기술 용어와 기술 개념에 대한 정의문 및 설명문을 자동으로 생성하는 한국어 문장 생성 모델을 제시한다. 한국어 정의 문장 생성을 위하여 딥러닝 기술 중 데이터의 전/후 관계를 포함한 시퀀스 레이블링이 가능한 LSTM을 활용한다. LSTM을 근간으로 한 두 가지 모델은 기술명을 입력할 시 그에 대한 정의문 및 설명문을 생성한다. 다양하게 수집된 대규모 학습 말뭉치를 이용해 실험한 결과, 본 논문에서 구현한 2가지 모델 중 CNN 음절 임베딩을 활용한 어절 단위 LSTM 모델이 용어에 대한 정의문 및 설명문을 생성하는데 더 나은 결과를 도출시킨다는 사실을 확인하였다. 본 논문의 연구 결과를 바탕으로 동일한 주제를 다루는 문장 집합을 생성할 수 있는 확장 모델을 개발할 수 있으며 더 나아가서는 기술에 대한 문헌을 자동으로 작성하는 인공지능 모델을 구현할 수 있으리라 사료된다.

Beyond Clot Dissolution; Role of Tissue Plasminogen Activator in Central Nervous System

  • Kim, Ji-Woon;Lee, Soon-Young;Joo, So-Hyun;Song, Mi-Ryoung;Shin, Chan-Young
    • Biomolecules & Therapeutics
    • /
    • 제15권1호
    • /
    • pp.16-26
    • /
    • 2007
  • Tissue plasminogen activator (tPA) is a serine protease catalyzing the proteolytic conversion of plasminogen into plasmin, which is involved in thrombolysis. During last two decades, the role of tPA in brain physiology and pathology has been extensively investigated. tPA is expressed in brain regions such as cortex, hippocampus, amygdala and cerebellum, and major neural cell types such as neuron, astrocyte, microglia and endothelial cells express tPA in basal status. After strong neural stimulation such as seizure, tPA behaves as an immediate early gene increasing the expression level within an hour. Neural activity and/or postsynaptic stimulation increased the release of tPA from axonal terminal and presumably from dendritic compartment. Neuronal tPA regulates plastic changes in neuronal function and structure mediating key neurologic processes such as visual cortex plasticity, seizure spreading, cerebellar motor learning, long term potentiation and addictive or withdrawal behavior after morphine discontinuance. In addition to these physiological roles, tPA mediates excitotoxicity leading to the neurodegeneration in several pathological conditions including ischemic stroke. Increasing amount of evidence also suggest the role of tPA in neurodegenerative diseases such as Alzheimer's disease and multiple sclerosis even though beneficial effects was also reported in case of Alzheimer's disease based on the observation of tPA-induced degradation of $A{\beta}$ aggregates. Target proteins of tPA action include extracellular matrix protein laminin, proteoglycans and NMDA receptor. In addition, several receptors (or binding partners) for tPA has been reported such as low-density lipoprotein receptor-related protein (LRP) and annexin II, even though intracellular signaling mechanism underlying tPA action is not clear yet. Interestingly, the action of tPA comprises both proteolytic and non-proteolytic mechanism. In case of microglial activation, tPA showed non-proteolytic cytokine-like function. The search for exact target proteins and receptor molecules for tPA along with the identification of the mechanism regulating tPA expression and release in the nervous system will enable us to better understand several key neurological processes like teaming and memory as well as to obtain therapeutic tools against neurodegenerative diseases.

Sequence-to-sequence 학습을 이용한 한국어 약어 생성 (Korean Abbreviation Generation using Sequence to Sequence Learning)

  • 최수정;박성배;김권양
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권3호
    • /
    • pp.183-187
    • /
    • 2017
  • 스마트폰 사용자들은 텍스트를 쉽게 읽고 빠르게 입력하기를 원한다. 이런 흐름에 따라 사용자들은 채팅 용어에서부터 전문 분야, 뉴스 기사에 이르기까지 여러 단어로 이루어진 어휘를 축약한 약어를 많이 사용한다. 그러므로 약어를 모아 데이터를 구축한다면 정보 검색과 추천 시스템 등에 유용하게 사용될 수 있다. 하지만 약어는 새로운 콘텐츠가 등장할 때마다 계속해서 생겨나기 때문에 수동으로 모으는 일은 쉽지 않으므로, 약어를 자동으로 생성하는 방법이 필요하다. 기존 연구들은 약어를 자동으로 생성하기 위해 규칙 기반 방법을 사용하였으나, 불규칙한 약어들은 생성할 수 없다는 한계점이 있다. 또한 규칙에 의해 생성된 후보 약어들 중에서 올바른 약어를 결정해야하는 문제도 발생한다. 따라서 본 논문에서는 이런 한계점을 극복하기 위해 시퀀스 투 시퀀스 학습 방법을 사용하여 약어를 자동으로 생성한다. 시퀀스투 시퀀스 학습 방법은 심층 신경망으로 기존의 규칙 기반 방법으로 생성할 수 없던 불규칙한 약어들을 생성할 수 있다. 게다가 후보 약어들 중 올바른 약어를 결정할 문제가 발생하지 않기 때문에 자동으로 약어를 생성하는 문제에 적합하다. 본 논문에서는 제안한 방법을 평가한 결과, 기존의 연구에서 생성할 수 없던 불규칙적인 약어를 생성하여 제안한 모델이 효과적임을 증명하였다.

The Ability of L2 LSTM Language Models to Learn the Filler-Gap Dependency

  • Kim, Euhee
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권11호
    • /
    • pp.27-40
    • /
    • 2020
  • 본 논문은 장단기기억신경망(LSTM)이 영어를 배우면서 학습한 암묵적 통사 관계인 필러-갭 의존 관계를 조사하여 영어 문장 학습량과 한국인 영어 학습자(L2ers)의 문장 처리 패턴 간의 상관관계를 규명한다. 이를 위해, 먼저 장단기기억신경망 언어모델(LSTM LM)을 구축하였다. 이 모델은 L2ers가 영어 학습 과정에서 잠재적으로 배울 수 있는 L2 코퍼스의 영어 문장들로 심층학습을 하였다. 다음으로, 이 언어 모델을 이용하여 필러-갭 의존 관계 구조를 위반한 영어 문장을 대상으로 의문사 상호작용 효과(wh-licensing interaction effect) 즉, 정보 이론의 정보량인 놀라움(surprisal)의 정도를 계산하여 문장 처리 양상을 조사하였다. 또한 L2ers 언어모델과 상응하는 원어민 언어모델을 비교 분석함으로써, 두 언어모델이 문장 처리에서 필러-갭 의존 관계에 내재된 추상적 구문 구조를 추적할 수 있음을 보여주었을 뿐만 아니라, 또한 선형 혼합효과 회귀모델을 사용하여 본 논문의 중심 연구 주제인 의존 관계 처리에 있어서 원어민 언어모델과 L2ers 언어모델간 통계적으로 유의미한 차이가 존재함을 규명하였다.

이 러닝의 질적 우수성에 대한 재고(再考)무엇이 질을 결정하는가? (Reconsidering of critical factors for high quality e-Learning)

  • 조은순
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2005년도 춘계 종합학술대회 논문집
    • /
    • pp.36-50
    • /
    • 2005
  • 지난 수년 동안 우리나라에서 이 러닝은 특히 기업을 중심으로 빠른 시간에 확산이 되었으며, 양적으로 팽창한 만큼 질적인 부분에 대한 의구심이 팽배한 것이 사실이다. 기존의 오프라인 교육에 비하여 이 러닝의 질적 수준을 분석하는 이유는 그 동안 급속도로 발전된 이 러닝이 학습자들에게 훌륭한 학습경험을 주지 못하였고, 생각보다 결과가 저조하였으며, 무엇보다 투자된 비용에 비해 효과성이 저조하였다는 지적이 많기 때문이다 . 그동안 이 러닝에서의 많은 경험은 오랜 세월동안 익숙해왔던 오프라인수업을 중심으로 구성되어왔으며, 이 러닝에 종사하는 많은 전문가들도 대부분 오프라인에서의 교수-학습에 대한 경험을 바탕으로 이 러닝의 체제를 이해하여 왔다. Dublin&Cross (2003)에 의하면 과연 얼마나 많은 사람들이 이 러닝에 대한 공통된 개념을 가지고 있으며, 학습자들이 단지 문제없이 이 러닝에 접속하여 끝까지 기술적인 문제없이 도달하는데서 끝나지 않고 얼마나 효과적이고 효율적으로 이 러닝이 의도한 학습과정에 흡수되는 가를 분석해 낼 수 있는가에 따라 이 러닝의 성공여부가 달려 있다고 한다. 본 논문은 이 러닝의 확산속도에 맞추어 질적 향상이 쉽게 이루어지지 않는 이 러닝의 현상을 분석해보고 이 러닝의 질적 발전을 위하여 고려하여야 하는 요소들은 무엇이 있으며 이들이 어떻게 조화를 이루어야 이 러닝이 질적으로 우수성을 가질 수 있는지에 대한 방안을 제시해 보고자 한다.

  • PDF

이 러닝의 질적 향상 방안에 대한 연구 (A Study on e-Learning Quality Improvement)

  • 조은순
    • 한국콘텐츠학회논문지
    • /
    • 제5권5호
    • /
    • pp.316-324
    • /
    • 2005
  • 우리나라의 이 러닝은 그동안 양적으로 팽창한 만큼 질적인 부분에 대한 의구심이 팽배해지고 있는 것이 사실이다. 현재 시점에서 이 러닝의 질적 수준을 분석해야 하는 이유는 그 동안 급속도로 발전된 이 러닝이 학습자들에게 훌륭한 학습경험을 주지 못하였고, 생각보다 결과가 저조하였으며, 무엇보다 투자된 비용에 비해 효과성이 저조하였다는 지적이 많기 때문이다. 지난 몇 년 동안 이 러닝에서의 학습경험은 오랜 세월 익숙해왔던 오프라인수업을 중심으로 구성되어 왔으며, 이 러닝에 종사하는 많은 전문가들도 대부분 오프라인에서의 교수-학습에 대한 경험을 바탕으로 이 러닝의 체제를 이해하여 왔다. Dublin&Cross에 의하면 과연 얼마나 많은 사람들이 이 러닝에 대한 공통된 개념을 가지고 있으며, 학습자들이 단지 문제없이 이 러닝에 접속하여 끝까지 기술적인 문제없이 도달하는데서 끝나지 않고 얼마나 효과적이고 효율적으로 이 러닝이 의도한 학습과정에 흡수되는 가를 분석해 낼 수 있는가에 따라 이 러닝의 성공여부가 달려 있다고 한다 [12]. 본 논문은 이 러닝의 확산속도에 맞추어 질적 향상이 쉽게 이루어지지 않는 이 러닝의 현상을 심층 분석해보고 이 러닝의 질적 향상을 위하여 고려해야 하는 요소들은 무엇이 있으며 이들이 어떻게 조화를 이루어야 이 러닝이 질적으로 우수성을 가질 수 있는지에 대한 방안을 제시해 보고자 한다.

  • PDF