• 제목/요약/키워드: long and short-term memory

검색결과 566건 처리시간 0.029초

기계학습 기반의 Long Short-Term Memory 네트워크를 활용한 수문인자 예측기술 개발 (Development of Hydrological Variables Forecast Technology Using Machine Learning based Long Short-Term Memory Network)

  • 김태정;정민규;황규남;권현한
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.340-340
    • /
    • 2019
  • 지구온난화로 유발되는 기후변동성이 증가함에 따라서 정확한 수문인자의 예측은 전 세계적으로 주요 관심사항이 되고 있다. 최근에는 고성능 컴퓨터 자원의 증가로 수문기상학 연구에서 동일한 학습량에 비하여 정확도의 향상이 뚜렷한 기계학습 구조를 활용하여 위성영상 기반의 대기예측, 태풍위치 추적 및 강수량 예측 등의 연구가 활발하게 진행되고 있다. 본 연구에는 기계학습 중 시계열 분석에 널리 활용되고 있는 순환신경망(Recurrent Neural Network, RNN) 기법의 대표적인 LSTM(Long Short-Term Memory) 네트워크를 이용하여 수문인자를 예측하였다. LSTM 네트워크는 가중치 및 메모리 요소에 대한 추가정보를 셀 상태에 저장하고 시계열의 길이 조정하여 모형의 탄력적 활용이 가능하다. LSTM 네트워크를 이용한 다양한 수문인자 예측결과 RMSE의 개선을 확인하였다. 따라서 본 연구를 통하여 개발된 기계학습을 통한 수문인자 예측기술은 권역별 수계별 홍수 및 가뭄대응 계획을 능동적으로 수립하는데 활용될 것으로 판단된다. 향후 연구에서는 LSTM의 입력영역을 Bayesian 추론기법을 활용하여 구성함으로 학습과정의 불확실성을 정량적으로 제어하고자 한다.

  • PDF

Optimizing Artificial Neural Network-Based Models to Predict Rice Blast Epidemics in Korea

  • Lee, Kyung-Tae;Han, Juhyeong;Kim, Kwang-Hyung
    • The Plant Pathology Journal
    • /
    • 제38권4호
    • /
    • pp.395-402
    • /
    • 2022
  • To predict rice blast, many machine learning methods have been proposed. As the quality and quantity of input data are essential for machine learning techniques, this study develops three artificial neural network (ANN)-based rice blast prediction models by combining two ANN models, the feed-forward neural network (FFNN) and long short-term memory, with diverse input datasets, and compares their performance. The Blast_Weathe long short-term memory r_FFNN model had the highest recall score (66.3%) for rice blast prediction. This model requires two types of input data: blast occurrence data for the last 3 years and weather data (daily maximum temperature, relative humidity, and precipitation) between January and July of the prediction year. This study showed that the performance of an ANN-based disease prediction model was improved by applying suitable machine learning techniques together with the optimization of hyperparameter tuning involving input data. Moreover, we highlight the importance of the systematic collection of long-term disease data.

LSTM을 활용한 고위험성 조류인플루엔자(HPAI) 확산 경로 예측 (Prediction of Highy Pathogenic Avian Influenza(HPAI) Diffusion Path Using LSTM)

  • 최대우;이원빈;송유한;강태훈;한예지
    • 한국빅데이터학회지
    • /
    • 제5권1호
    • /
    • pp.1-9
    • /
    • 2020
  • 이 연구는 2018년도 정부(농림축산식품부)의 재원으로 농림식품기술기획평가원 지원을 받아 수행된 연구이다. 최근 시계열 및 텍스트 마이닝에서 활발히 사용되는 모델은 딥러닝(Deep Learning) 모델 구조를 활용한 LSTM(Long Short-Term Memory models) 모델이다. LSTM 모델은 RNN의 BPTT(Backpropagation Through Time) 과정에서 발생하는 Long-Term Dependency Problem을 해결하기 위해 등장한 모델이다. LSTM 모델은 가변적인 Sequence data를 활용하여 예측하는 문제를 굉장히 잘 해결했고, 지금도 널리 사용되고 있다. 본 논문 연구에서는 KT가 제공하는 CDR(Call Detailed Record) 데이터를 활용하여 바이러스와 밀접한 관계가 있을 것으로 예측되는 사람의 이동 경로를 파악하였다. 해당 사람의 경로를 활용하여 LSTM 모델을 학습시켜 이동 경로를 예측한 결과를 소개한다. 본 연구 결과를 활용하여 HPAI가 전파되는 경로를 예측하여 방역에 중점을 둘 경로 또는 지역을 선정해 HPAI 확산을 줄이는 데 이용될 수 있을 것이다.

Effects of Long- and Short-term Consumption of Energy Drinks on Anxiety-like, Depression-like, and Cognitive Behavior in Adolescent Rats

  • Lee, Joo Hee;Lee, Jong Hyeon;Choi, You Jeong;Kim, Youn Jung
    • Journal of Korean Biological Nursing Science
    • /
    • 제22권2호
    • /
    • pp.111-118
    • /
    • 2020
  • Purpose: The purpose of this study was to understand the impact of long- and short-term energy drinks on anxiety-like, depressionlike, and cognitive behavior in adolescent rats. Methods: Adolescent rats (age six weeks) were randomly classified into a control group (CON), a long-term administration group (LT), and a short-term administration group (ST). The LT group was orally administered 1.5 mL/100 g (body weight) of energy drink twice daily for 14 days, the ST group was orally administered for one day, and the control group applied the same amount of normal saline. Later, an open-field test, a forced swim test, novel object recognition test, and an 8-arm radial maze test was conducted to assess the rats' anxiety, depression, and cognitive function. Results: There were different effects in the long- and short-term groups of energy drink administration. In the LT group, anxiety- and depressive-like behavior increased because of increased movement in the side corner and decrease of immobility time. Also, the time to explore novel objects decreased, and the number of correct responses was reduced, indicating a learning and memory function disorder. However, the ST group was not different from the control group. Conclusion: These results indicate that long-term consumption of energy drinks can increase anxiety-like, depression-like behavior, and this can lead to decrease in learning and memory functions. Thus, nurse and health care providers should understand the impact of energy drink consumption in adolescence to provide appropriate practices and education.

가중치 모듈레이터를 이용한 인공 해마 알고리즘 구현 (Implementation of Artificial Hippocampus Algorithm Using Weight Modulator)

  • 추정호;강대성
    • 제어로봇시스템학회논문지
    • /
    • 제13권5호
    • /
    • pp.393-398
    • /
    • 2007
  • In this paper, we propose the development of Artificial Hippocampus Algorithm(AHA) which remodels a principle of brain of hippocampus. Hippocampus takes charge auto-associative memory and controlling functions of long-term or short-term memory strengthening. We organize auto-associative memory based 4 steps system (EC, DG CA3, and CA1) and improve speed of teaming by addition of modulator to long-term memory teaming. In hippocampus system, according to the 3 steps order, information applies statistical deviation on Dentate Gyrus region and is labeled to responsive pattern by adjustment of a good impression. In CA3 region, pattern is reorganized by auto-associative memory. In CA1 region, convergence of connection weight which is used long-term memory is learned fast a by neural network which is applied modulator. To measure performance of Artificial Hippocampus Algorithm, PCA(Principal Component Analysis) and LDA(Linear Discriminants Analysis) are applied to face images which are classified by pose, expression and picture quality. Next, we calculate feature vectors and learn by AHA. Finally, we confirm cognitive rate. The results of experiments, we can compare a proposed method of other methods, and we can confirm that the proposed method is superior to the existing method.

프로세싱 인 메모리 시스템에서의 PolyBench 구동에 대한 동작 성능 및 특성 분석과 고찰 (Performance Analysis and Identifying Characteristics of Processing-in-Memory System with Polyhedral Benchmark Suite)

  • 김정근
    • 반도체디스플레이기술학회지
    • /
    • 제22권3호
    • /
    • pp.142-148
    • /
    • 2023
  • In this paper, we identify performance issues in executing compute kernels from PolyBench, which includes compute kernels that are the core computational units of various data-intensive workloads, such as deep learning and data-intensive applications, on Processing-in-Memory (PIM) devices. Therefore, using our in-house simulator, we measured and compared the various performance metrics of workloads based on traditional out-of-order and in-order processors with Processing-in-Memory-based systems. As a result, the PIM-based system improves performance compared to other computing models due to the short-term data reuse characteristic of computational kernels from PolyBench. However, some kernels perform poorly in PIM-based systems without a multi-layer cache hierarchy due to some kernel's long-term data reuse characteristics. Hence, our evaluation and analysis results suggest that further research should consider dynamic and workload pattern adaptive approaches to overcome performance degradation from computational kernels with long-term data reuse characteristics and hidden data locality.

  • PDF

건물 예측 제어용 LSTM 기반 일사 예측 모델 (Development of a Prediction Model of Solar Irradiances Using LSTM for Use in Building Predictive Control)

  • 전병기;이경호;김의종
    • 한국태양에너지학회 논문집
    • /
    • 제39권5호
    • /
    • pp.41-52
    • /
    • 2019
  • The purpose of the work is to develop a simple solar irradiance prediction model using a deep learning method, the LSTM (long term short term memory). Other than existing prediction models, the proposed one uses only the cloudiness among the information forecasted from the national meterological forecast center. The future cloudiness is generally announced with four categories and for three-hour intervals. In this work, a daily irradiance pattern is used as an input vector to the LSTM together with that cloudiness information. The proposed model showed an error of 5% for learning and 30% for prediction. This level of error has lower influence on the load prediction in typical building cases.

상호작용식 메트로놈(Interactive Metronome: IM) 훈련이 지적장애 아동의 집중력과 단기기억력에 미치는 영향 (The Effects of Interactive Metronome on Short-term Memory and Attention for Children With Mental Retardation)

  • 박아름;유두한
    • 대한감각통합치료학회지
    • /
    • 제14권1호
    • /
    • pp.19-30
    • /
    • 2016
  • 목적 : 본 연구는 상호작용식 메트로놈(Interactive Metronome: IM) 훈련이 지적장애 아동의 집중력과 단기기억력에 미치는 영향에 대해 알아보고자 하였다. 연구방법 : 지적장애로 진단 받은 아동 2명을 대상으로, 개별실험 연구방법(single-subject experimental research design)중 ABA 설계 사용하였다. 총 18회기로 매주 2회기씩 총 9주 진행하였다. 기초선 기간에는 IM 훈련을 하지 않은 상태에서 Electroencephalogram(EEG)를 부착하여 단축형 검사(short form test)로 뇌파를 측정하였으며, 대상자가 무작위(random)로 선택한 단기기억 과제로 측정을 실시하였다. 중재기 12회기는 IM 훈련을 40~50분간 실시한 후 단기기억 과제(shot-term memory test)를 측정 하였으며, 단축형 검사를 측정하였다. 재기초선 3회기에도 기초선 기간과 동일하게 진행하였다. 결과 : 상호작용식 메트로놈 훈련 후 집중력의 향상과 뇌파에서 변화를 보였으며, 단기기억 과제에서도 향상된 결과를 보였다. 결론 : 상호작용식 메트로놈 훈련은 지적장애 아동에게 집중력과 단기기억력의 향상을 위한 중재방법으로 기대되며, 본 연구는 이를 위한 근거 자료로 사용될 수 있을 것이다.

문서의 감정 분류를 위한 주목 방법 기반의 딥러닝 인코더 (An Attention Method-based Deep Learning Encoder for the Sentiment Classification of Documents)

  • 권순재;김주애;강상우;서정연
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권4호
    • /
    • pp.268-273
    • /
    • 2017
  • 최근 감정 분류 분야에서 딥러닝 인코더 기반의 접근 방법이 활발히 적용되고 있다. 딥러닝 인코더 기반의 접근 방법은 가변 길이 문장을 고정 길이 문서 벡터로 압축하여 표현한다. 하지만 딥러닝 인코더에 흔히 사용되는 구조인 장 단기 기억망(Long Short-Term Memory network) 딥러닝 인코더는 문서가 길어지는 경우, 문서 벡터 표현의 품질이 저하된다고 알려져 있다. 본 논문에서는 효과적인 감정 문서의 분류를 위해, 장 단기 기억망의 출력을 중요도에 따라 가중합하여 문서 벡터 표현을 생성하는 주목방법 기반의 딥러닝 인코더를 사용하는 것을 제안한다. 또한, 주목 방법 기반의 딥러닝 인코더를 문서의 감정 분류 영역에 맞게 수정하는 방법을 제안한다. 제안하는 방법은 윈도우 주목 방법(Window Attention Method)을 적용한 단계와 주목 가중치 재조정(Weight Adjustment) 단계로 구성된다. 윈도우 주목 방법은 한 단어 이상으로 구성된 감정 자질을 효과적으로 인식하기 위해, 윈도우 단위로 가중치를 학습한다. 주목 가중치 재조정에서는 학습된 가중치를 평활화(Smoothing) 한다, 실험 결과, 본 논문에서 제안하는 방법은 정확도 기준으로 89.67%의 성능을 나타내어 장 단기 기억망 인코더보다 높은 성능을 보였다.

Prediction Oil and Gas Throughput Using Deep Learning

  • Sangseop Lim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권5호
    • /
    • pp.155-161
    • /
    • 2023
  • 우리나라 수출의 97.5%, 수입의 87.2%가 해상운송으로 이뤄지며 항만이 한국 경제의 중요한 구성요소이다. 이러한 항만의 효율적인 운영을 위해서는 항만 물동량의 단기 예측을 통해 개선시킬 수가 있으며 과학적인 연구방법이 필요하다. 이전 연구는 주로 장기예측을 기반으로 대규모 인프라투자를 위한 연구에 중점을 두었으며 컨테이너 항만물동량에만 집중한 측면이 크다. 본 연구는 국내 대표적인 석유항만인 울산항의 석유 및 가스화물 물동량에 대한 단기 예측을 수행하였으며 딥러닝 모델인 LSTM(Long Short Term Memory) 모델을 사용하여 RMSE기준으로 예측성능을 확인하였다. 본 연구의 결과는 석유 및 가스화물 물동량 수요 예측의 정확도를 높여 항만 운영의 효율성을 개선하는 근거가 될 수 있을 것으로 기대된다. 또한 기존 연구의 한계로 컨테이너 항만 물동량뿐만 아니라 석유 및 가스화물 물동량 예측에도 LSTM의 활용할 수 있다는 가능성을 확인할 수 있으며 향후 추가 연구를 통해 일반화가 가능할 것으로 기대된다.