• 제목/요약/키워드: Long Short-Term Memory Units

검색결과 20건 처리시간 0.026초

Long short term memory 모델을 이용한 시계열 수중 소음 데이터 예측 (Prediction of time-series underwater noise data using long short term memory model)

  • 이혜선;홍우영;김국현;이근화
    • 한국음향학회지
    • /
    • 제42권4호
    • /
    • pp.313-319
    • /
    • 2023
  • 본 논문에서는 일부 소음 데이터만 알고 있을 때 결손된 데이터를 예측할 목적으로 수조에서 측정된 기포유동 소음 데이터와 수중 운동체 발사 소음 데이터를 시계열 기계학습 모델인 Long Short Term Memory(LSTM)에 적용해 보았다. 기포유동소음 데이터는 파이프에서 측정된 소음으로 기포소음, 유동소음, 유체기인소음이 혼합되어 있으며 유형별로 3가지로 분류할 수 있다. 수중 운동체 발사소음은 모형 발사튜브에서 수중 운동체가 사출될 때 발생하는 소음으로 순간소음이며 발사 이벤트마다 불규칙하게 변한다. 이러한 종류의 소음 생성을 위해서는 해석적인 모델보다는 데이터 기반 모델이 유용할 수 있다. 본 연구에서는 LSTM을 데이터 기반 모델을 만들었다. 모델에 영향을 주는 LSTM의 은닉유닛의 개수, 입력시퀸스의 개수, 데시메이션 인자에 따른 모델의 성능을 확인하고 최적의 LSTM 모델을 구성했다. 같은 유형은 새로운 데이터에 대해서도 잘 동작하는 것을 보였다.

프로세싱 인 메모리 시스템에서의 PolyBench 구동에 대한 동작 성능 및 특성 분석과 고찰 (Performance Analysis and Identifying Characteristics of Processing-in-Memory System with Polyhedral Benchmark Suite)

  • 김정근
    • 반도체디스플레이기술학회지
    • /
    • 제22권3호
    • /
    • pp.142-148
    • /
    • 2023
  • In this paper, we identify performance issues in executing compute kernels from PolyBench, which includes compute kernels that are the core computational units of various data-intensive workloads, such as deep learning and data-intensive applications, on Processing-in-Memory (PIM) devices. Therefore, using our in-house simulator, we measured and compared the various performance metrics of workloads based on traditional out-of-order and in-order processors with Processing-in-Memory-based systems. As a result, the PIM-based system improves performance compared to other computing models due to the short-term data reuse characteristic of computational kernels from PolyBench. However, some kernels perform poorly in PIM-based systems without a multi-layer cache hierarchy due to some kernel's long-term data reuse characteristics. Hence, our evaluation and analysis results suggest that further research should consider dynamic and workload pattern adaptive approaches to overcome performance degradation from computational kernels with long-term data reuse characteristics and hidden data locality.

  • PDF

Modeling the human memory in nerve fields

  • Fujita, Osamu;Kakazu, Yukinori
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1992년도 한국자동제어학술회의논문집(국제학술편); KOEX, Seoul; 19-21 Oct. 1992
    • /
    • pp.70-73
    • /
    • 1992
  • This paper describes the modeling of human memory using a nerve field model which is proposed for modeling the mechanism of brain mathematically. In our model, two phases of memory, retention and recollection, are focused on. The former consists of two stages, short-term memory (STM) and long-term memory (LTM). The proposed model consists of three parts, the STM Layer, LTM Layer and the Intermediate Layer between them. Each of these is constructed by a nerve field. In the STM Layer, memorized information is retained dynamically in the form of the reverberating states of units within the layer, while in the LTM Layer, it is stored statically in the form of structures of the weight on the links between units. the Intermediate Layer is introduced to translate this dynamic representation in the STM Layer to the LTNI Layer, and also to extract the static information from the STM Layer. In addition to this, we consider the recollection of information stored in the LTM. Finally, the behavior of this model is demonstrated by computer simulation.

  • PDF

LSTM (Long-short Term Memory)과 GRU (Gated Recurrent Units) 모델을 활용한 양식산 넙치 도매가격 예측 연구 (Forecasting the Wholesale Price of Farmed Olive Flounder Paralichthys olivaceus Using LSTM and GRU Models)

  • 이가현;김도훈
    • 한국수산과학회지
    • /
    • 제56권2호
    • /
    • pp.243-252
    • /
    • 2023
  • Fluctuations in the price of aquaculture products have recently intensified. In particular, wholesale price fluctuations are adversely affecting consumers. Therefore, there is an emerging need for a study on forecasting the wholesale price of aquaculture products. The present study forecasted the wholesale price of olive flounder Paralichthys olivaceus, a representative farmed fish species in Korea, by constructing multivariate long-short term memory (LSTM) and gated recurrent unit (GRU) models. These deep learning models have recently been proven to be effective for forecasting in various fields. A total of 191 monthly data obtained for 17 variables were used to train and test the models. The results showed that the mean average percent error of LSTM and GRU models were 2.19% and 2.68%, respectively.

문서의 감정 분류를 위한 주목 방법 기반의 딥러닝 인코더 (An Attention Method-based Deep Learning Encoder for the Sentiment Classification of Documents)

  • 권순재;김주애;강상우;서정연
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권4호
    • /
    • pp.268-273
    • /
    • 2017
  • 최근 감정 분류 분야에서 딥러닝 인코더 기반의 접근 방법이 활발히 적용되고 있다. 딥러닝 인코더 기반의 접근 방법은 가변 길이 문장을 고정 길이 문서 벡터로 압축하여 표현한다. 하지만 딥러닝 인코더에 흔히 사용되는 구조인 장 단기 기억망(Long Short-Term Memory network) 딥러닝 인코더는 문서가 길어지는 경우, 문서 벡터 표현의 품질이 저하된다고 알려져 있다. 본 논문에서는 효과적인 감정 문서의 분류를 위해, 장 단기 기억망의 출력을 중요도에 따라 가중합하여 문서 벡터 표현을 생성하는 주목방법 기반의 딥러닝 인코더를 사용하는 것을 제안한다. 또한, 주목 방법 기반의 딥러닝 인코더를 문서의 감정 분류 영역에 맞게 수정하는 방법을 제안한다. 제안하는 방법은 윈도우 주목 방법(Window Attention Method)을 적용한 단계와 주목 가중치 재조정(Weight Adjustment) 단계로 구성된다. 윈도우 주목 방법은 한 단어 이상으로 구성된 감정 자질을 효과적으로 인식하기 위해, 윈도우 단위로 가중치를 학습한다. 주목 가중치 재조정에서는 학습된 가중치를 평활화(Smoothing) 한다, 실험 결과, 본 논문에서 제안하는 방법은 정확도 기준으로 89.67%의 성능을 나타내어 장 단기 기억망 인코더보다 높은 성능을 보였다.

정수장에서의 에너지 관리를 위한 AI 기반 복합센서 적용 연구 (AI based complex sensor application study for energy management in WTP)

  • 홍성택;안상병;김국;성민석
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.322-323
    • /
    • 2022
  • 정수장의 최적화 운영을 위하여 가장 필요한 것은 수용가에서 사용되는 수돗물의 패턴과 양을 정확하게 예측하여 필요한 만큼의 수돗물을 펌프를 이용하여 배수지로 전달하여 저장하고, 필요한 유량이 최소의 전기에너지를 이용하여 적기에 공급되어야 한다. 정수장의 수량 예측 중 에너지 최적화 운영의 관점에서 필요한 단기 수요예측은 시계열 분석, 회귀분석 및 신경망 알고리즘을 이용하여 계절별, 주요 기간별, 지역 특성별 등을 고려하여 이루어져 왔으며, 본 논문에서는 순환적 신경회로망의 일종인 LSTM(Long Short-Term Memory), GRU(Gated Recurrent Units) 등의 AI 기반 복합센서 적용성 분석을 통한 에너지 관리 방안에 대하여 분석하였다.

  • PDF

An indoor localization system for estimating human trajectories using a foot-mounted IMU sensor and step classification based on LSTM

  • Ts.Tengis;B.Dorj;T.Amartuvshin;Ch.Batchuluun;G.Bat-Erdene;Kh.Temuulen
    • International journal of advanced smart convergence
    • /
    • 제13권1호
    • /
    • pp.37-47
    • /
    • 2024
  • This study presents the results of designing a system that determines the location of a person in an indoor environment based on a single IMU sensor attached to the tip of a person's shoe in an area where GPS signals are inaccessible. By adjusting for human footfall, it is possible to accurately determine human location and trajectory by correcting errors originating from the Inertial Measurement Unit (IMU) combined with advanced machine learning algorithms. Although there are various techniques to identify stepping, our study successfully recognized stepping with 98.7% accuracy using an artificial intelligence model known as Long Short-Term Memory (LSTM). Drawing upon the enhancements in our methodology, this article demonstrates a novel technique for generating a 200-meter trajectory, achieving a level of precision marked by a 2.1% error margin. Indoor pedestrian navigation systems, relying on inertial measurement units attached to the feet, have shown encouraging outcomes.

합리적인 하천수 관리체계 구축을 위한 자료기반 방류량 예측모형 개발 (Development of a Data-Driven Model for Forecasting Outflow to Establish a Reasonable River Water Management System)

  • 유형주;이승오;최서혜;박문형
    • 한국방재안전학회논문집
    • /
    • 제13권4호
    • /
    • pp.75-92
    • /
    • 2020
  • 일반적으로 물수지 분석 시 공급에 해당되는 회귀수량의 경우 용수별 회귀율을 일률적으로 정하여 산정하는 방법을 채택하고 있어 정확한 가용유량을 산정하지 못하는 한계를 갖고 있다. 이에 본 연구에서는 회귀수 중 하·폐수에 초점을 두었고 인공신경망 등의 기계학습 모형을 적용하여 하수종말처리장의 방류량 예측 모형을 개발하였다. 시계열 자료예측 시 사용되는 주요 기계학습 모형인 LSTM (Long Short-Term Memory), GRU (Gated Recurrent Units), SVR (Support Vector Regression)모형을 적용하였으며 관측 값과 예측 값을 비교하는 오차지표를 통하여 방류량 예측의 최적의 모형을 선정하였다. 모형 적용 결과, GRU 모형의 평균제곱근 오차(Root Mean Square Error, RMSE)는 LSTM 모형과 SVR 모형보다 작으며 Nash-Sutcliffe 계수(NSE)는 LSTM 모형과 SVR 모형보다 큰 것을 확인하였고, 이를 근거로 하수종말처리장의 방류량 예측에 최적모형은 GRU 모형이라고 판단하였다. 다만, 극값에서는 예측 값이 과소 및 과대 산정되는 경향을 보여 추후 예측 정확도 향상을 위해서는 극한사상에 대한 추가자료 구축 및 입력 자료의 최소시간단위를 축소하는 것이 필요할 것으로 판단되었다. 또한, 예측하고자 하는 대상지의 용수이용량을 검토하고 계절적 영향을 반영할 수 있는 추가인자를 고려하게 되면 기후변동성에 대비하여 정확한 방류량 예측이 가능하며 예측 결과를 토대로 종합적인 하천수 사용관리 및 물이용 계획 수립을 위한 기초자료로 활용될 수 있을 것으로 기대된다.

순환신경망 모델을 활용한 팔당호의 단기 수질 예측 (Short-Term Water Quality Prediction of the Paldang Reservoir Using Recurrent Neural Network Models)

  • 한지우;조용철;이소영;김상훈;강태구
    • 한국물환경학회지
    • /
    • 제39권1호
    • /
    • pp.46-60
    • /
    • 2023
  • Climate change causes fluctuations in water quality in the aquatic environment, which can cause changes in water circulation patterns and severe adverse effects on aquatic ecosystems in the future. Therefore, research is needed to predict and respond to water quality changes caused by climate change in advance. In this study, we tried to predict the dissolved oxygen (DO), chlorophyll-a, and turbidity of the Paldang reservoir for about two weeks using long short-term memory (LSTM) and gated recurrent units (GRU), which are deep learning algorithms based on recurrent neural networks. The model was built based on real-time water quality data and meteorological data. The observation period was set from July to September in the summer of 2021 (Period 1) and from March to May in the spring of 2022 (Period 2). We tried to select an algorithm with optimal predictive power for each water quality parameter. In addition, to improve the predictive power of the model, an important variable extraction technique using random forest was used to select only the important variables as input variables. In both Periods 1 and 2, the predictive power after extracting important variables was further improved. Except for DO in Period 2, GRU was selected as the best model in all water quality parameters. This methodology can be useful for preventive water quality management by identifying the variability of water quality in advance and predicting water quality in a short period.

딥러닝 기법을 활용한 컨테이너선 운임 예측 모델 (Estimation Model for Freight of Container Ships using Deep Learning Method)

  • 김동균;최정석
    • 해양환경안전학회지
    • /
    • 제27권5호
    • /
    • pp.574-583
    • /
    • 2021
  • 해운 시황을 예측하는 것은 중요한 문제이다. 투자 방식의 결정, 선대 편성 방법, 운임 등을 결정하기 위한 판단 근거가 되며 이는 기업의 이익과 생존에 큰 영향을 미치기 때문이다. 이를 위해 본 연구에서는 기계학습 모델인 장단기 메모리 및 간소화된 장단기 메모리 구조의 Gated Recurrent Units를 활용하여 컨테이너선의 해상운임 예측 모델을 제안한다. 운임 예측 대상은 중국 컨테이너 운임지수(CCFI)이며, 2003년 3월부터 2020년 5월까지의 CCFI 데이터를 학습에 사용하였다. 각 모델에 따라 2020년 6월 이후의 CCFI를 예측한 후 실제 CCFI와 비교, 분석하였다. 실험 모델은 하이퍼 파라메터의 설정에 따라 총 6개의 모델을 설계하였다. 또한 전통적인 분석 방법과의 성능을 비교하기 위해 ARIMA 모델도 실험에 추가하였다. 최적 모델은 두 가지 방법에 따라 선정하였다. 첫 번째 방법으로 각 모델을 10회 반복 실험하여 얻은 RMSE의 평균값이 가장 작은 모델을 선정하는 것이다. 두 번째 방법으로는 모든 실험에서 가장 낮은 RMSE를 기록한 모델을 선정하는 것이다. 실험 결과 전통적 시계열 예측모델인 ARIMA 모델과 비교하여 딥러닝 모델의 정확도를 입증하였으며, 정확한 예측모델을 통해 운임 변동의 위험관리 능력을 제고시키는데 기여했다. 반면 코로나19와 같은 외부 효과에 따른 운임의 급격한 변화상황이 발생한 경우, 예측모델의 정확도가 감소하는 한계점을 나타냈다. 제안된 모델 중 GRU1 모델이 두 가지 평가 방법 모두에서 가장 낮은 RMSE(69.55, 49.35)를 기록하며 최적 모델로 선정되었다.