• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2020년도 학술발표회
• /
• pp.183-183
• /
• 2020

Accurate quantitative precipitation estimation plays an important role in hydrological modelling and prediction. Instantaneous quantitative precipitation estimation (QPE) by utilizing the weather radar data is a great applicability for operational hydrology in a catchment. Previously, regression technique performed between reflectivity (Z) and rain intensity (R) is used commonly to obtain radar QPEs. A novel, recent approaching method which might be applied in hydrological area for QPE is Long Short-Term Memory (LSTM) Networks. LSTM networks is a development and evolution of Recurrent Neuron Networks (RNNs) method that overcomes the limited memory capacity of RNNs and allows learning of long-term input-output dependencies. The advantages of LSTM compare to RNN technique is proven by previous works. In this study, LSTM networks is used to estimate the quantitative precipitation from weather radar for an urban catchment in South Korea. Radar information and rain-gauge data are used to evaluate and verify the estimation. The estimation results figure out that LSTM approaching method shows the accuracy and outperformance compared to Z-R relationship method. This study gives us the high potential of LSTM and its applications in urban hydrology.

• 한국IT서비스학회지
• /
• 제16권4호
• /
• pp.149-160
• /
• 2017

Sentiment analysis is the process of determining whether a piece of document, text or conversation is positive, negative, neural or other emotion. Sentiment analysis has been applied for several real-world applications, such as chatbot. In the last five years, the practical use of the chatbot has been prevailing in many field of industry. In the chatbot applications, to recognize the user emotion, sentiment analysis must be performed in advance in order to understand the intent of speakers. The specific emotion is more than describing positive or negative sentences. In light of this context, we propose deep learning models for conducting multi-class sentiment analysis for identifying speaker's emotion which is categorized to be joy, fear, guilt, sad, shame, disgust, and anger. Thus, we develop convolutional neural network (CNN), long short term memory (LSTM), and multi-layer neural network models, as deep neural networks models, for detecting emotion in a sentence. In addition, word embedding process was also applied in our research. In our experiments, we have found that long short term memory (LSTM) model performs best compared to convolutional neural networks and multi-layer neural networks. Moreover, we also show the practical applicability of the deep learning models to the sentiment analysis for chatbot.

• 한국음향학회지
• /
• 제38권4호
• /
• pp.433-441
• /
• 2019

본 논문에서는 입 주변에 방사한 초음파 신호가 반사되어 돌아올 때 발생하는 초음파 도플러 신호를 LSTM(Long Short Term Memory) 순환 신경망 (Recurrent Neural Networks, RNN)을 이용해 음성 패러미터를 추정하는 방법을 소개하고 다층 퍼셉트론 (Multi-Layer Perceptrons, MLP) 신경망을 이용한 방법과 성능 비교를 하였다. 본 논문에서는 LSTM 순환 신경망을 이용해 초음파 도플러 신호로부터 음성 신호의 푸리에 변환 계수를 추정하였다. LSTM 순환 신경망을 학습하기 위한 입력 및 기준값으로 초음파 도플러 신호와 음성 신호로부터 각각 추출된 멜 주파수 대역별 에너지 로그값과 푸리에 변환 계수가 사용되었다. 테스트 데이터를 이용한 실험을 통해 LSTM 순환 신경망과 MLP의 성능을 평가, 비교하였고 척도로는 평균 제곱근 오차(Root Mean Squared Error, RMSE)가 사용되었다.각 실험의 RMSE는 각각 0.5810, 0.7380로 나타났다. 약 0.1570 차이로 LSTM 순환 신경망을 이용한 방법의 성능 우세한 것으로 확인되었다.

• Structural Monitoring and Maintenance
• /
• 제5권1호
• /
• pp.51-65
• /
• 2018

A number of sensing techniques have been implemented for detecting defects in civil infrastructures instead of onsite human inspections in structural health monitoring. However, the issue of faults in sensors has not received much attention. This issue may lead to incorrect interpretation of data and false alarms. To overcome these challenges, this article presents a deep learning-based method with a new architecture of Stateful Long Short Term Memory Neural Networks (S-LSTM NN) for detecting sensor fault without going into details of the fault features. As LSTMs are capable of learning data features automatically, and the proposed method works without an accurate mathematical model. The detection of four types of sensor faults are studied in this paper. Non-stationary acceleration responses of a three-span continuous bridge when under operational conditions are studied. A deep network model is applied to the measured bridge data with estimation to detect the sensor fault. Another set of sensor output data is used to supervise the network parameters and backpropagation algorithm to fine tune the parameters to establish a deep self-coding network model. The response residuals between the true value and the predicted value of the deep S-LSTM network was statistically analyzed to determine the fault threshold of sensor. Experimental study with a cable-stayed bridge further indicated that the proposed method is robust in the detection of the sensor fault.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제7권8호
• /
• pp.307-324
• /
• 2018

최근 순환 신경 망(Recurrent Neural Networks)은 시간에 대한 의존성을 고려한 구조를 통해 순차 데이터(Sequential data)의 예측 문제 해결에서 각광받고 있다. 하지만 순차 데이터의 시간 스텝이 늘어남에 따라 발생하는 그라디언트 소실(Gradients vanishing)이 문제로 대두되었다. 이를 해결하기 위해 장단기 기억 모델(Long Short-Term Memory)이 제안되었지만, 많은 데이터를 저장하고 장기간 보존하는 데에 한계가 있다. 따라서 순환 신경망과 메모리 요소(Memory component)를 활용한 학습 모델인 메모리-증대 신경망(Memory-Augmented Neural Networks)에 대한 연구가 최근 활발히 진행되고 있다. 본 논문에서는 딥 러닝(Deep Learning) 분야의 화두로 떠오른 메모리-증대 신경망 주요 모델들의 구조와 특징을 열거하고, 이를 활용한 최신 기법들과 향후 연구 방향을 제시한다.

• 한국음향학회지
• /
• 제36권4호
• /
• pp.261-266
• /
• 2017

본 논문에서는 커널 모델과 장단기 기억(Long-Short Term Memory, LSTM) 신경망을 결합한 보컬 및 비보컬 분리 방식을 제안한다. 기존의 음원 분리 방식은 비보컬 음원만 있는 구간에서 음원을 오추정하여 불필요한 비보컬 음원을 출력하는 한계가 있다. 따라서 본 논문에서는 커널 모델 기반의 보컬음 분리 방식에 LSTM 신경망 기반의 보컬 구간 분류 방식을 결합하여 보컬 음원의 오추정 문제를 개선하고 분리 성능을 향상시키고자 하였다. 또한 본 논문에서는 방식간의 결합 구조에 따라 병렬 결합형 분리 알고리즘과 직렬 결합형 분리 알고리즘을 제안하였으며, 실험을 통해 제안하는 방식들이 기존의 방식에 비해 더욱 향상된 분리 성능을 보이는 것을 확인할 수 있었다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2021년도 학술발표회
• /
• pp.133-133
• /
• 2021

The performance of radar Quantitative Precipitation Estimation (QPE) using Long Short-Term Memory (LSTM) networks in hydrological applications depends on either the quality of data or the three-dimensional CAPPI structure from the weather radar. While radar data quality is controlled and enhanced by the more and more modern radar systems, the effect of CAPPI structure still has not yet fully investigated. In this study, three typical and important types of CAPPI structure including inverse-pyramid, cubic of grids 3x3, cubic of grids 4x4 are investigated to evaluate the effect of CAPPI structures on the performance of radar QPE using LSTM networks. The investigation results figure out that the cubic of grids 4x4 of CAPPI structure shows the best performance in rainfall estimation using the LSTM networks approach. This study give us the precious experiences in radar QPE works applying LSTM networks approach in particular and deep-learning approach in general.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 추계학술대회
• /
• pp.409-410
• /
• 2022

본 논문은 LSTM(Long-Short Term Memory) 네트워크와 CNN 딥러닝 기법을 기반으로 하는 융합 모델을 제안하고 다중 카테고리 뉴스 데이터 세트에 적용하여 좋은 결과를 얻었다. 실험에 따르면 딥 러닝 기반의 융합 모델이 텍스트 감정 분류의 정밀도와 정확도를 크게 향상시켰다. 이 방법은 모델을 최적화하고 모델의 성능을 향상시키는 중요한 방법이 될 것이다.

• 한국빅데이터학회지
• /
• 제4권2호
• /
• pp.35-45
• /
• 2019

욕설과 비속어를 포함한 악성 댓글에 대한 피해는 최근 언론에 나오는 연애인의 자살뿐만 아니라 사회 전반에서 다양한 형태로 증가하고 있다. 이 논문에서는 양방향 장단기 메모리 신경망 모델을 이용하여 욕설을 검출하는 기법을 제시하였다. 웹 크룰러를 통해 웹상의 댓글을 수집하고, 영어나 특수문자 등의 사용하지 않은 글에 대해 불용어 처리를 하였다. 불용어 처리된 댓글에 대해 문장의 전·후 관계를 고려한 양방향 장단기 메모리 신경망 모델을 적용하여 욕설 여부를 판단하고 검출하였다. 양방향 장단기 메모리 신경망을 사용하기 위해 검출된 댓글에 대해 형태소 분석과 벡터화 과정을 거쳤으며 각 단어들에 욕설 해당 여부를 라벨링하여 진행하였다. 실험 결과 정제하고 수집된 총 9,288개의 댓글에 대해 88.79%의 성능을 나타내었다.

• Journal of Positioning, Navigation, and Timing
• /
• 제13권2호
• /
• pp.137-147
• /
• 2024

This paper presents a novel Long Short-Term Memory (LSTM) network architecture for the integration of an Inertial Measurement Unit (IMU) and Global Navigation Satellite Systems (GNSS). The proposed algorithm consists of two independent LSTM networks and the LSTM networks are trained to predict attitudes and velocities from the sequence of IMU measurements and mechanization solutions. In this paper, three GNSS receivers are used to provide Real Time Kinematic (RTK) GNSS attitude and position information of a vehicle, and the information is used as a target output while training the network. The performance of the proposed method was evaluated with both experimental and simulation data using a lowcost IMU and three RTK-GNSS receivers. The test results showed that the proposed LSTM network could improve positioning accuracy by more than 90% compared to the position solutions obtained using a conventional Kalman filter based IMU/GNSS integration for more than 30 seconds of GNSS outages.