• IEIE Transactions on Smart Processing and Computing
• /
• 제6권3호
• /
• pp.193-199
• /
• 2017

Instead of using only spatial features from a single frame for person re-identification, a combination of spatial and temporal factors boosts the performance of the system. A recurrent neural network (RNN) shows its effectiveness in generating highly discriminative sequence-level human representations. In this work, we implement RNN, three Long Short Term Memory (LSTM) network variants, and Gated Recurrent Unit (GRU) on Caffe deep learning framework, and we then conduct experiments to compare performance in terms of size and accuracy for person re-identification. We propose using GRU for the optimized choice as the experimental results show that the GRU achieves the highest accuracy despite having fewer parameters than the others.

• ETRI Journal
• /
• 제43권6호
• /
• pp.1081-1092
• /
• 2021

Electroencephalography (EEG) recordings taken during the perception of music tempo contain information that estimates the tempo of a music piece. If information about this tempo stimulus in EEG recordings can be extracted and classified, it can be effectively used to construct a music-based brain-computer interface. This study proposes a novel convolutional recurrent attention model (CRAM) to extract and classify features corresponding to tempo stimuli from EEG recordings of listeners who listened with concentration to the tempo of musics. The proposed CRAM is composed of six modules, namely, network inputs, two-dimensional convolutional bidirectional gated recurrent unit-based sample encoder, sample-level intuitive attention, segment encoder, segment-level intuitive attention, and softmax layer, to effectively model spatiotemporal features and improve the classification accuracy of tempo stimuli. To evaluate the proposed method's performance, we conducted experiments on two benchmark datasets. The proposed method achieves promising results, outperforming recent methods.

• Communications for Statistical Applications and Methods
• /
• 제31권1호
• /
• pp.105-127
• /
• 2024

We propose recurrent neural network (RNN) methods for forecasting realized volatility (RV). The data are RVs of ten major stock price indices, four from the US, and six from the EU. Forecasts are made for relative ratio of adjacent RVs instead of the RV itself in order to avoid the out-of-scale issue. Forecasts of RV ratios distribution are first constructed from which those of RVs are computed which are shown to be better than forecasts constructed directly from RV. The apparent asymmetry of RV ratio is addressed by the Piecewise Min-max (PM) normalization. The serial dependence of the ratio data renders us to consider two architectures, long short-term memory (LSTM) and gated recurrent unit (GRU). The hyperparameters of LSTM and GRU are tuned by the nested cross validation. The RNN forecast with the PM normalization and ratio transformation is shown to outperform other forecasts by other RNN models and by benchmarking models of the AR model, the support vector machine (SVM), the deep neural network (DNN), and the convolutional neural network (CNN).

• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.674-679
• /
• 2017

대용량의 텍스트 문서가 매일 만들어지는 빅데이터 환경에서 제목은 문서의 핵심 아이디어를 빠르게 집어내는데 매우 중요한 단서가 된다. 그러나 블로그 기사나 소셜 미디어 메시지와 같은 많은 종류의 문서들은 제목을 갖고 있지 않다. 본 논문에서는 주의집중 및 복사 작용을 가진 sequence-to-sequence 순환신경망을 사용한 제목 생성 모델을 제안한다. 제안 모델은 양방향 GRU(Gated Recurrent Unit) 네트워크에 기반 하여 입력 문장을 인코딩(encoding)하고, 입력 문장에서 자동 선별된 키워드와 함께 인코딩된 문장을 디코딩함으로써 제목 단어들을 생성한다. 93,631문서의 학습 데이터와 500문서의 평가 데이터를 가진 실험에서 주의집중 작용방법이 복사 작용방법보다 높은 어휘 일치율(ROUGE-1: 0.1935, ROUGE-2: 0.0364, ROUGE-L: 0.1555)을 보였고 사람이 정성평가한 지표는 복사 작용방법이 높은 성능을 보였다.

• 한국인터넷방송통신학회논문지
• /
• 제22권6호
• /
• pp.165-171
• /
• 2022

사람의 심박수는 운동 강도 측정의 기준으로 사용되는 중요한 지표이다. 만약 심박수를 예측한다면 운동 중 운동 강도를 미리 조절하여 효율적으로 운동할 수 있다. 본 논문에서는 FitRec 기반 달리기 운동을 수행하는 사용자의 심박수를 예측하는 모델을 제안한다. 학습을 위해 Endomondo의 데이터를 사용하여 예측 모델에 적용한다. 성능 비교를 위해 시계열 데이터 처리 알고리즘 LSTM(long short term memory)과 GRU(gated recurrent unit)를 사용하였다. FitRec에 유산소 운동 중 달리기 데이터만 학습한 결과 여러 유산소 운동 데이터를 모두 학습한 모델보다 MAE(mean absolute error)와 RMSE(root mean squared error) 둘 다 성능이 향상됨을 확인하였다.

• 한국음향학회지
• /
• 제42권5호
• /
• pp.395-401
• /
• 2023

음향 이벤트 검출(Sound Event Detection, SED)은 음향 신호에서 관심 있는 음향의 종류와 발생 구간을 검출하는 기술로, 음향 감시 시스템 및 모니터링 시스템 등 다양한 분야에서 활용되고 있다. 최근 음향 신호 분석에 관한 국제 경연 대회(Detection and Classification of Acoustic Scenes and Events, DCASE) Task 4를 통해 다양한 방법이 소개되고 있다. 본 연구는 다양한 영역에서 성능 향상을 이끌고 있는 Dense Convolutional Networks(DenseNet)을 음향 이벤트 검출에 적용하기 위해 설계 변수에 따른 성능 변화를 비교 및 분석한다. 실험에서는 DenseNet with Bottleneck and Compression(DenseNet-BC)와 순환신경망(Recurrent Neural Network, RNN)의 한 종류인 양방향 게이트 순환 유닛(Bidirectional Gated Recurrent Unit, Bi-GRU)을 결합한 DenseRNN 모델을 설계하고, 평균 교사 모델(Mean Teacher Model)을 통해 모델을 학습한다. DCASE task4의 성능 평가 기준에 따라 이벤트 기반 f-score를 바탕으로 설계 변수에 따른 DenseRNN의 성능 변화를 분석한다. 실험 결과에서 DenseRNN의 복잡도가 높을수록 성능이 향상되지만 일정 수준에 도달하면 유사한 성능을 보임을 확인할 수 있다. 또한, 학습과정에서 중도탈락을 적용하지 않는 경우, 모델이 효과적으로 학습됨을 확인할 수 있다.

• 한국수자원학회논문집
• /
• 제54권spc1호
• /
• pp.1037-1051
• /
• 2021

주요한 수질지표 중의 하나인 생물화학적 산소요구량(BOD) 농도는 호소와 하천에서 생태학적 측면에서 관측항목으로 취급하고 있다. 본 연구에서는 대한민국의 도산 및 황지지점에서 BOD 농도예측을 위하여 새로운 이단계 하이브리드 패러다임(웨이블릿 기반 게이트 순환 유닛, 웨이블릿 기반 일반화된 회귀신경망, 그리고 웨이블릿 기반 랜덤 포레스트) 을 활용하였다. 이러한 모형들은 각 대응하는 독립모형들(게이트 순환 유닛, 일반화된 회귀신경망, 그리고 랜덤 포레스트) 과 함께 평가되었다. 다양한 수질 및 수량지표들이 여러 개의 입력조합(분류1-5) 을 기본으로 하여 독립 및 이단계 하이브리드 모형을 개발하기 위하여 구현되었다. 언급한 모형들은 root mean squared error (RMSE), Nash-Sutcliffe efficiency (NSE), 그리고 correlation coefficient (CC) 를 포함한 세 개의 통계지표로서 평가되었으며, 통계결과치를 분석하면 이단계 하이브리드 모형들이 항상 대응하는 독립모형들의 예측 정도를 개선하지 않은 것으로 나타났다. 대한민국의 도산관측소에서는 DWT-RF5 (RMSE = 0.108 mg/L) 모형이 다른 최적모형과 비교하여 BOD 농도의 더 정확한 예측을 나타내었으며, 황지관측소에서는 DWT-GRNN4 (RMSE = 0.132 mg/L) 모형이 BOD 농도를 예측하는 최고의 모형이다.

• 디지털융복합연구
• /
• 제19권8호
• /
• pp.319-325
• /
• 2021

무선 기술의 고도화 및 이동통신 기술의 인프라가 빠르게 성장함에 따라 AI 기반 플랫폼을 적용한 시스템이 사용자의 주목을 받고 있다. 특히 사용자의 취향이나 관심사 등을 이해하고, 선호하는 아이템을 추천해주는 시스템은 고도화된 전자상거래 맞춤형 서비스 및 스마트 홈 등에 적용되고 있다. 그러나 이러한 추천 시스템은 다양한 사용자들의 취향이나 관심사 등에 대한 선호도를 실시간으로 반영하기 어렵다는 문제가 있다. 본 연구에서는 이러한 문제를 해소하기 위해 GRU(Gated Recurrent Unit) 언어 모델을 이용한 Fuzzy-AHP 기반 영화 추천 시스템을 제안하였다. 본 시스템에서는 사용자의 취향이나 관심사를 실시간으로 반영하기 위해 Fuzzy-AHP를 적용하였다. 또한 대중들의 관심사 및 해당 영화의 내용을 분석하여 사용자가 선호하는 요인과 유사한 영화를 추천하기 위해 GRU 언어 모델 기반의 모델을 적용하였다. 본 추천 시스템의 성능을 검증하기 위해 학습 모듈에서 사용된 스크래핑 데이터를 이용하여 학습 모델의 적합성을 측정하였으며, LSTM(Long Short-Term Memory) 언어 모델과 Epoch 당 학습 시간을 비교하여 학습 수행 속도를 측정하였다. 그 결과 본 연구의 학습 모델의 평균 교차 검증 지수가 94.8%로 적합하다는 것을 알 수 있었으며, 학습 수행 속도가 LSTM 언어 모델보다 우수함을 확인할 수 있었다.

• Nuclear Engineering and Technology
• /
• 제52권9호
• /
• pp.2009-2016
• /
• 2020

A nuclear power plant is a large complex system with tens of thousands of components. To ensure plant safety, the early and accurate diagnosis of abnormal situations is an important factor. To prevent misdiagnosis, operating procedures provide the anticipated symptoms of abnormal situations. While the more severe emergency situations total less than ten cases and can be diagnosed by dozens of key plant parameters, abnormal situations on the other hand include hundreds of cases and a multitude of parameters that should be considered for diagnosis. The tasks required of operators to select the appropriate operating procedure by monitoring large amounts of information within a limited amount of time can burden operators. This paper aims to develop a system that can, in a short time and with high accuracy, select the appropriate operating procedure and sub-procedure in an abnormal situation. Correspondingly, the proposed model has two levels of prediction to determine the procedure level and the detailed cause of an event. Simulations were conducted to evaluate the developed model, with results demonstrating high levels of performance. The model is expected to reduce the workload of operators in abnormal situations by providing the appropriate procedure to ultimately improve plant safety.

• 한국음향학회지
• /
• 제36권6호
• /
• pp.407-412
• /
• 2017

본 논문에서는 주목 메커니즘 기반의 심층 신경망을 사용한 음성 감정인식 방법을 제안한다. 제안하는 방식은 CNN(Convolution Neural Networks), GRU(Gated Recurrent Unit), DNN(Deep Neural Networks)의 결합으로 이루어진 심층 신경망 구조와 주목 메커니즘으로 구성된다. 음성의 스펙트로그램에는 감정에 따른 특징적인 패턴이 포함되어 있으므로 제안하는 방식에서는 일반적인 CNN에서 컨벌루션 필터를 tuned Gabor 필터로 사용하는 GCNN(Gabor CNN)을 사용하여 패턴을 효과적으로 모델링한다. 또한 CNN과 FC(Fully-Connected)레이어 기반의 주목 메커니즘을 적용하여 추출된 특징의 맥락 정보를 고려한 주목 가중치를 구해 감정인식에 사용한다. 본 논문에서 제안하는 방식의 검증을 위해 6가지 감정에 대해 인식 실험을 진행하였다. 실험 결과, 제안한 방식이 음성 감정인식에서 기존의 방식보다 더 높은 성능을 보였다.