• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.125-130
• /
• 2019

최근 순환신경망은 여러 자연어처리 분야에서 좋은 성능을 보이고 있다. 하지만 순환신경망의 복잡한 네트워크 구조 때문에 순환신경망이 어떠한 근거로 예측 결과를 제시했는지 해석하기 어려운 문제점이 있다. 따라서, 순환신경망이 적용된 자연어처리 시스템이 도출한 결과의 타당성을 제공하고 자연어처리 시스템에 중요한 자질을 선별하기 위한 연구가 필요하다. 본 논문에서는 자연어처리 분야의 하나인 감성분석에서 순환신경망의 예측을 분석한다. 학습된 감성분석 시스템의 예측을 해석하기 위해 입력 자질에 대한 민감도 분석을 수행하고 이를 어텐션 메커니즘과 비교하고 그 결과에 대해 설명한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.11a
• /
• pp.13-16
• /
• 2016

본 논문에서는 순환 신경망을 이용하여 동영상에서의 배경과 전경을 구분하는 알고리즘을 제안한다. 순환 신경망은 일련의 순차적인 입력에 대해서 내부의 루프(loop)를 통해 이전 입력에 의한 정보를 지속할 수 있도록 구성되는 신경망을 말한다. 순환 신경망의 여러 구조들 가운데, 우리는 장기적인 관계에도 반응할 수 있도록 장단기 기억 신경망(Long short-term memory networks, LSTM)을 사용했다. 그리고 동영상에서의 시간적인 연결 뿐 아니라 공간적인 연관성도 배경과 전경을 판단하는 것에 영향을 미치기 때문에, 공간적 순환 신경망을 적용하여 내부 신경망(hidden layer)들의 정보가 공간적으로 전달될 수 있도록 신경망을 구성하였다. 제안하는 알고리즘은 기본적인 배경차분 동영상에 대해 기존 알고리즘들과 비교할만한 결과를 보인다.

• Journal of Practical Engineering Education
• /
• v.14 no.3
• /
• pp.491-498
• /
• 2022

In this paper, as a liberal arts course for non-major students, a case study of recurrent neural network SW practice, which is essential for designing a basic recurrent neural network subject curriculum, was developed. The developed SW practice case focused on understanding the operation principle of the recurrent neural network, and used a spreadsheet to check the entire visualized operation process. The developed recurrent neural network practice case consisted of creating supervised text completion training data, implementing the input layer, hidden layer, state layer (context node), and output layer in sequence, and testing the performance of the recurrent neural network on text data. The recurrent neural network practice case developed in this paper automatically completes words with various numbers of characters. Using the proposed recurrent neural network practice case, it is possible to create an artificial intelligence SW practice case that automatically completes by expanding the maximum number of characters constituting Korean or English words in various ways. Therefore, it can be said that the utilization of this case of basic practice of recurrent neural network is high.

• Communications for Statistical Applications and Methods
• /
• v.5 no.3
• /
• pp.599-605
• /
• 1998

본 연구에서는 단순구조 순환신경망을 이용한 신경망예측과 전통적인 시계열예측 방법을 이용하여, 순환변동이 있는 시계열자료의 단기예측 오차를 비교한다. 순환신경망모형의 입력자료를 변화시키는 개선된 학습방법을 적용하여 시계열자료를 학습하고, 신경망예측의 결과는 선형 AR(9)모형, 비선형 SETAR모형 그리고 이들의 결합모형을 이용한 예측결과와 비교한다. 실증분석에 적용된 시계열자료는 1700년부터 1987년 까지의 태양흑점 자료이며 예측에 이용된 검정자료는 1980년부터 8년 간의 자료이다.

• Journal of Korea Water Resources Association
• /
• v.51 no.12
• /
• pp.1217-1227
• /
• 2018

This paper aims to evaluate the applicability of dam inflow prediction model using recurrent neural network theory. To achieve this goal, the Artificial Neural Network (ANN) model and the Elman Recurrent Neural Network(RNN) model were applied to hydro-meteorological data sets for the Soyanggang dam and the Chungju dam basin during dam operation period. For the model training, inflow, rainfall, temperature, sunshine duration, wind speed were used as input data and daily inflow of dam for 10 days were used for output data. The verification was carried out through dam inflow prediction between July, 2016 and June, 2018. The results showed that there was no significant difference in prediction performance between ANN model and the Elman RNN model in the Soyanggang dam basin but the prediction results of the Elman RNN model are comparatively superior to those of the ANN model in the Chungju dam basin. Consequently, the Elman RNN prediction performance is expected to be similar to or better than the ANN model. The prediction performance of Elman RNN was notable during the low dam inflow period. The performance of the multiple hidden layer structure of Elman RNN looks more effective in prediction than that of a single hidden layer structure.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.26-27
• /
• 2021

본 논문에서는 자막방송 제공을 위해 방송콘텐츠를 이해하는 방법으로 잔차 합성곱 순환신경망 기반 음향 사건 분류 기법을 제안한다. 제안된 기법은 잔차 합성곱 신경망과 순환 신경망을 연결한 구조를 갖는다. 신경망의 입력 특징으로는 멜-필터벵크 특징을 활용하고, 잔차 합성곱 신경망은 하나의 스템 블록과 5개의 잔차 합성곱 신경망으로 구성된다. 잔차 합성곱 신경망은 잔차 학습으로 구성된 합성곱 신경망과 기존의 합성곱 신경망 대비 특징맵의 표현 능력 향상을 위해 합성곱 블록 주의 모듈로 구성한다. 추출된 특징맵은 순환 신경망에 연결되고, 최종적으로 음향 사건 종류와 시간정보를 추출하는 완전연결층으로 연결되는 구조를 활용한다. 제안된 모델 훈련을 위해 라벨링되지 않는 데이터 활용이 가능한 평균 교사 모델을 기반으로 훈련하였다. 제안된 모델의 성능평가를 위해 DCASE 2020 챌린지 Task 4 데이터 셋을 활용하였으며, 성능 평가 결과 46.8%의 이벤트 단위의 F1-score를 얻을 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.617-620
• /
• 2016

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하고, 컨볼루션 신경망 층의 출력을 임베딩 층뿐만 아니라 멀티 모달 층에도 연결함으로써, 캡션 문장 생성을 위한 매 단계마다 이미지의 시각 정보를 이용할 수 있는 연결 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 우수성을 입증하였다.

• The Journal of the Convergence on Culture Technology
• /
• v.9 no.1
• /
• pp.649-654
• /
• 2023

This paper proposes the design of a neural network structure search model using graph convolutional neural networks. Deep learning has a problem of not being able to verify whether the designed model has a structure with optimized performance due to the nature of learning as a black box. The neural network structure search model is composed of a recurrent neural network that creates a model and a convolutional neural network that is the generated network. Conventional neural network structure search models use recurrent neural networks, but in this paper, we propose GC-NAS, which uses graph convolutional neural networks instead of recurrent neural networks to create convolutional neural network models. The proposed GC-NAS uses the Layer Extraction Block to explore depth, and the Hyper Parameter Prediction Block to explore spatial and temporal information (hyper parameters) based on depth information in parallel. Therefore, since the depth information is reflected, the search area is wider, and the purpose of the search area of the model is clear by conducting a parallel search with depth information, so it is judged to be superior in theoretical structure compared to GC-NAS. GC-NAS is expected to solve the problem of the high-dimensional time axis and the range of spatial search of recurrent neural networks in the existing neural network structure search model through the graph convolutional neural network block and graph generation algorithm. In addition, we hope that the GC-NAS proposed in this paper will serve as an opportunity for active research on the application of graph convolutional neural networks to neural network structure search.

• Journal of Institute of Control, Robotics and Systems
• /
• v.1 no.1
• /
• pp.33-37
• /
• 1995

순환 신경회로망의 응용에서 종종 대두되는 국지극소점을 확인하고 제거하는 효과적인 방법을 제안한다. 신경망의 학습과정에서 밝혀지는 국지극소점에 대하여 부상관성을 부과하여 에너지표면을 재조정함으로서 원하는 상태에서 회로망이 안정에 도달하게 한다. 이때 의사상태(spurious states)는 안정조건을 적용함으로서 확인되는데 이과정은 특별히 설계된 병렬회로에 의하여 효율적으로 처리된다. 이와같은 부학습(unlearning)의 결과로서 순환신경망의 저장용량과 수렴성능의 개선을 이룰수 있다.

• Journal of the Korea Society of Computer and Information
• /
• v.16 no.6
• /
• pp.61-70
• /
• 2011

In this paper, it is realized an image filter for a noise elimination using a recurrent neural networks with fuzzy. The proposed fuzzy neural networks structure is to converge weights and the number of iteration for a certain value by using basically recurrent neural networks structure and is simplified computation and complexity of mathematics by applying the hybrid fuzzy membership function operator. In this paper, the proposed method, the recurrent neural networks applying fuzzy which is collected a certain value, has been proved improving average 0.38dB than the conventional method, the generalied recurrent neural networks, by using PSNR. Also, a result image of the proposed method was similar to the original image than a result image of the conventional method by comparing to visual images.