• Journal of KIISE:Software and Applications
• /
• v.27 no.11
• /
• pp.1082-1087
• /
• 2000

신경회로망 구조의 정제(精製)는 회로망의 일반화능력이나 효율성의 관점에서 중요한 문제이다. 본 논문에서는 feed-forward neural networks로부터 은닉지식을 추출하는 방법을 사용하여 네트워크 재구성을 통한 정제방법을 제안한다. 먼저, 효율적인 if-then rule 추출방법을 제시하고 그 추출된 룰들을 사용하여 룰기반 네트워크로 변환하는 과정을 보여준다. 생성된 룰기반 네트워크 fully connected network에 비하여 상당히 축소된 연결 복잡도를 가지게 되며 일반적으로 더 우수한 일반화능력을 가지게 된다. 본 연구는 도메인 지식이 없이 데이타만 사용하여 어떻게 정제된 룰기반 신경망회로를 생성하고 있는가를 보여준다. 도메인 데이타들에 대한 실험결과도 제시하였다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 1998.03a
• /
• pp.53-56
• /
• 1998

본 논문에서의 공학적인 체계성을 갖고 초기 연결 가중치 및 임계치를 결정해 주면서, 학습까지 가능한 신경망을 제안한다. 기존의 오류 역전파 신경망을 적용할 때 경험에 의하여 은닉층 노드수를 결정하거나 임의의 실수 값으로 초기 연결 가중치 및 임계값을 주었을 때 자주 발생하는 학습 마비 현상을 피할 수 있고, Bose가 제안된 Voronoi 공간 분류에 의한 신경망 구성에서 학습이 불가능하다는 제안적인 단점을 보안하였다. 초기 가중치는 Voronoi 공간 분류가 이루어져 있다고 할 때 Bose가 제안한 초기 가중치 결정법을 개선하여 사용하고, Bose의 경우 신경망 노드가 Step function을 이용하여 정보를 전달하였으나 본 연구에서는 학습이 가능한 함수인 Sigmoid function을 이용하였다. 제안된 새로운 신경망의 성능 및 효율성을 비교하기 위하여 선형분리가 불가능한 XOR문제를 실험한 결과, 기존의 학습 가능한 EBP에서 허용오차 0.05 수준일 때 80%정도 학습마비 현상이 발생하였던 심각한 문제점을 보완할 수 있었고, 또한 학습 속도면에서 8~9배 정도 빠른 성능을 나타내었다.

• The Korean Journal of Applied Statistics
• /
• v.37 no.3
• /
• pp.297-309
• /
• 2024

This paper evaluates the performance of the neural network autoregressive model combined with an exponential smoothing model, called the NNARX+ETS model. The combined model utilizes the components of ETS as exogenous variables for NNARX, to forecast time series data using artificial neural networks. The main idea is to enhance the performance of NNAR using only lags of the original time series data, by combining traditional time series analysis methods with the neural networks through NNARX. We employ two real data for performance evaluation and compare the NNARX+ETS with NNAR and traditional time series analysis methods such as ETS and ARIMA (autoregressive integrated moving average) models.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.62-65
• /
• 2018

신경망은 깊어질수록 gradient vanishing/exploding과 같은 네트워크가 불안정해지는 문제가 발생 한다. 잔차 블록을 이용하여 이러한 문제를 해결 할 수 있다. 본 논문에서는 영상 인식 분야에서 훌륭한 성능을 보여준 잔차 블록 기반의 깊은 합성곱 신경망을 통한 단일 영상 초해상도 복원 기법을 제안 한다. 제안한 알고리듬은 EDSR에 사용된 잔차 블록을 다양한 크기의 합성곱 연산을 통해 영상의 특징들을 다르게 분석하도록 수정하고 VDSR과 비슷한 수준의 복잡도로 구성하여 향상된 성능을 얻었다. 실험 결과, VDSR에 비해 PSNR이 최대 0.1dB까지 증가했다.

• Journal of KIISE:Software and Applications
• /
• v.29 no.5
• /
• pp.289-294
• /
• 2002

It is known that restructuring feed-forward neural network affects generalization capability and efficiency of the network. In this paper, we introduce a new approach to restructure a neural network using abstraction of the hidden knowledge that the network has teamed. This method involves extracting local rules from non-input nodes and aggregation of the rules into global rule base. The extracted local rules are used for pruning unnecessary connections of local nodes and the aggregation eliminates any possible redundancies arid inconsistencies among local rule-based structures. Final network is generated by the global rule-based structure. Complexity of the final network is much reduced, compared to a fully-connected neural network and generalization capability is improved. Empirical results are also shown.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.342-344
• /
• 1999

신경트리(evolutionary neural trees)는 트리 구조의 신경망 모델로서 진화 알고리즘으로 학습하기에 적합한 구조이다. 본 연구에서는 진화 신경트리를 시계열 예측에 적용하였다. 시계열 데이터는 대개 잡음이 포함되어 있으며 동역학적인 특성을 지닌다. 본 논문에서는 견고한 예측 결과를 획득하기 위해 한 개의 신경트리가 아닌 여러개의 신경트리를 결합하여 예측 모델을 구성하는 committee machine을 소개한다. 출력 패턴가에 correlation이 최소가 되도록 상이한 신경트리를 선택하여 결합함으로써 모델 결합 효과를 최대화하는 방법을 사용하였다. 인공적인 잡음을 포함한 시계열 예측 문제와 실세계 데이터에 대한 실험에서 예측에 대한 정확도가 단일 모델을 사용한 경우 보다 향상되었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.55-58
• /
• 2018

본 논문에서는 가이디드 영상 필터를 (guided image filter) 이용하여 컨볼루션 신경망 (convolutional neural network) 을 이용한 역 톤 매핑 (inver tone - mapping; iTMO) 기법의 결과를 향상 시킬 수 있는 알고리듬을 제안한다. 기존 low dynamic range (LDR ) 영상을 high dynamic range (HDR ) 디스플레이에서 표현할 수 있는 역 톤 매핑 기법이 과거부터 계속 제안되어 왔다. 최근에 컨볼루션 신경망을 이용하여 단일 LDR 영상만으로 넓은 동적 범위 (dynamic range) 를 가진 HDR 영상으로 변환하는 알고리듬이 많이 연구되었다. 기존의 알고리듬 중 포화 영역 (saturated region) 으로 인해 잃어버린 화소 정보를 학습된 컨볼루션 신경망을 이용해서 복원하는 알고리듬은 그 효과가 좋지만 포화 영역이 아닌 부분의 잡음을 제거하지 못하며 포화 영역의 디테일을 복원하지 못한다. 제안한 알고리듬은 입력 영상에 가중치 기반 가이디드 영상 필터를 사용해서 비포화 영역의 잡음을 제거하고 포화 영역의 디테일을 복원시킨 다음 컨볼루션 신경망에 인가하여 결과 영상의 품질을 개선하였다. 제안하는 알고리듬은 실험을 통해서 기존의 알고리듬에 비해 높은 정량적 화질 평가 지수를 나타내었고, 기존의 알고리듬에 비해 세부 사항을 효과적으로 복원할 수 있음을 확인할 수 있었다.

• The Journal of Bigdata
• /
• v.4 no.2
• /
• pp.35-45
• /
• 2019

Recently, the damage with social cost of malicious comments is increasing. In addition to the news of talent committing suicide through the effects of malicious comments. The damage to malicious comments including abusive language and slang is increasing and spreading in various type and forms throughout society. In this paper, we propose a technique for detecting abusive language using a bi-directional long short-term memory neural network model. We collected comments on the web through the web crawler and processed the stopwords on unused words such as English Alphabet or special characters. For the stopwords processed comments, the bidirectional long short-term memory neural network model considering the front word and back word of sentences was used to determine and detect abusive language. In order to use the bi-directional long short-term memory neural network, the detected comments were subjected to morphological analysis and vectorization, and each word was labeled with abusive language. Experimental results showed a performance of 88.79% for a total of 9,288 comments screened and collected.

• Journal of Broadcast Engineering
• /
• v.24 no.4
• /
• pp.633-642
• /
• 2019

Recently, the convolution neural network (CNN) model at a single image super-resolution (SISR) have been very successful. The residual learning method can improve training stability and network performance in CNN. In this paper, we propose a SISR using recursive residual network architecture by introducing dense skip connections for learning nonlinear mapping from low-resolution input image to high-resolution target image. The proposed SISR method adopts a method of the recursive residual learning to mitigate the difficulty of the deep network training and remove unnecessary modules for easier to optimize in CNN layers because of the concise and compact recursive network via dense skip connection method. The proposed method not only alleviates the vanishing-gradient problem of a very deep network, but also get the outstanding performance with low complexity of neural network, which allows the neural network to perform training, thereby exhibiting improved performance of SISR method.

• KIPS Transactions on Computer and Communication Systems
• /
• v.12 no.2
• /
• pp.53-60
• /
• 2023

Recently, the demand and traffic volume for various multimedia contents are rapidly increasing through real-time streaming platforms. In this paper, we predict real-time streaming traffic to improve the quality of service (QoS). Statistical models have been used to predict network traffic. However, since real-time streaming traffic changes dynamically, we used recurrent neural network-based deep learning models rather than a statistical model. Therefore, after the collection and preprocessing for real-time streaming data, we exploit vanilla RNN, LSTM, GRU, Bi-LSTM, and Bi-GRU models to predict real-time streaming traffic. In evaluation, the training time and accuracy of each model are measured and compared.