• 지능정보연구
• /
• 제10권2호
• /
• pp.53-63
• /
• 2004

순환 케스케이드 코릴레이션(Recurrent Cascade Correlation(RCC))은 감독에 의하여 학습하는 알고리즘이고 네트워크의 크기와 형태는 자동으로 이루어진다. RCC는 새로운 은닉뉴런들이 한 충에 하나씩 순서대로 네트워크에 삽입되기 때문에 다층구조를 형성하고 2계(Second Order) RCC는 새로운 은닉뉴런들이 한 층에만 순서대로 생성되어 나열되므로 2층 구조를 형성한다. 따라서 이러한 은닉뉴런들끼리는 서로 연결하지 않는다. 이 논문에서는 RCC와 2계 RCC의 조합을 통한 RCC 네트워크의 일반화를 소개한다. 새로운 RCC 알고리즘은 은닉뉴런이 네트워크에 첨가될 때마다 네트워크가 수직성장 또는 수평성장을 해야 하는지를 스스로 결정한다. 또한 뉴런의 활성화를 위한 새로운 활성화함수를 소개하고 기존의 sigmoid, tanh 함수와 함께 사용하여 모스 벤치마크 문제에 관하여 실험하였다. 이러한 활성화 함수들을 사용한 RCC 네트워크의 일반화 실험에서 은닉뉴런의 숫자가 감소하였음을 알 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제21권1호
• /
• pp.1-8
• /
• 2016

Convolutional neural network (CNN) consists of a few pairs of both convolution layer and subsampling layer. Thus it has more hidden layers than multi-layer perceptron. With the increased layers, the size of convolution mask ultimately determines the total number of weights in CNN because the mask is shared among input images. It also is an important learning factor which makes or breaks CNN's learning. Therefore, this paper proposes the best method to choose the convolution size and the number of layers for learning CNN successfully. Through our face recognition with vast learning examples, we found that the best size of convolution mask is 5 by 5 and 7 by 7, regardless of the number of layers. In addition, the CNN with two pairs of both convolution and subsampling layer is found to make the best performance as if the multi-layer perceptron having two hidden layers does.

• Wind and Structures
• /
• 제18권6호
• /
• pp.619-631
• /
• 2014

This paper proposes new criteria to fix hidden neuron in Multilayer Perceptron Networks for wind speed prediction in renewable energy systems. To fix hidden neurons, 101 various criteria are examined based on the estimated mean squared error. The results show that proposed approach performs better in terms of testing mean squared errors. The convergence analysis is performed for the various proposed criteria. Mean squared error is used as an indicator for fixing neuron in hidden layer. The proposed criteria find solution to fix hidden neuron in neural networks. This approach is effective, accurate with minimal error than other approaches. The significance of increasing the number of hidden neurons in multilayer perceptron network is also analyzed using these criteria. To verify the effectiveness of the proposed method, simulations were conducted on real time wind data. Simulations infer that with minimum mean squared error the proposed approach can be used for wind speed prediction in renewable energy systems.

• 한국컴퓨터정보학회논문지
• /
• 제4권1호
• /
• pp.62-67
• /
• 1999

신경회로망은 입력층. 출력층, 하나 이상의 은닉층으로 구성된 네드워크이다. 학습능력과 근사화 능력으로 말미암아 신경회로망은 패턴인식 및 시스템제어분야에서 많이 사용되고 있다. Elman 신경회로망은 J. Elman에 의해 제안되었으며, recurrent network의 형태로 구성되어 있다. Elman 신경회로망은 기존의 신경회로망에 context층을 새로 추가하여, 은닉층의 출력을 context층의 입력으로 피드백 하는 구조로 되어 있다. 본 논문에서는 Elman 신경회로망을 변형한 형태로, 은닉층 뿐 만 아니라 출력층의 출력도 context층으로 피드백 하는 새로운 형태의 Elman 신경회로망을 제안한다. 제안한 방식의 유용성을 확인하기 위해 X-Y cartesian에 적용하여 시뮬레이션한 결과는 기존의 신경회로망 및 Elman 신경회로망 보다 우수한 방식임을 보여 주고 있다.

• 한국컴퓨터정보학회논문지
• /
• 제4권3호
• /
• pp.67-72
• /
• 1999

신경회로망은 학습능력과 근사화 능력으로 말미암아 패턴인식 및 시스템제어분야에서 많이 사용되고 있으며, 입력층. 출력층. 하나 이상의 은닉층으로 구성된 네드워크이다. Elman 신경회로망은 J. Elman에 의해 제안되었으며. recurrent network의 형태로 구성되어 있다. Elman 신경회로망은 기존의 신경회로망에 context층을 새로 추가하여, 은닉층의 출력을 context층의 입력으로 피드백 하는 구조로 되어 있다. 본 논문에서는 새로운 형태의 Elman 신경회로망을 제안한다. 제안한 방식은 Elman 신경회로망을 변형한 형태로. 은닉층 뿐 만 아니라 출력층의 출력도 context층으로 피드백 하는 형태이다. 제안한 방식의 유용성을 확인하기 위해 multi target system에 적용한다. 시뮬레이션 결과는 제안한 방식이 기존의 신경회로망 및 Elman 신경회로망 보다 우수한 방식임을 보여 주고 있다.

• 컴퓨터교육학회논문지
• /
• 제21권1호
• /
• pp.51-58
• /
• 2018

인공 신경망은 최근 다양한 분야에서 뛰어난 성능을 보여주고 있다. 하지만 인공 신경망이 학습한 지식이 정확히 어떤 내용인지를 사람이 파악하기 어렵다는 문제점이 존재하는데, 이를 해결하기 위한 방법 중 하나로 학습된 인공 신경망에서 규칙을 추출하는 방법들이 연구되고 있다. 본 연구에서는 학습된 인공 신경망으로부터 규칙을 추출하는 방법 중 하나인 ordered-attribute search(OAS) 알고리즘을 사용하여 인공 신경망으로부터 규칙을 추출해보고, 추출된 규칙을 개선하기 위해 규칙들을 분석하였다. 그 결과로 은닉 층의 출력값 분포가 OAS 알고리즘을 이용해 추출된 규칙의 정확도에 영향을 주는 것을 파악하였고, 은닉 유닛 명확화 기법을 통해 은닉 층 출력값을 이진화하여 효율적인 규칙을 추출할 수 있음을 제시하였다.

• 한국지능시스템학회논문지
• /
• 제17권6호
• /
• pp.807-812
• /
• 2007

최근 단일 은닉층을 갖는 전방향 신경회로망 구조로, 기존의 경사 기반 학습알고리즘들보다 학습 속도가 매우 우수한 ELM(Extreme Learning Machine)이 제안되었다. ELM 알고리즘은 입력 가중치들과 은닉 바이어스들의 초기 값을 무작위로 선택하고 출력 가중치들은 Moore-Penrose(MP) 일반화된 역행렬 방법을 통하여 구해진다. 그러나 입력 가중치들과 은닉층 바이어스들의 초기 값 선택이 어렵다는 단점을 갖고 있다. 본 논문에서는 최적화 알고리즘 중 박테리아 생존(Bacterial Foraging) 알고리즘의 수정된 구조를 이용하여 ELM의 초기 입력 가중치들과 은닉층 바이어스들을 선택하는 개선된 방법을 제안하였다. 실험을 통하여 제안된 알고리즘이 많은 입력 데이터를 가지는 문제들에 대하여 성능이 우수함을 보였다.

• The Journal of the Acoustical Society of Korea
• /
• 제17권2E호
• /
• pp.26-30
• /
• 1998

In this paper, we compose neural network predictive HMM(NNPHMM) to provide the dynamic feature of the speech pattern for the HMM. The NNPHMM is the hybrid network of neura network and the HMM. The NNPHMM trained to predict the future vector, varies each time. It is used instead of the mean vector in the HMM. In the experiment, we compared the recognition abilities of the one hundred Korean syllables according to the variation of hidden layer, state number and prediction orders of the NNPHMM. The hidden layer of NNPHMM increased from 10 dimensions to 30 dimensions, the state number increased from 4 to 6 and the prediction orders increased from 10 dimensions to 30 dimension, the state number increased from 4 to 6 and the prediction orders increased from the second oder to the fourth order. The NNPHMM in the experiment is composed of multi-layer perceptron with one hidden layer and CMHMM. As a result of the experiment, the case of prediction order is the second, the average recognition rate increased 3.5% when the state number is changed from 4 to 5. The case of prediction order is the third, the recognition rate increased 4.0%, and the case of prediction order is fourth, the recognition rate increased 3.2%. But the recognition rate decreased when the state number is changed from 5 to 6.

• 한국음향학회지
• /
• 제40권2호
• /
• pp.148-154
• /
• 2021

문장 독립 화자 인증 연구에서는 일반화 성능 향상을 위해 문장 정보와 독립적인 화자 특징을 추출하는 것이 필수적이다. 그렇지만 심층 신경망은 학습 데이터에 의존적이므로, 동일한 시계열 정보를 반복 학습할 경우, 화자 정보를 학습하는 대신 문장 정보에 과적합 될 수 있다. 본 논문에서는 이러한 과적합을 방지하기 위해 시간 축으로 입력층 혹은 은닉층을 분할 및 무작위 재배열하여 시계열 정보의 순서를 뒤섞는 세그멘트 단위 혼합 계층을 제안한다. 세그멘트 단위 혼합 계층은 입력층 뿐만 아니라 은닉층에도 적용이 가능하므로, 입력층에서의 일반화 기법에 비해 효과적이라 알려진 은닉층에서의 일반화 기법으로 활용이 가능하며, 기존의 데이터 증강 방법과 동시에 적용할 수도 있다. 뿐만아니라, 세그멘트의 단위 크기를 조절하여 혼합의 정도를 조절할 수도 있다. 본 논문에서는 제안한 방법을 적용하여 문장 독립 화자 인증 성능이 개선됨을 확인하였다.

• 설비공학논문집
• /
• 제12권11호
• /
• pp.1038-1047
• /
• 2000

The objective of this study is to develop an optimized Artificial Neural Network(ANN) model to predict the descending time of room air temperature. For this, program for predicting room air temperature and ANN program using generalized delta rule were collected through simulation for predicting room air temperature. ANN was trained and the ANN model having the optimized values-learning rate, moment, bias, number of hidden layer, and number of neuron of hidden layer was presented.