• 전자공학회논문지B
• /
• 제31B권7호
• /
• pp.211-218
• /
• 1994

Stochastic computation employs random pulse streams to represent numbers. In this paper, we study a new method to implement the number system which uses the ratio of the numbers of ones and zeros in the pulse streams. In this number system. if P is the probability that a pulse is one in a pulse stream then the number X represented by the pulse stream is defined as P/(1-P). We propose circuits to implement the basic operations such as addition multiplication and sigmoid function with this number system and examine the error characteristics of such operations in stochastic computation. We also propose a neuron model and derive a learning algorithm based on backpropagation for the 3-layered feedforward neural networks. We apply this learning algorithm to a digit recognition problem. To analyze the results, we discuss the errors due to the variance of the random pulse streams and the quantization noise of finite length register.

• Korean Journal of Hydrosciences
• /
• 제4권
• /
• pp.1-9
• /
• 1993

It is a major objective for the management and operation of water resources system to forecast streamflows. The applicability of artificial neural network model to hydrologic system is analyzed and the performance is compared by statistical method with observed. Multi-layered perception was used to model rainfall-runoff process at Pyung Chang River Basin in Korea. The neural network model has the function of learning the process which can be trained with the error backpropagation (EBP) algorithm in two phases; (1) learning phase permits to find the best parameters(weight matrix) between input and output. (2) adaptive phase use the EBP algorithm in order to learn from the provided data. The generalization results have been obtained on forecasting the daily and hourly streamflows by assuming them with the structure of ARMA model. The results show validities in applying to hydrologic forecasting system.

• 전자공학회논문지C
• /
• 제36C권3호
• /
• pp.58-64
• /
• 1999

진화 프로그래밍은 두 가지 요소로 특징지을 수 있다. 하나는 선택 방법이고 나머지는 돌연변이 규칙이다. 본 논문에서는 신경회로망의 역전파 학습 알고리듬을 이용하여 돌연변이 연산을 수행하는 새로운 진화 프로그래밍 알고리듬을 제안한다. 신경회로망의 학습 알고리듬에서 현재 오차는 진화 프로그래밍의 개체가 진화해 나가야 할 방향을 지정해 주고, 관성은 개체의 변이에 지금까지의 진화 경향을 더해 주어서 빠르게 전역 최적해를 찾도록 하였다. 표준 테스트 함수를 이용하여 제안된 알고리듬의 성능과 강건함을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제9권5호
• /
• pp.490-495
• /
• 1999

본 논문에서는 보로노이 다이아그램을 이용하여 오류 역전파 신경망의 초기값을 결정할수 있는 VoD_EBP를 제안하였다. VoD_EBP는 초기 연결 가중치와 임계값을 공학적 계산방법으로 결정함으로써 기존의 EBP에서 자주 발생하는 학습 마비 현상을 피할수 있고 초기부터 빠른 속도로 학습이 진행되므로 학습횟수를 단축시킬수 있다, 또한 VoD_EBP는 은닉층의 노드 수를 보로노이 다각형으로 구분된 클러스터들의 개수로 정할 수있어 신경망 설계에 신뢰성을 향상시켰다. 제시된 VoD_EBP의 효율성을 입증하기 위해 간단한 실험으로 2차원 입력벡터를 갖는 XOR 문제와 3차원 패리티 코드 검출 문제에 대하여 적용하여 보았다. 그 결과 임의의 초기값으로 설정하였던 EBP보다 훨씬 빠르게 학습이 종료되었고, 지역 최소치에 빠져 학습이 진행되지 못하는 현상이 발생하지 않았다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
• /
• pp.616-618
• /
• 2002

MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 몇 가지 이점이 있어 다양한 문제영역에서 사용되고 있다 그러나 MLP의 학습에 일반적으로 사용되는 EBP(error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있으며, 이는 실시간 처리를 요구하는 문제나 대규모 데이터 및 MLP 구조로 인해 학습시간이 상당히 긴 문제에서 제약으로 작용한다. 패턴인식에 사용되는 학습데이터는 풍부한 중복특성을 내포하고 있으므로 패턴마다 MLP의 내부변수를 갱신하는 은라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 EBP 알고리즘에서는 내부 가중치 갱신시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 응용에서 상당한 속도개선을 얻을 수 있지만, 학습률을 고정함으로써 온라인 방식에서 패턴별 갱신의 특성을 완전히 활용하지 못하는 비효율성이 발생한다. 또한, 학습도중 패턴군이 학습된 패턴과 그렇지 못한 패턴으로 나뉘고 이 가운데 학습된 패턴은 학습을 위한 계산에 포함될 필요가 없음에도 불구하고, 기존의 온라인 EBP에서는 에폭에 할당된 모든 패턴을 일률적으로 계산에 포함시킨다. 이 문제에 대해 본 논문에서는 학습이 진행됨에 따라 패턴마다 적절한 학습률을 적용하고 필요한 패턴만을 학습에 반영하는 패턴별 가변학습률 및 학습생략(COIL) 방댑을 제안한다. 제안한 COIL의 성능을 입증하기 위해 화자증명과 음성인식을 실험하고 그 결과를 제시한다.

• 한국정보처리학회논문지
• /
• 제7권2호
• /
• pp.552-557
• /
• 2000

본 논문에서는 신경망의 초기 파라미터(가중치, 바이어스) 값을 최적화 시키는 GA-BP(Genetic Algorithm-Backpropagation Network) 혼합 알고리즘을 이용하여 얼굴을 인식하는 방법을 제안하였다. 입력 영상의 각 픽셀들을 신경망의 입력으로 사용하고 고정 소수점 실수값으로 이루어진 신경망의 초기 파리미터 값은 유전자 알고리즘의 개체로 사용하기 위해 비트 스트링으로 변환한다. 신경망의 오차가 최소가 되는 값을 적합도로 정의한 뒤 새롭게 정의된 적응적 재학습 연산자를 이용하여 이를 평가해 최적의 진환된 신경망을 구성한 뒤 얼굴을 인식하는 실험을 하였다. 실험 결과 학습 수렴 속도의 비교에서는 오류 역전과 알고리즘 단독으로 실행한 수렴 속도보다 제안된 알고리즘의 수렴 속도가 향상된 결과를 보였고 인식률에서 오류 역전과 알고리즘 단독으로 실행한 방법보다 2.9% 향상된 것으로 나타났다.

• 전자공학회논문지B
• /
• 제32B권1호
• /
• pp.50-63
• /
• 1995

In this paper, we propose a face recognition method using a neuro-fuzzy algorithm. In the preprocessing step, we extract the face part from the background image by tracking face boundaries. Then based on the a priori knowledge of human faces we extract the features such as widths of eyes and mouth, and distances from eye to nose and nose to mouth. In the recognition step. We use a neuro-fuzzy algorithm that employs a fuzzy membership function and modified error backpropagation algorithm. The former absorbs the variation of feature values and the latter shows good learning efficiency. Computer simulation results with 20 persons show that the proposed method gives higher recognition rate than the conventional ones.

• 한국전기전자재료학회:학술대회논문집
• /
• 한국전기전자재료학회 2008년도 하계학술대회 논문집 Vol.9
• /
• pp.525-526
• /
• 2008

For measuring nonlinear Vehicle Modeling based on 7-Depth Sensor, the neural networks are proposed m adaptive and in realtime. The structure of it is similar to recurrent neural networks; a delayed output as the input and a delayed error between the output of plant and neural networks as a bias input. In addition, we compute the desired value of hidden layer by an optimal method instead of transfering desired values by backpropagation and each weights are updated by RLS(Recursive Least Square). Consequently, this neural networks are not sensitive to initial weights and a learning rate, and have a faster convergence rate than conventional neural networks. This new neural networks is Error Estimated Neural Networks. We can estimate nonlinear models in realtime by the proposed networks and control nonlinear models.

• 지능정보연구
• /
• 제22권2호
• /
• pp.127-142
• /
• 2016

딥러닝은 인공신경망(neural network)이라는 인공지능분야의 모형이 발전된 형태로서, 계층구조로 이루어진 인공신경망의 내부계층(hidden layer)이 여러 단계로 이루어진 구조이다. 딥러닝에서의 주요 모형은 합성곱신경망(convolutional neural network), 순환신경망(recurrent neural network), 그리고 심층신뢰신경망(deep belief network)의 세가지라고 할 수 있다. 그 중에서 현재 흥미로운 연구가 많이 발표되어서 관심이 집중되고 있는 모형은 지도학습(supervised learning)모형인 처음 두 개의 모형이다. 따라서 본 논문에서는 지도학습모형의 가중치를 최적화하는 기본적인 방법인 오류역전파 알고리즘을 살펴본 뒤에 합성곱신경망과 순환신경망의 구조와 응용사례 등을 살펴보고자 한다. 본문에서 다루지 않은 모형인 심층신뢰신경망은 아직까지는 합성곱신경망 이나 순환신경망보다는 상대적으로 주목을 덜 받고 있다. 그러나 심층신뢰신경망은 CNN이나 RNN과는 달리 비지도학습(unsupervised learning)모형이며, 사람이나 동물은 관찰을 통해서 스스로 학습한다는 점에서 궁극적으로는 비지도학습모형이 더 많이 연구되어야 할 주제가 될 것이다.

• 전자공학회논문지C
• /
• 제35C권2호
• /
• pp.56-64
• /
• 1998

Multi-layered perceptrons that are a nonlinear neural network model, have been widely used for various applications mainly thanks to good function approximation capability for nonlinear fuctions. However, for digital hardware implementation of the multi-layere perceptrons, the quantization scheme using "look-up tables (LUTs)" is commonly employed to handle nonlinear signmoid activation functions in the neworks, and thus requires large amount of storage to prevent unacceptable quantization errors. This paper is concerned with a new effective methodology for digital hardware implementation of multi-layered perceptrons, and proposes a "piecewise affine approximation" method in which input domain is divided into (small number of) sub-intervals and nonlinear sigmoid function is linearly approximated within each sub-interval. Using the proposed method, we develop an expression and an error backpropagation type learning algorithm for a multi-layered perceptron, and compare the performance with the quantization method through Monte Carlo simulations on XOR problems. Simulation results show that, in terms of learning convergece, the proposed method with a small number of sub-intervals significantly outperforms the quantization method with a very large storage requirement. We expect from these results that the proposed method can be utilized in digital system implementation to significantly reduce the storage requirement, quantization error, and learning time of the quantization method.quantization method.