• Communications for Statistical Applications and Methods
• /
• v.4 no.1
• /
• pp.91-99
• /
• 1997

본 연구에서는 신경망이론을 이용하여 시계열자료를 분석할 때 문제가 되고 있는 초기 가중값을 선정하는 방법을 제시하고자 한다. 기존의 연구에서 학습을 위한 초기 가중값의 결정은 난수에 의존하고 있다. 본 연구에서는 신경망학습의 효율적인 초기값을 선택하기 위하여 제어상자를 이용한다. 그리고 학습과정에서 가중값의 변화를 추적하고 적절한 가중값의 범위를 탐색하면서 새로운 초기값을 제어상자를 통하여 실시간으로 재설정하는 방법을 제시한다.

• Proceedings of the IEEK Conference
• /
• 2003.07d
• /
• pp.1275-1278
• /
• 2003

본 논문에서는 오차 역전파 알고리즘의 전역 최소값을 찾지 못하는 문제점에 대해서 설명하였고, 이 문제를 해결하기 위한 방법으로 유전자 알고리즘에 대해서 설명하였다. 오차 역전파 알고리즘은 기본적으로 경도 하강법을 따른다. 따라서 신경망의 각 가중값 행렬이 만드는 고차의 오차 평면이 대부분의 문제에서 다수의 국부 최소값들을 가지는게 일반적인데, 가중값의 변화가 한방으로 진행하기 시작하여, 오차가 증가되어지는 언덕이 학습 계수보다 크다면 더 이상 학습은 진행되지 않고 거기에서 빠져나가지 못한다. 따라서 초기의 위치가 중요한 역할을 하는데, 이 문제를 해결하기 위해서 유전자 알고리즘을 이용한 신경망 초기화 방법을 제안하였다. 끝으로, 간단한 실험으로 제안된 방법을 구현하고 결과에 대해서 논하였다

• Proceedings of the Korea Information Processing Society Conference
• /
• 2004.11a
• /
• pp.493-496
• /
• 2004

본 연구에서는 신경망 학습의 중요한 평가 척도로써 고려될 수 있는 일반화 성능과 학습속도를 개선시키기 위한 방안으로써 초기 가중값과 학습률과 같은 주요 인자들을 이용한 신경망 학습 영향을 살펴본다. 특히 초기 가중값과 학습률을 고정시킨 후 새롭게 조정된 계수들을 점차적으로 변화시키는 새로운 인자 결합방법을 이용하여 신경망 학습량과 학습속도를 비교해 보고 계수조정을 통한 개선된 학습 영향을 살펴본다. 그리고 단순한 예제를 이용한 실증분석을 통하여 신경망 모형의 일반화 성능과 학습 속도 개선을 위한 각 인자들의 개별 효과와 결합 효과를 살펴보고 그 개선 방안을 제시한다.

• The Korean Journal of Applied Statistics
• /
• v.26 no.5
• /
• pp.847-856
• /
• 2013

We propose a modified learning process for generalized neural network using a learning algorithm by Liu et al. (2001). We consider the effect of initial weights, training results and learning errors using a modified learning process. We employ an incremental training procedure where training patterns are learned systematically. Our algorithm starts with a single training pattern and a single hidden layer neuron. During the course of neural network training, we try to escape from the local minimum by using a weight scaling technique. We allow the network to grow by adding a hidden layer neuron only after several consecutive failed attempts to escape from a local minimum. Our optimization procedure tends to make the network reach the error tolerance with no or little training after the addition of a hidden layer neuron. Simulation results with suitable initial weights indicate that the present constructive algorithm can obtain neural networks very close to minimal structures and that convergence to a solution in neural network training can be guaranteed. We tested these algorithms extensively with small training sets.

• The KIPS Transactions:PartB
• /
• v.12B no.3 s.99
• /
• pp.343-348
• /
• 2005

The goal of this paper is to study the joint effect of factors of neural network teaming procedure. There are many factors, which may affect the generalization ability and teaming speed of neural networks, such as the initial values of weights, the learning rates, and the regularization coefficients. We will apply a constructive training algerian for neural network, then patterns are trained incrementally by considering them one by one. First, we will investigate the effect of these factors on generalization performance and learning speed. Based on these factors' effect, we will propose a joint method that simultaneously considers these three factors, and dynamically hue the learning rate and regularization coefficient. Then we will present the results of some experimental comparison among these kinds of methods in several simulated nonlinear data. Finally, we will draw conclusions and make plan for future work.

• Journal of KIISE:Software and Applications
• /
• v.28 no.4
• /
• pp.338-345
• /
• 2001

본 연구에서는 시계열자료를 예측하기 위해 적용한 n$\times$n$\times$1 신경망 구조에서 초기값의 시각적인 선택을 통한 개선된 학습과정을 제안한다. 적용된 Easton[1]의 제어상자는 시각적인 면과 실용적인 적용측면에서 다차원 구조를 논의하기에는 제한적이지만, 적은 개수의 은닉노드를 갖는 단순한 신경망구조에서는 초기 가중값들의 동적인 선택을 통하여 가능한 빨리 효과적인 학습이 이루어질 수 있게 할 수 있다. 신경망 학습의 오차 판단기준은 기존의 평균제곱오차(MSE)를 고려한다. 실증연구에는 모의생성된 ARMA(1,0) 자료와 담배생산량 자료를 이용한다.

• Journal of Internet Computing and Services
• /
• v.5 no.4
• /
• pp.115-124
• /
• 2004

This paper presents a weighted fuzzy backward reasoning algorithm for rule-based systems based on weighted fuzzy Petri nets. The fuzzy production rules in the knowledge base of a rule-based system are modeled by weighted fuzzy Petri nets, where the truth values of the propositions appearing in the fuzzy production rules and the certainty factors of the rules are represented by fuzzy numbers. Furthermore, the weights of the propositions appearing in the rules are also represented by fuzzy numbers. The proposed weighted fuzzy backward reasoning generates the backward reasoning path from the goal node to the initial nodes and then evaluates the certainty factor of the goal node. The algorithm we proposed can allow the rule-based systems to perform weighted fuzzy backward reasoning in more flexible and human-like manner.

• The Korean Journal of Applied Statistics
• /
• v.13 no.2
• /
• pp.447-455
• /
• 2000

We propose a weighted kernel pattern recognition method using the K -means clustering algorithm to reduce computation and storage required for the full kernel classifier. This technique finds a set of reference vectors and weights which are used to approximate the kernel classifier. Since the hierarchical clustering method implemented in the 'Weighted Parzen Window (WP\V) classifier is not able to rearrange the proper clusters, we adopt the K -means algorithm to find reference vectors and weights from the more properly rearranged clusters \Ve find that the proposed method outperforms the \VP\V method for the repre~entativeness of the reference vectors and the data reduction.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.05a
• /
• pp.337-340
• /
• 2003

다층 퍼셉트론(Multi-Layer Perceptron, MLP) 구조를 이용한 비선형 적합은 실제문제에 매우 다양하게 적용되고 있다. 이때 일반화된 MLP 구조의 적합을 위해서는 은닉노드의 개수 초기 가중값 그리고 학습 회수와 같은 구조인자들을 함께 고려해야 한다. 만약 구조인자들이 부적절하게 선택되었다면 일반화된 MLP 구조의 적합효율이 매우 저하될 수 있다. 그러므로 MLP 구조에 영향을 주는 인자들의 영향을 살펴보는 것은 중요한 문제다. 이 논문에서는 제어상자(controller box)를 통한 학습결과와 더불어 MLP 구조를 일반화할 때 영향을 줄 수 있는 구조인자(factor)들의 실증분석과 이들의 상대효과를 살펴본다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2015.05a
• /
• pp.399-399
• /
• 2015

밭에서의 비점오염은 경사에 따른 토양유실과 높은 비료 시용량으로 부하가 상대적으로 높아 이에 대한 관리의 필요성이 증대되고 있다. 따라서 본 연구에서는 4개의 강우 사상에 대하여 경사지 밭에서 유출되는 오염물질의 농도와 특성을 파악하여 밭에서의 비점오염 관리의 기초 자료로 제공하고자 한다. 본 연구의 조사 지구는 충청북도 청주시 상당구 미원면 옥화리에 위치한 경사지 밭으로 면적은 0.77 ha이며, 중앙에 위치한 배수로 말단에 삼각위어를 설치하여 4개의 강우사상에 대해 모니터링을 수행하였다. 연구결과 강우사상의 강우량은 17.0~33.6 mm의 범위로 나타났으며, 평균 강우강도는 1.0~4.8 mm/h로 나타났다. 유출률은 3.1~26.8 %로 나타났는데, 선행강우가 높은 강우사상에서 가장 높은 값을 보였다. 오염물질 유량가중평균농도(Event Mean Concentration; EMC)는 TN 5.6~13.1 mg/L(평균 10.8 mg/L), $NO_3-N$ 4.1~12.9 mg/L(평균 9.3 mg/L), TP 0.46~1.34 mg/L(평균 0.8 mg/L), $PO_4-P$ 0.3~0.8 mg/L(평균 0.5 mg/L), SS 1,099~6,547 mg/L(평균 3,438 mg/L) 및 COD 27.1~38.6 mg/L(평균 33.1 mg/L)의 범위를 보였다. TN과 TP의 유량가중평균농도 평균값은 강우시 농촌유역 유출수의 유량가중평균농도인 3.1, 0.3 mg/L보다 높게 나타나 밭으로부터의 유출수가 유역 유출수의 농도를 높이는 것으로 판단된다. 또한 TN 농도는 시비의 영향을 받고, TP 농도는 강우강도와 작물 부분 토양 피복도의 영향을 받는 것으로 나타났다. SS 농도는 평균 강우강도에 비례하는 것으로 나타났다. 강우에 따른 오염물질 농도변화를 보면 TN의 농도는 강우 초기에 높게 나타났으며, 유량이 증가함에 따라 감소하고, 유량이 감소하면서 다시 증가하는 경향을 보였다. TP, SS 및 COD의 농도는 유량이 증가함에 따라 증가하고, 유량이 감소하면서 다시 감소하는 경향을 보였다. 또한, SS의 경우 최대농도가 첨두유량 앞에서 나타나는 초기 세척현상(First flush)을 보였다. 향후 보다 많은 강우사상을 대상으로 밭 유출수의 농도 및 오염부하에 대한 추가적인 모니터링을 통해 오염물질의 유출특성을 파악해야 할 것으로 판단된다.