• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제8권3호
• /
• pp.344-355
• /
• 2002

MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 여러 가지 훌륭한 특성을 가지고 있어 패턴인식에서 폭넓게 사용되고 있다. 그러나 MLP의 학습에 일반적으로 사용되는 EBP(error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있다. 패턴인식에 사용되는 학습 데이타는 풍부한 중복특성을 내포하고 있으므로 패턴마다 MLP의 내부변수를 갱신하는 온라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 EBP 알고리즘에서는 내부변수 갱신시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 웅용에서 상당한 속도개선을 얻을 수 있지만, 학습률이 고정되고 학습이 진행됨에 따라 학습패턴 영역이 달라지는 학습과정의 각 단계에 효과적으로 대웅하지 못하는 문제가 있다. 이 문제에 대해 본 논문에서는 학습과정을 세 단계로 정의하고, 각 단계별로 필요한 패턴만을 학습에 반영하는 패턴별 가변학습속도 및 학습생략(ILVRS) 방법을 제안한다. ILVRS의 기본개념은 다음과 같다. 학습단계마다 학습에 필요한 패턴의 부분이 달라지므로 이를 구별 하여 학습에 적용할 수 있도록 (1)패턴마다 발생하는 오류치를 적절한 범위 이내로 제한하여 가변 학습률로 사용하고, (2)학습이 진행됨에 따라 불필요한 부분의 패턴을 학습에서 생략한다. 제안한 ILVRS의 성능을 입증하기 위해 본 논문에서는 패턴인식 응용의 한 갈래인 화자증명을 실험하고 그 결과를 제시한다.

• ETRI Journal
• /
• 제22권3호
• /
• pp.10-18
• /
• 2000

Although an n-th order cross-entropy (nCE) error function resolves the incorrect saturation problem of conventional error backpropagation (EBP) algorithm, performance of multilayer perceptrons (MLPs) trained using the nCE function depends heavily on the order of nCE. In this paper, we propose an adaptive learning rate to markedly reduce the sensitivity of MLP performance to the order of nCE. Additionally, we propose to limit error signal values at out-put nodes for stable learning with the adaptive learning rate. Through simulations of handwritten digit recognition and isolated-word recognition tasks, it was verified that the proposed method successfully reduced the performance dependency of MLPs on the nCE order while maintaining advantages of the nCE function.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1997년도 하계학술대회 논문집 B
• /
• pp.386-389
• /
• 1997

Error-backpropagation has been used in the bulk of Practical applications for neural networks. While an emulator, a multilayered neural network, learns to identify the system's dynamic characteristics. There is, however, no concrete theoretical results about the structure of a plant and the structure of a multilayered neural network and the learning rate. The paper investigates the relation between structure of a plant and a multilayered network and learning rate. Simulation study shows that the plant signal with a short period and a fast sam time is preferable for learning of the network emulator.

• Journal of information and communication convergence engineering
• /
• 제2권1호
• /
• pp.36-39
• /
• 2004

In this paper, a method of improving the learning speed and convergence rate is proposed to exploit the advantages of artificial neural networks and neuro-fuzzy systems. This method is applied to the XOR problem, n bit parity problem, which is used as the benchmark in the field of pattern recognition. The method is also applied to the recognition of digital image for practical image application. As a result of experiment, it does not always guarantee convergence. However, the network showed considerable improvement in learning time and has a high convergence rate. The proposed network can be extended to any number of layers. When we consider only the case of the single layer, the networks had the capability of high speed during the learning process and rapid processing on huge images.

• 반도체디스플레이기술학회지
• /
• 제22권2호
• /
• pp.40-44
• /
• 2023

The defect detection based on deep learning requires minimal loss and high accuracy to pinpoint product defects. In this paper, we confirm the loss rate of deep learning training based on disc-shaped artificial scaffold images. It is intended to compare the performance of Cross-Entropy functions used in object detection algorithms. The model was constructed using normal, defective artificial scaffold images and category cross entropy and sparse category cross entropy. The data was repeatedly learned five times using each loss function. The average loss rate, average accuracy, final loss rate, and final accuracy according to the loss function were confirmed.

• Journal of information and communication convergence engineering
• /
• 제9권6호
• /
• pp.637-640
• /
• 2011

The hybrid neural networks have characteristics such as fast learning times, generality, and simplicity, and are mainly used to classify learning data and to model non-linear systems. The middle layer of a hybrid neural network clusters the learning vectors by grouping homogenous vectors in the same cluster. In the clustering procedure, the homogeneity between learning vectors is represented as the distance between the vectors. Therefore, if the distances between a learning vector and all vectors in a cluster are smaller than a given constant radius, the learning vector is added to the cluster. However, the usage of a constant radius in clustering is the primary source of errors and therefore decreases the recognition success rate. To improve the recognition success rate, we proposed the enhanced hybrid network that organizes the middle layer effectively by using the enhanced ART1 network adjusting the vigilance parameter dynamically according to the similarity between patterns. The results of experiments on a large number of calling card images showed that the proposed algorithm greatly improves the character extraction and recognition compared with conventional recognition algorithms.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권1호
• /
• pp.451-465
• /
• 2017

This paper presents a novel discriminative visual tracking algorithm with an adaptive incremental extreme learning machine. The parameters for an adaptive incremental extreme learning machine are initialized at the first frame with a target that is manually assigned. At each frame, the training samples are collected and random Haar-like features are extracted. The proposed tracker updates the overall output weights for each frame, and the updated tracker is used to estimate the new location of the target in the next frame. The adaptive learning rate for the update of the overall output weights is estimated by using the confidence of the predicted target location at the current frame. Our experimental results indicate that the proposed tracker can manage various difficulties and can achieve better performance than other state-of-the-art trackers.

• 전기전자학회논문지
• /
• 제23권1호
• /
• pp.112-119
• /
• 2019

본 논문에서는 불꽃 감지를 위한 임베디드 시스템에 적합한 딥러닝 구조를 제안한다. 제안하는 딥러닝 구조의 불꽃 감지 과정은 불꽃 색깔 모델을 사용한 불꽃 영역 검출, 불꽃 색깔 특화 딥러닝 구조를 사용한 불꽃 영상 분류, 검출된 불꽃 영역의 $N{\times}N$ 셀 분리, 불꽃 모양 특화 딥러닝 구조를 사용한 불꽃 영상 분류 등의 4가지 과정으로 구성된다. 첫 번째로 입력 영상에서 불꽃의 색만을 추출한 다음 레이블링하여 불꽃 영역을 검출한다. 두 번째로 검출된 불꽃 영역을 불꽃 색깔에 특화 학습된 딥러닝 구조의 입력으로 넣고, 출력단의 불꽃 클래스 확률이 75% 이상에서만 불꽃 영상으로 분류한다. 세 번째로 앞 단에서 75% 미만 불꽃 영상으로 분류된 영상들의 검출된 불꽃 영역을 $N{\times}N$ 단위로 분할한다. 네 번째로 $N{\times}N$ 단위로 분할된 작은 셀들을 불꽃의 모양에 특화 학습된 딥러닝 구조의 입력으로 넣고, 각 셀의 불꽃 여부를 판단하여 50% 이상의 셀들이 불꽃 영상으로 분류될 경우에 불꽃 영상으로 분류한다. 제안된 딥러닝 구조의 성능을 평가하기 위하여 ImageNet의 불꽃 데이터베이스를 사용하여 실험하였다. 실험 결과, 제안하는 딥러닝 구조는 기존의 딥러닝 구조보다 평균 29.86% 낮은 리소스 점유율과 8초 빠른 불꽃 감지 시간을 나타내었다. 불꽃 검출률은 기존의 딥러닝 구조와 비교하여 평균 0.95% 낮은 결과를 나타내었으나, 이는 임베디드 시스템에 적용하기 위해 딥러닝 구조를 가볍게 구성한데서 나온 결과이다. 따라서 본 논문에서 제안하는 불꽃 감지를 위한 딥러닝 구조는 임베디드 시스템 적용에 적합함이 입증되었다.

• 전력전자학회:학술대회논문집
• /
• 전력전자학회 1998년도 Proceedings ICPE 98 1998 International Conference on Power Electronics
• /
• pp.293-297
• /
• 1998

This paper presents a newly developed speed sensorless drive using RLS based on Neural Network Training Algorithm. The proposed algorithm has just the time-varying learning rate, while the wellknown back-propagation algorithm based on gradient descent has a constant learning rate. The number of iterations required by the new algorithm to converge is less than that of the back-propagation algorithm. The theoretical analysis and experimental results to verify the effectiveness of the proposed control strategy are described.

• 한국정보통신학회논문지
• /
• 제12권9호
• /
• pp.1682-1688
• /
• 2008

CP(Counterpropagation) 알고리즘은 Kohonen의 경쟁 네트워크와 Grossberg의 아웃스타(Outstar) 구조의 결합으로 이루어진 것으로 패턴 매칭, 패턴 분류, 통계적인 분석 및 데이터 압축 등 활용분야가 다양하고, 다른 신경망 모델에 비해 학습이 매우 빠르다는 장점이 있다. 그러나 CP 알고리즘은 충분한 경쟁층의 수가 설정되지 않아 경쟁층에서 학습이 불안정하고, 다양한 패턴으로 구성된 경우에는 패턴들을 정확히 분류할 수 없는 경우가 발생한다. 그리고 CP 알고리즘은 출력층에서 연결 강도를 조정할 때, 학습률에 따라 학습 및 인식 성능이 좌우된다. 본 논문에서는 효과적인 패턴인식을 위해 다수 경쟁층을 설정하고, 입력 벡터와 승자 뉴런의 대표 벡터간의 차이와 승자 뉴런의 빈도수를 학습률 조정에 반영하고 학습률을 동적으로 조정하여 경쟁층에서 안정적으로 학습되도록 하고, 출력층의 연결강도를 조정할 때 모멘텀(Momentum) 방법을 적용한다. 제안된 CP 학습 성능을 확인하기 위해서 실제 여권에서 추출된 개별 코드를 대상으로 실험한 결과, 개선된 CP 알고리즘이 기존의 CP 알고리즘보다 학습 성능, 분류의 정확성 및 인식 성능이 개선된 것을 확인하였다.