• 전자공학회논문지CI
• /
• 제39권4호
• /
• pp.19-27
• /
• 2002

역전파 알고리즘의 성능 개선을 위해서 학습율을 자동 조정하는 방식을 제안하였다. 제안한 방식은 각각의 연결강도의 학습율을 퍼지 논리 시스템을 이용하여 자동 조정하는 방식으로 각각의 연결강도에 대해서 ${\Delta}$와 $\bar{{\Delta}}$를 구하여 퍼지 논리 시스템의 입력으로 사용하고, 학습율을 출력으로 사용하였다. 제안한 방식을 N-패리티 문제, 함수 근사, 숫자 패턴 분류에 대한 시뮬레이션 결과 일반적인 역전파 알고리즘, 모멘텀 방식, Jacobs의 delta-bar-delta 방식보다 성능이 개선됨을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제9권3호
• /
• pp.369-376
• /
• 2006

본 논문에서는 퍼지 RBF네트워크의 학습 성능을 개선하기 위하여 Delta-bar-Delta 알고리즘을 적용하여 학습률을 동적으로 조정하는 개선된 퍼지 RBF 네트워크를 제안한다. 제안된 학습 알고리즘은 일반화된 델타 학습 방법에 퍼지 C-Means 알고리즘을 결합한 방법으로, 중간층의 노드를 자가 생성하고 중간층과 출력층의 학습에는 일반화된 델타 학습 방법에 Delta-bar-Delta 알고리즘을 적용하여 학습률을 동적으로 조정하여 학습 성능을 개선한다. 제안된 RBF 네트워크의 학습 성능을 평가하기 위하여 컨테이너 영상에서 추출한 40개의 식별자를 학습 데이터로 적용한 결과, 기존의 ART2 기반 RBF 네트워크와 기존의 퍼지 RBF 네트워크 보다 학습 시간이 적게 소요되고, 학습의 수렴성이 개선된 것을 확인하였다.

• Journal of information and communication convergence engineering
• /
• 제1권3호
• /
• pp.157-162
• /
• 2003

We propose a learning method for improving the performance of the backpropagation algorithm. The proposed method is using a fuzzy logic system for automatic tuning of the learning rate of each weight. Instead of choosing a fixed learning rate, the fuzzy logic system is used to dynamically adjust the learning rate. The inputs of fuzzy logic system are delta and delta bar, and the output of fuzzy logic system is the learning rate. In order to verify the effectiveness of the proposed method, we performed simulations on the XOR problem, character classification, and function approximation. The results show that the proposed method considerably improves the performance compared to the general backpropagation, the backpropagation with momentum, and the Jacobs'delta-bar-delta algorithm.

• 대한전기학회논문지:전력기술부문A
• /
• 제48권10호
• /
• pp.1231-1238
• /
• 1999

This paper presents an approach for the optimal heating load Identification using Diagonal Recurrent Neural Networks(DRNN). In this paper, the DRNN captures the dynamic nature of a system and since it is not fully connected, training is much faster than a fully connected recurrent neural network. The architecture of DRNN is a modified model of the fully connected recurrent neural network with one hidden layer. The hidden layer is comprised of self-recurrent neurons, each feeding its output only into itself. In this study, A dynamic backpropagation (DBP) with delta-bar-delta learning method is used to train an optimal heating load identifier. Delta-bar-delta learning method is an empirical method to adapt the learning rate gradually during the training period in order to improve accuracy in a short time. The simulation results based on experimental data show that the proposed model is superior to the other methods in most cases, in regard of not only learning speed but also identification accuracy.

• 한국정보통신학회논문지
• /
• 제8권2호
• /
• pp.464-470
• /
• 2004

본 논문에서는 역전파 알고리즘의 성능 개선을 위해 퍼지 제어 시스템을 적용하여 학습률을 자동으로 조정하는 개선된 역전파 알고리즘을 제안한다. 제안된 방법은 목표값과 출력값의 차이에 대한 절대값이 $\varepsilon$ 보다 적거나 같으면 정확성으로 분류하고 크면 부정확성으로 분류한다. 정확성과 부정확성의 개수를 퍼지 제어 시스템에 적용하여 학습률을 동적으로 조정한다. 제안된 방법을 XOR 문제와 숫자 패턴 분류에 적용하여 실험한 결과, 기존의 역전파 알고리즘, 모멘텀 방식, Jacob의 delta-bar-delta 방식보다 성능이 개선됨을 확인하였다.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2003년도 Proceeding
• /
• pp.84-87
• /
• 2003

This paper proposes the enhanced REF network, which arbitrates learning rate and momentum dynamically by using the fuzzy system, to arbitrate the connected weight effectively between the middle layer of REF network and the output layer of REF network. ART2 is applied to as the learning structure between the input layer and the middle layer and the proposed auto-turning method of arbitrating the learning rate as the method of arbitrating the connected weight between the middle layer and the output layer. The enhancement of proposed method in terms of learning speed and convergence is verified as a result of comparing it with the conventional delta-bar-delta algorithm and the REF network on the basis of the ART2 to evaluate the efficiency of learning of the proposed method.

• 한국통신학회논문지
• /
• 제30권2C호
• /
• pp.31-40
• /
• 2005

오류 역전파 알고리즘의 문제점과 ART 신경회로망의 문제점을 개선하기 위해 Jacobs가 제안한 delta-bar-delta 방법과 신경회로망을 결합한 자가 생성 지도 학습 알고리듬을 제안한다. 입력층과 은닉층에서는 ART-1과 ART-2 알고리듬을 이용하고, winner-take-all 방식은 완전 연결 구조이나 연결된 가중치만을 조정하도록 채택하였다. 실험을 위해 학생증, 주민등록증, 컨테이너의 영상으로 추출한 패턴을 신경회로망의 은닉층 노드에 대해 실험하였고, 실험결과 제안된 자기 생성 지도 학습알고리듬이 지역최소화, 학습 속도, 정체 현상이 기존의 방법보다 성능이 개선된 것을 확인하였다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2003년도 춘계학술대회
• /
• pp.484-489
• /
• 2003

본 논문에서는 역전파 알고리즘의 성능 개선을 위해 퍼지 논리 시스템을 이용한 학습률 자동 조정 방법을 제안한다. 제안된 방법은 목표값과 출력값의 차이에 대한 절대값이 $\varepsilon$ 보다 적거나 같으면 정확성으로 분류하고 크면 부정확성으로 분류한다. 정확성의 총 개수를 퍼지 논리 시스템에 적용하여 학습률과 모멘텀을 동적으로 조정한다. 제안된 방법을 XOR 문제와 숫자패턴 문제에 적용하여 실험한 결과, 기존의 역전파 알고리즘, 모멘텀 방식, Jacob의 delta-bar-delta 방식보다 성능이 개선됨을 확인하였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 추계 학술대회 학술발표 논문집
• /
• pp.71-75
• /
• 2003

오류 역전파 학습 알고리즘을 이용하여 영상 인식에 적용 할 경우에는 은닉층의 노드 수를 경험적으로 설정하므로, 학습시간과 지역최소화 및 정체현상이 발생한다. 그리고 ARTI 알고리즘은 입력 패턴과 저장 패턴간의 측정 방법인 유사성 검증 방법과 경계 변수의 설정에 따라 인식률이 좌우된다. 경계 변수의 값이 크면 입력 패턴과 저장 패턴사이에 약간의 차이만 있어도 새로운 카테고리(Category)로 분류하고, 반대로 경계 변수의 값이 적으면 입력 패턴과 저장 패턴 사이에 많은 차이가 있더라도 유사성이 인정되어 입력 패턴들을 대략적으로 분류한다. 따라서 ART1 알고리즘을 영상 인식에 적용하기 위해서는 경계 변수를 경험적으로 설정하므로 인식률에 부정적인 영향을 갖는 문제점이 있다. 따라서 본 논문에서는 개선된 ART1 알고리즘과 지도 학습 방법을 결합하여 신경망의 은닉층 노드를 동적으로 변화시키는 자가 생성지도 학습 알고리즘을 제안한다. 제안된 신경망에서 입력층과 은닉층의 학습 구조에는 ART1 알고리즘을 개선하여 적용하고, 은닉층과 출력층의 학습 구조에는 은닉층에서 승자로 선택된 노드와 출력층 노드와 연결된 가중치만을 조정하고 Delta-Bar-Delta 알고리즘을 적용한다. 제안된 방법의 학습 성능을 분석하기 위하여 학생증 영상에서 추출한 학번 패턴 분류에 적용한 결과, 기존의 신경망 학습 알고리즘보다 학습 성능이 개선됨을 확인하였다.

• 한국정보통신학회논문지
• /
• 제11권11호
• /
• pp.2143-2149
• /
• 2007

최근 시각 장애인을 위한 인공망막 모델 구현에 관한 연구 중 시피질 자극기 기술은 시각 자극 전달의 중간 단계를 생략하고 직접 뇌세포를 자극하는 것이다. 본 논문에서는 망막에서 시각 피질로 시각정보를 전달할 때 발생하는 시각 피질의 특성, 즉 방향성에 대한 반응 특성을 특징 데이터로 구성하여 인식함으로써 인간 시각 정보 처리와 유사한 영상 추출 및 인식 모델을 제안한다. 제안된 방법은 영상의 특징을 추출 한 후 Delta-bar-delta 기반 오류 역전파 알고리즘을 적용하여 영상의 특징들을 인식한다. 제시된 방법의 성능을 분석하기 위하여 다양한 숫자 패턴들을 대상으로 실험한 결과, 제안된 망막 세포로부터 전달된 정보를 방향성에 대한 민감성을 고려하여 영상의 특성을 추출하여 인식하는 모델이 기존의 영상 추출 및 인식 모델보다 인식률에 있어서는 별 차이가 없지만 다양한 실험에서 확인할 수 있듯이 인간 시각과 같이 인식 성능이 민감하지 않는 것을 알 수 있었다.