• Title/Summary/Keyword: 역전파 알고리즘

Search Result 417, Processing Time 0.028 seconds

Genetic Algorithm based Neural Network and Temporal Difference Learning: Janggi Board Game (유전자기반 신경회로망과 Temporal Difference학습: 장기보드게임)

  • 박인규
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.05c
    • /
    • pp.308-314
    • /
    • 2002
  • 본 논문은 2인용 보드게임의 정보에 대한 전략을 학습할 수 있는 방법을 유전자기반 역전파 신경회로망과 Temporal Difference학습알고리즘을 이용하여 제안하였다. 학습의 과정은 역전파에 의한 초기학습에 이어 국부해의 단점을 극복하기 위하여 미세학습으로 유전자알고리즘을 이용하였다. 시스템의 구성은 탐색을 담당하는 부분과 기물의 수를 발생하는 부분으로 구성되어 있다. 수의 발생부분은 보드의 상태에 따라서 갱신되고, 탐색커널은 αβ탐색을 기본으로 유전자알고리즘을 이용하여 가중치를 최적화하는 유전자기반 역전파 신경회로망과 TD학습을 결합하여 게임에 대해 양호한 평가함수를 학습하였다. 일반적으로 많은 학습을 통하여 평가함수의 정확도가 보장되면 승률이 학습의 양에 비례함을 알 수 있었다.

  • PDF

Forecasting algorithm using an improved genetic algorithm based on backpropagation neural network model (개선된 유전자 역전파 신경망에 기반한 예측 알고리즘)

  • Yoon, YeoChang;Jo, Na Rae;Lee, Sung Duck
    • Journal of the Korean Data and Information Science Society
    • /
    • v.28 no.6
    • /
    • pp.1327-1336
    • /
    • 2017
  • In this study, the problems in the short term stock market forecasting are analyzed and the feasibility of the ARIMA method and the backpropagation neural network is discussed. Neural network and genetic algorithm in short term stock forecasting is also examined. Since the backpropagation algorithm often falls into the local minima trap, we optimized the backpropagation neural network and established a genetic algorithm based on backpropagation neural network for forecasting model in order to achieve high forecasting accuracy. The experiments adopted the korea composite stock price index series to make prediction and provided corresponding error analysis. The results show that the genetic algorithm based on backpropagation neural network model proposed in this study has a significant improvement in stock price index series forecasting accuracy.

Recognition of Car Plate using Contour Tracking and Enhanced Backpropagation (윤곽선 추적과 개선된 오류 역전파 알고리즘을 이용한 차량 번호판 인식)

  • Jung, Byung-Hee;Lee, Dong-Min;Park, Choong-Shik;Kim, Kwang-Beak
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • v.9 no.1
    • /
    • pp.467-471
    • /
    • 2005
  • 본 논문에서는 명암도 변화 및 윤곽선 추적 알고리즘과 개선된 오류 역전파 알고리즘을 이용한 차량 번호판 인식 방법을 제안한다. 비영업용 차량 영상을 대상으로 차량 번호판 영역을 추출하기 위해 명암도 변화 특성을 이용하여 차량 번호판 영역을 추출한다. 추출된 차량 번호판 영역에 반복 이진화 방법을 적용하여 차량 번호판의 영역을 이진화하고, 이진화된 차량 번호판 영역에 대해서 윤곽선 추적 알고리즘을 적용하여 개별 코드를 추출한다. 추출된 개별 코드 인식은 일반화된 델타 학습 방법에 Delta-bar-Delta 알고리즘을 적용하여 학습률을 동적으로 조정하는 개선된 오류 역전파 알고리즘을 적용한다. 제안된 방법의 인식 성능을 평가하기 위하여 실제 비영업용 차량 번호판에 적용한 결과, 기존의 차량 번호판 인식 방법보다 효율적인 것을 확인하였다.

  • PDF

Pattern Recognition using Robust Feedforward Neural Networks (로버스트 다층전방향 신경망을 이용한 패턴인식)

  • Hwang, Chang-Ha;Kim, Sang-Min
    • Journal of the Korean Data and Information Science Society
    • /
    • v.9 no.2
    • /
    • pp.345-355
    • /
    • 1998
  • The back propagation(BP) algorithm allows multilayer feedforward neural networks to learn input-output mappings from training samples. It iteratively adjusts the network parameters(weights) to minimize the sum of squared approximation errors using a gradient descent technique. However, the mapping acquired through the BP algorithm may be corrupt when errorneous training data are employed. In this paper two types of robust backpropagation algorithms are discussed both from a theoretical point of view and in the case studies of nonlinear regression function estimation and handwritten Korean character recognition. For future research we suggest Bayesian learning approach to neural networks and compare it with two robust backpropagation algorithms.

  • PDF

Binary Neural Network in Binary Space using NETLA (NETLA를 이용한 이진 공간내의 패턴분류)

  • Sung, Sang-Kyu;Park, Doo-Hwan;Jeong, Jong-Won;Lee, Joo-Tark
    • Proceedings of the KIEE Conference
    • /
    • 2001.11c
    • /
    • pp.431-434
    • /
    • 2001
  • 단층 퍼셉트론이 처음 개발되었을 때, 간단한 패턴을 인식하는 학습 기능을 가지고 있기 장점 때문에 학자들의 관심을 끌었다. 단층 퍼셉트론은 한 개의 소자를 이용해서 이진 논리를 가중치(weight)의 변경만으로 모두 표현할 수 있는 장점 때문에 영상처리, 패턴인식, 장면인식 등에 이용되어 왔다. 최근에, 역전파학습(Back-Propagation Learning)알고리즘이 이진 공간내의 매핑 문제에 적용되고 있다. 그러나, 역전파 학습알고리즘은 연속공간 내에서 긴 학습시간과 비효율적인 수행의 문제를 가지고 있다. 일반적으로 역전파 학습 알고리즘은 간단한 이진 공간에서 매핑하기 위해서 많은 반복과정을 요구한다. 역전파 학습 알고리즘에서는 은닉층의 뉴런의 수는 주어진 문제를 해결하기 위해서 우선순위(prior)를 알지 못하기 때문에 입력층과 출력층내의 뉴런의 수에 의존한다. 따라서, 3층 신경회로망의 적용에 있어 가장 중요한 문제중의 하나는 은닉층내의 필요한 뉴런수를 결정하는 것이고, 회로망 합성과 가중치 결정에 대한 적절한 방법을 찾지 못해 실제로 그 사용 영역이 한정되어 있었다. 본 논문에서는 패턴 분류를 위한 새로운 학습방법을 제시한다. 훈련입력의 기하학적인 분석에 기반을 둔 이진 신경회로망내의 은닉층내의 뉴런의 수를 자동적으로 결정할 수 있는 NETLA(Newly Expand and Truncate Learning Algorithm)라 불리우는 기하학적 학습알고리즘을 제시하고, 시뮬레이션을 통하여, 제안한 알고리즘의 우수성을 증명한다.

  • PDF

A Study on Analysis of Dynamic Generation of Initial Weights in EBP Learning (EBP 신경망 학습에서의 동적 초기 가중치 선택에 관한 연구)

  • Kim, Tea-Hun;Lee, Yill-Byung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.35-38
    • /
    • 2006
  • 다층 퍼셉트론(MLP) 학습 이론인 오류 역전파 알고리즘은 델타룰과 최급 하강법을 사용하기 때문에 학습시 많은 시간이 소요된다는 단점을 가지고 있다. 때문에 신경망에서의 잘못된 초기 가중치 선택은 오류 역전파 알고리즘을 사용하는 신경망에서의 현격한 학습 성능저하를 발생시키게 된다. 본 논문에서는 학습시 오류 역전파 알고리즘의 수렴시간을 개선하기 위한 신경망의 동적 초기 가중치 선택 알고리즘을 제안한다. 이 알고리즘은 학습전 기존의 선택 가중치와 모든 가중치가 1.0 또는 -1.0 값을 가지는 가중치 집합에서 가중치 변동률을 선측정하여 이들 중 가장 변동률이 큰 경우를 초기 가중치 집합으로 선정하게 된다. 즉, 초기의 가중치 변동률을 차후 성능을 판단하는 지표로 사용하여 잘못된 가중치 선택으로 인한 최악의 학습효율의 가능성을 배제시키고 다층 신경망의 학습특성상 평균 이상의 학습효율을 보장하는 초기 가중치 선택방법이다.

  • PDF

The Study on the Method which escapee from Local maxima of Error-Backpropagation Algorithm (오류역전파 알고리즘의 Local maxima를 탈출하기 위한 방법에 관한 연구)

  • 서원택;조범준
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10b
    • /
    • pp.313-315
    • /
    • 2001
  • 본 논문에서 소개하는 알고리즘을 은닉층의 뉴런의 수를 학습하는 동안 동적으로 변화시켜 역전파 알고리즘의 단점인 Local maxima를 탈출하고 또한 은닉층의 뉴런의 수를 결정하는 과정을 없애기 위해 연구되었다. 본 알고리즘의 성능을 평가하기 위해 두 가지 실험에 적용하였는데 첫번째는 Exclusive-OR 문제이고 두번째는 7$\times$8 한글 자음과 모음의 폰트 학습에 적용하였다. 이 실험의 결과로 네트웍이 local maxima에 빠져드는 확률이 줄어드는 것을 알 수 있었고 학습속도 또한 일반적인 역전파 알고리즘보다 빠른 것으로 증명되었다.

  • PDF

Research on Forward-Forward Algorithm (Forward-Forward Algorithm 관한 연구)

  • Hyeon-Yong Noh;Hyun-Jung Kim;Sang-Hyun Yoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.469-470
    • /
    • 2023
  • 이 논문은 이미지 처리와 머신 러닝 분야에서 중요한 주제 중 하나인 알고리즘 성능과 효율성에 대한 연구이다. 역전파 알고리즘과 상대적으로 새로운 Forward-Forward 알고리즘을 비교하고 분석해 보니 Forward-Forward 알고리즘이 역전파 알고리즘보다 비교적 높은 정확도를 확인할 수 있었다.

A Robust Propagation Algorithm for Function Approximation (함수근사를 위한 로버스트 역전파 알고리즘)

  • Kim, Sang-Min;Hwang, Chang-Ha
    • The Transactions of the Korea Information Processing Society
    • /
    • v.4 no.3
    • /
    • pp.747-753
    • /
    • 1997
  • Function approximation from a set of input-output parirs has numerous applications in scientiffc and engineer-ing areas.Multiayer feedforward neural networks have been proposed as a good approximator of noninear function.The back propagation (BP) algorithm allows muktiayer feedforward neural networks oro learn input-output mappongs from training samples.However, the mapping acquired through the BP algorithm nay be cor-rupt when errorneous trauning data are employed.In this paper we propose a robust BP learning algorithm that is resistant to the errormeous data and is capable of rejecting gross errors during the approximation process.

  • PDF

A Framework for an Advanced Learning Mechanism in Context-aware Systems using Improved Back-Propagation Algorithm (상황 인지 시스템에서 개선된 역전파 알고리즘을 사용하는 진보된 학습 메커니즘을 위한 프레임워크)

  • Zha, Wei;Eo, Sang-Hun;Kim, Gyoung-Bae;Cho, Sook-Kyoung;Bae, Hae-Young
    • The KIPS Transactions:PartD
    • /
    • v.14D no.1 s.111
    • /
    • pp.139-144
    • /
    • 2007
  • In seeking to improve the workload efficiency and inference capability of context-aware systems, we propose a new framework for an advanced teaming mechanism that uses improved bath propagation (BP) algorithm. Even though a learning mechanism is one of the most important parts in a context-aware system, the existing algorithms focused on facilitating systems by elaborating the learning mechanism with user's context information are rare. BP is the most adaptable algorithm for learning mechanism of context-aware systems. By using the improved BP algorithm, the framework we proposed drastically improves the inference capability so that the overall performance is far better than other systems. Also, using the special system cache, the framework manages the workload efficiently. Experiments show that there is an obvious improvement in overall performanre of the context-awareness systems using the proposed framework.