• 제목/요약/키워드: Backpropagation Algorithm

검색결과 350건 처리시간 0.028초

신경회로망에서 일괄 학습 (Batch-mode Learning in Neural Networks)

  • 김명찬;최종호
    • 전자공학회논문지B
    • /
    • 제32B권3호
    • /
    • pp.503-511
    • /
    • 1995
  • A batch-mode algorithm is proposed to increase the speed of learning in the error backpropagation algorithm with variable learning rate and variable momentum parameters in classification problems. The objective function is normalized with respect to the number of patterns and output nodes. Also the gradient of the objective function is normalized in updating the connection weights to increase the effect of its backpropagated error. The learning rate and momentum parameters are determined from a function of the gradient norm and the number of weights. The learning rate depends on the square rott of the gradient norm while the momentum parameters depend on the gradient norm. In the two typical classification problems, simulation results demonstrate the effectiveness of the proposed algorithm.

  • PDF

Hybrid L1/L2 를 이용한 주파수 영역 탄성파 파형역산 (Robust seismic waveform inversion using backpropagation algorithm)

  • 정우근;하태영;신창수
    • 한국지구물리탐사학회:학술대회논문집
    • /
    • 한국지구물리탐사학회 2007년도 공동학술대회 논문집
    • /
    • pp.124-129
    • /
    • 2007
  • For seismic imaging and inversion, the inverted image depends on how we define the objective function. ${\ell}^1$-norm is more robust than ${\ell}^2$-norm. However, it is difficult to apply the Newton-type algorithm directly because the partial derivative for ${\ell^1$-norm has a singularity. In our paper, to overcome the difficulties of singularities, Huber function given by hybrid ${\ell}^1/{\ell}^2$-norm is used. We tested the robustness of our new object function with several noisy data set. Numerical results show that the new objective function is more robust to band limited spiky noise than the conventional object function.

  • PDF

KL 변환과 신경망을 이용한 개인 얼굴 식별 (Human Face Identification using KL Transform and Neural Networks)

  • 김용주;지승환;유재형;김정환;박민용
    • 대한전기학회논문지:전력기술부문A
    • /
    • 제48권1호
    • /
    • pp.68-75
    • /
    • 1999
  • Machine recognition of faces from still and video images is emerging as an active research area spanning several disciplines such as image processing, pattern recognition, computer vision and neural networks. In addition, human face identification has numerous applications such as human interface based systems and real-time video systems of surveillance and security. In this paper, we propose an algorithm that can identify a particular individual face. We consider human face identification system in color space, which hasn't often considered in conventional in conventional methods. In order to make the algorithm insensitive to luminance, we convert the conventional RGB coordinates into normalized CIE coordinates. The normalized-CIE-based facial images are KL-transformed. The transformed data are used as the input of multi-layered neural network and the network are trained using error-backpropagation methods. Finally, we verify the system performance of the proposed algorithm by experiments.

  • PDF

Eigenspace를 이용한 신경회로망 기반의 로봇 위치 인식 시스템 (Neural Network-based place localization for a mobile Robot using eigenspace)

  • 이희성;이윤희;김은태;박민용
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2003년도 학술회의 논문집 정보 및 제어부문 B
    • /
    • pp.1010-1013
    • /
    • 2003
  • This paper describes an algorithm for determining robot location using appearance-based paradigm. This algorithm compress the image set using PCA(principal component analysis) to obtain a low-dimensional subspace, called the eigenspace, and it makes a manifold that represent a continuous-appearance function. To determine robot location, given an unknown input image, the recognition system first projects the image to eigenspace. Neural network use coefficients of the eigenspace to estimate the location of the mobile robot. The algorithm has been implemented and tested on a mobile robot system. In several trials it computes location accurately.

  • PDF

GA-SVM을 이용한 결함 경향이 있는 소프트웨어 모듈 예측 (Predicting Defect-Prone Software Module Using GA-SVM)

  • 김영옥;권기태
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권1호
    • /
    • pp.1-6
    • /
    • 2013
  • 소프트웨어의 결함 경향 모듈 예측을 위해 SVM 분류기가 우수한 성능을 보인다는 연구들이 많지만, SVM에서 필요한 파라미터 선정 시 매 커널마다 다르게 선정해야 하고, 파라미터의 변경에 따른 결과예측을 위해 알고리즘을 반복적으로 수행해야 하는 불편함이 있다. 따라서 본 논문에서는 SVM의 파라미터 선정 시 유전알고리즘을 이용하여 스스로 찾게 하는 GA-SVM 모델을 구현하였다. 그리고 분류 성능 비교를 위해 신경망의 역전파알고리즘을 이용하여 분류했던 기존 논문과 비교 분석한 결과, GA-SVM 모델의 성능이 더 우수함을 확인하였다.

신경회로망과 틸팅을 이용한 이족 보행로봇의 ZMP 개선 연구 (A Study on ZMP Improvement of Biped Walking Robot Using Neural Network and Tilting)

  • 김병수;남규민;이순걸
    • 로봇학회논문지
    • /
    • 제6권4호
    • /
    • pp.301-307
    • /
    • 2011
  • Based on the stability criteria of ZMP (Zero Moment Point), this paper proposes an adjusting algorithm that modifies walking trajectory of a bipedal robot for stable walking by analyzing ZMP trajectory of it. In order to maintain walking balance of the bipedal robot, ZMP should be located within a supporting polygon that is determined by the foot supporting area with stability margin. Initially tilting imposed to the trajectory of the upper body is proposed to transfer ZMP of the given walking trajectory into the stable region for the minimum stability. A neural network method is also proposed for the stable walking trajectory of the biped robot. It uses backpropagation learning with angles and angular velocities of all joints with tilting to get the improved walking trajectory. By applying the optimized walking trajectory that is obtained with the neural network model, the ZMP trajectory of the bipedal robot is certainly located within a stable area of the supporting polygon. Experimental results show that the optimally learned trajectory with neural network gives more stability even though the tilting of the pelvic joint has a great role for walking stability.

패턴인식에서 온라인 오류역전파 알고리즘의 학습속도 향상방법 (An Improvement of the Outline Mede Error Backpropagation Algorithm Learning Speed for Pattern Recognition)

  • 이태승;황병원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.616-618
    • /
    • 2002
  • MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 몇 가지 이점이 있어 다양한 문제영역에서 사용되고 있다 그러나 MLP의 학습에 일반적으로 사용되는 EBP(error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있으며, 이는 실시간 처리를 요구하는 문제나 대규모 데이터 및 MLP 구조로 인해 학습시간이 상당히 긴 문제에서 제약으로 작용한다. 패턴인식에 사용되는 학습데이터는 풍부한 중복특성을 내포하고 있으므로 패턴마다 MLP의 내부변수를 갱신하는 은라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 EBP 알고리즘에서는 내부 가중치 갱신시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 응용에서 상당한 속도개선을 얻을 수 있지만, 학습률을 고정함으로써 온라인 방식에서 패턴별 갱신의 특성을 완전히 활용하지 못하는 비효율성이 발생한다. 또한, 학습도중 패턴군이 학습된 패턴과 그렇지 못한 패턴으로 나뉘고 이 가운데 학습된 패턴은 학습을 위한 계산에 포함될 필요가 없음에도 불구하고, 기존의 온라인 EBP에서는 에폭에 할당된 모든 패턴을 일률적으로 계산에 포함시킨다. 이 문제에 대해 본 논문에서는 학습이 진행됨에 따라 패턴마다 적절한 학습률을 적용하고 필요한 패턴만을 학습에 반영하는 패턴별 가변학습률 및 학습생략(COIL) 방댑을 제안한다. 제안한 COIL의 성능을 입증하기 위해 화자증명과 음성인식을 실험하고 그 결과를 제시한다.

  • PDF

Application of artificial neural networks to a double receding contact problem with a rigid stamp

  • Cakiroglu, Erdogan;Comez, Isa;Erdol, Ragip
    • Structural Engineering and Mechanics
    • /
    • 제21권2호
    • /
    • pp.205-220
    • /
    • 2005
  • This paper presents the possibilities of adapting artificial neural networks (ANNs) to predict the dimensionless parameters related to the maximum contact pressures of an elasticity problem. The plane symmetric double receding contact problem for a rigid stamp and two elastic strips having different elastic constants and heights is considered. The external load is applied to the upper elastic strip by means of a rigid stamp and the lower elastic strip is bonded to a rigid support. The problem is solved under the assumptions that the contact between two elastic strips also between the rigid stamp and the upper elastic strip are frictionless, the effect of gravity force is neglected and only compressive normal tractions can be transmitted through the interfaces. A three layered ANN with backpropagation (BP) algorithm is utilized for prediction of the dimensionless parameters related to the maximum contact pressures. Training and testing patterns are formed by using the theory of elasticity with integral transformation technique. ANN predictions and theoretical solutions are compared and seen that ANN predictions are quite close to the theoretical solutions. It is demonstrated that ANNs is a suitable numerical tool and if properly used, can reduce time consumed.

ECG 신호의 global curvature를 이용한 ST-T 에피소드 검출 (Detection of ST-T Episode Based on the Global Curvature of Isoelectric Level in ECG)

  • 강동원;전대근;이경중;윤형로
    • 대한전기학회논문지:시스템및제어부문D
    • /
    • 제50권4호
    • /
    • pp.201-207
    • /
    • 2001
  • This paper describes an automated detection algorithm of ST-T episodes using global curvature which can connect the isoelectric level in ECG and can eliminate not only the slope of ST segment, but also difference of the baseline and global curve. This above method of baseline correction is very faster than the classical baseline correction methods. The optimal values of parameters for baseline correction were found as the value having the highest detection rate of ST episode. The features as input of backpropagation Neural Network were extracted from the whole ST segment. The European ST-T database was used as training and test data. Finally, ST elevation, ST depression and normal ST were classified. The average ST episode sensitivity and predictivity were 85.42%, 80.29%, respectively. This result shows the high speed and reliability in ST episode detection. In conclusion, the proposed method showed the possibility in various applications for the Holter system.

  • PDF

신경망을 이용한 무선망에서의 채널 관리 기법 (A Channel Management Technique using Neural Networks in Wireless Networks)

  • 노철우;김경민;이광의
    • 한국정보통신학회논문지
    • /
    • 제10권6호
    • /
    • pp.1032-1037
    • /
    • 2006
  • 채널은 무선망에 있어서 한정된 주요 자원 중의 하나이다. 다양한 채널 관리 기법들이 제시되어 왔으며, 최근 들어 가드채널의 최적화 문제가 부각되고 있다. 본 논문에서는 신경망을 이용한 지능적인 채널 관리 기법을 제안한다. 신경망의 학습 데이터 생성과 성능분석을 위하여 SRN(Stochastic Reward Net) 채널 할당 모델이 개발된다. 제안된 기법에서 신경망은 지도학습 방법인 역전파 알고리즘을 이용하여 최적의 가드채널 값 g를 계산하도록 학습한다. 학습된 신경망을 이용하여 최적의 g를 계산하고, 이를 SRM모델에서 구해진 결과와 비교한다. 실험 결과는 신경망에서 구한 가드채널 수와 SRM모델로부터 구한 가드채널 수의 상대적 차이가 없음을 보여준다.