• 제목/요약/키워드: gradient descent optimization

검색결과 82건 처리시간 0.019초

최적화문제를 해결하기 위한 완화(Relief)법 (A Relief Method to Obtain the Solution of Optimal Problems)

  • 송정영;이규범;장지걸
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권1호
    • /
    • pp.155-161
    • /
    • 2020
  • 일반적으로 최적화문제는 간단하게 해결하기 어렵다. 그 이유는 주어진 문제가 단순하면 바로 해결되지만, 복잡할수록 그 경우의 수는 방대하기 때문이다. 본 연구는 인공신경망 최적화에 대한 연구이다. 여기에서 우리가 다루고 있는 것은, 인공신경망을 구축하기 위한 완화법으로써, 최적화하는 방법이다. 주요 논제로는, 신경망 네트워크 전체의 안정성과 불안정성, 경비 절감, 에너지 절감과 같은 비결정적인 문제를 다루고 있다. 이를 위하여, 우리는 연상기억 모델 즉, 국소적 최소인 기억정보가 가짜인 정보를 선택하지 않는 방법을 제시한다. 그리고, 시물레이티드 어닐링법으로써, 이것은 가급적 낮은값을 가지고 있는 그 방향을 예측하고 그 이전의 낮은값과 결합해 나가서 더 낮은값으로 반복 수정해 나가는 방법이다. 그리고, 비선형 계획문제는, 방대한 조합상태의 수를 목적함수 합의 최소화를 위하여 적절한 최소하강법을 적용하여 입출력을 확인하여 수정해 나가는 방법이다. 결국 본 연구는 최적화문제를 해결하기 위한 이론적인 접근 방법으로써 완화법으로서의 접근가능한 유용한 방법을 제시하였다. 따라서, 본연구는 새롭게 인공신경망을 구축할 때, 효율적으로 적용 할 수 있는 좋은 제안이 될 것으로 생각한다.

실시간 이미지 획득을 통한 pRBFNNs 기반 얼굴인식 시스템 설계 (A Design on Face Recognition System Based on pRBFNNs by Obtaining Real Time Image)

  • 오성권;석진욱;김기상;김현기
    • 제어로봇시스템학회논문지
    • /
    • 제16권12호
    • /
    • pp.1150-1158
    • /
    • 2010
  • In this study, the Polynomial-based Radial Basis Function Neural Networks is proposed as one of the recognition part of overall face recognition system that consists of two parts such as the preprocessing part and recognition part. The design methodology and procedure of the proposed pRBFNNs are presented to obtain the solution to high-dimensional pattern recognition problem. First, in preprocessing part, we use a CCD camera to obtain a picture frame in real-time. By using histogram equalization method, we can partially enhance the distorted image influenced by natural as well as artificial illumination. We use an AdaBoost algorithm proposed by Viola and Jones, which is exploited for the detection of facial image area between face and non-facial image area. As the feature extraction algorithm, PCA method is used. In this study, the PCA method, which is a feature extraction algorithm, is used to carry out the dimension reduction of facial image area formed by high-dimensional information. Secondly, we use pRBFNNs to identify the ID by recognizing unique pattern of each person. The proposed pRBFNNs architecture consists of three functional modules such as the condition part, the conclusion part, and the inference part as fuzzy rules formed in 'If-then' format. In the condition part of fuzzy rules, input space is partitioned with Fuzzy C-Means clustering. In the conclusion part of rules, the connection weight of pRBFNNs is represented as three kinds of polynomials such as constant, linear, and quadratic. Coefficients of connection weight identified with back-propagation using gradient descent method. The output of pRBFNNs model is obtained by fuzzy inference method in the inference part of fuzzy rules. The essential design parameters (including learning rate, momentum coefficient and fuzzification coefficient) of the networks are optimized by means of the Particle Swarm Optimization. The proposed pRBFNNs are applied to real-time face recognition system and then demonstrated from the viewpoint of output performance and recognition rate.