• The Journal of the Korea institute of electronic communication sciences
• /
• v.15 no.1
• /
• pp.85-92
• /
• 2020

Deep learning shows outstanding performance in image and video analysis, such as object classification, object detection and semantic segmentation. In this paper, it is analyzed that the performances of deep learning models can be affected by characteristics of train dataset. It is proposed as a method for selecting activation function and optimization algorithm of deep learning to classify facial expression. Classification performances are compared and analyzed by applying various algorithms of each component of deep learning model for CK+, MMI, and KDEF datasets. As results of simulation, it is shown that genetic algorithm can be an effective solution for optimizing components of deep learning model.

• Proceedings of the IEEK Conference
• /
• 2009.05a
• /
• pp.381-383
• /
• 2009

본 논문에서는 대표적인 시스템 모델링 도구중의 하나인 RBF 뉴럴 네트워크(Radial Basis Function Neural Network)를 설계하고 모델을 최적화하기 위하여 최적화 알고리즘인 PSO(Particle Swarm Optimization) 알고리즘을 이용하였다. 즉, 모델의 최적화에 주요한 영향을 미치는 모델의 파라미터들을 PSO 알고리즘을 이용하여 동정한다. 제안된 RBF 뉴럴 네트워크는 은닉층에서의 활성함수로서 일반적으로 많이 사용되어지는 가우시안 커널함수를 사용한다. 더 나아가 모델의 최적화를 위하여 각 커널함수의 중심값은 HCM 클러스터링에 기반을 두어 중심값을 결정하고, PSO 알고리즘을 통하여 가우시안 커널함수의 분포상수, 은닉층에서의 노드 수 그리고 다수의 입력을 가질 경우 입력의 종류를 동정한다. 제안한 모델의 성능을 평가하기 위해 Mackey-Glass 시계열 공정 데이터를 적용하였으며 제안된 모델의 근사화와 일반화 능력을 분석한다.

• Proceedings of the KIEE Conference
• /
• 2011.07a
• /
• pp.1962-1963
• /
• 2011

본 연구에서는 패턴분류를 위해 최적화된 방사형 기저 함수 신경회로망(Radial Basis Function Neural Networks) 분류기를 제안한다. RBFNN은 입력층, 은닉층, 출력층의 3층 구조로 되어 있으며 Multi Dimension, Predictive ability, Robustness한 특징이 있다. RBFNN의 은닉층에는 기존의 활성함수가 아닌 Fuzzy C-means 클러스터링 알고리즘을 사용하여 입력 데이터의 특성을 고려한 적합도를 사용하였다. RBFNN은 은닉층의 노드수와 FCM 클러스터링의 퍼지화 계수, 연결가중치의 다항식 타입이 모델의 성능의 향상에 영향을 미치기 때문에 최적화가 필요하며 본 논문에서는 Differential Evolution(DE) 알고리즘을 사용하여 모델의 구조 및 파라미터를 최적화시켜 모델의 성능을 향상시켰다. 제안된 모델을 평가하기 위해 패턴분류에 많이 사용되는 Iris 데이터와 Wine 데이터를 이용하였다.

• Proceedings of the KIEE Conference
• /
• 2008.10b
• /
• pp.247-248
• /
• 2008

본 논문에서는 TYPE-2 퍼지 추론 기반의 RBF 뉴럴 네트워크(TYPE-2 Radial Basis Function Neural Network, T2RBFNN)를 설계하고 PSO(Particle Swarm Optimization) 알고리즘을 이용하여 모델의 파라미터를 동정한다. 제안된 모델의 은닉층은 TYPE-2 가우시안 활성 함수로 구성되며, 출력층은 Interval set 형태의 연결가중치를 갖는다. 여기에서 규칙 전반부 활성함수의 중심 선택은 C-means 클러스터링 알고리즘을 이용하고, 규칙 후반부 Interval set 형태의 연결가중치 결정에는 경사 하강법(Gradient descent method)을 이용한 오류 역전파 알고리즘을 사용하여 학습한다. 또한, 최적의 모델을 설계하기 위한 학습율 및 활성함수의 활성화 영역 결정에는 입자 군집 최적화(PSO; Particle Swarm Optimization) 알고리즘으로 동조한다. 마지막으로, 제안된 모델의 평가를 위하여 모의 데이터 집합(Synthetic dadaset)을 적용하고 근사화 및 일반화 능력에 대하여 토의한다.

• Proceedings of the Korean Statistical Society Conference
• /
• 2003.05a
• /
• pp.19-24
• /
• 2003

신경망은 적용 다양성과 제약조건의 최소성, 강력한 예측성, 범용성, 근사성 등 많은 장점을 지니고 있으나 초기 가중치의 할당에 따라 모델 생성의 Performance와 예측의 결과가 달라지게 되는 단점을 지니고 있다. 이런 신경망의 초기 가중치에 따른 단점을 보안하기 위해 통계적 알고리즘의 접목을 통해 Hybrid된 신경망 보완 알고리즘을 제시하고자 하였다. 논문을 위한 기본 가정으로 신경망의 가장 기본인 SLP 알고리즘을 바탕으로 활성함수에 가장 일반적으로 사용되는 Sigmoid 활성함수를 이용하였을 때, 초기 가중치로 기존의 임의 난수 생성 방식이 아닌 통계적 로지스틱 회귀분석의 계수값(mle)을 제시하여 이를 초기치로 사용한 경우와 그렇지 않은 경우의 예측 정확성과 수렴의 Performance정도를 비교하여 가장 효과적인 초기치 방법을 제시하고자 하였다.

• Proceedings of the KIEE Conference
• /
• 2011.07a
• /
• pp.1964-1965
• /
• 2011

본 연구에서는 패턴분류를 위해 기존의 방사형 기저 함수 신경회로망(Radial Basis Funtion Neural Network)과 다항식 신경회로망(Polynomial Neural Network)을 결합한 다중 출력 방사형 기저 함수다항식 신경회로망 (Multi Output Radial Basis Funtion Polynomial Neural Network)의 분류기를 제안한다. 제안된 모델은 PNN을 기본 구조로 하여 1층에 기존의 다항식 노드 대신 다중 출력 형태의 RBFNN을 적용 한다. RBFNN의 은닉층에는 기존의 활성함수가 아닌 fuzzy 클러스터링을 사용하여 입력 데이터의 특성을 고려한 적합도를 사용하였다. PNN은 입력변수의 수와 다항식 차수가 모델의 성능을 결정함으로 최적화가 필요하며 본 논문에서는 Differential Evolution(DE)을 사용하여 모델의 구조 및 파라미터를 최적화시켜 모델의 성능을 향상시켰다. 패턴분류기로써의 제안된 모델을 평가하기 위해 pima 데이터를 이용하였다.

• Proceedings of the KIEE Conference
• /
• 2015.07a
• /
• pp.1365-1366
• /
• 2015

본 논문에서는 HOG 특징을 이용한 다항식 방사형 기저함수 신경회로망 기반 숫자 인식 시스템의 설계를 제안한다. 제안한 숫자 인식 시스템은 HOG 특징을 이용하여 숫자를 입력 데이터로 사용하기 위해 특징을 계산한다. 다항식 방사형 기저 함수 신경회로망은 고차원 데이터의 입-출력 형태를 갖는 클래스를 분류하는데 용이하며, 활성함수의 중심점 및 분포상수는 Fuzzy C-Means(FCM) 알고리즘에 의해 초기 값을 설정한다. 또한 제안한 분류기의 최적화를 위해 Particle Swarm Optimization(PSO)를 사용하여 최적화된 분류기의 성능을 비교한다. 숫자 인식을 위하여 공인 데이터베이스인 MNIST handwritten digit database를 사용하여 분류기의 성능을 평가하고 분석한다.

• Proceedings of the KIEE Conference
• /
• 2009.07a
• /
• pp.1873_1874
• /
• 2009

본 논문에서는 대표적인 시스템 모델링 도구중의 하나인 RBF 뉴럴 네트워크(Radial Basis Function Neural Network)를 설계한다. 제안된 RBF 뉴럴 네트워크는 은닉층의 활성함수로서 Fuzzy C-Means 클러스터링을 사용하며 더 나아가 모델의 최적화를 위해 PSO 알고리즘을 사용하여 은닉층의 노드 수와 다수의 입력을 가질 경우 입력의 종류를 동정한다. 제안한 모델의 성능을 평가하기 위해 NOx 데이터를 적용하였으며 제안된 모델의 근사화와 일반화 능력을 분석한다.

• Journal of Navigation and Port Research
• /
• v.32 no.5
• /
• pp.355-361
• /
• 2008

Stereo matching is one of the most active research areas in computer vision. In this paper, we propose a stereo matching scheme using genetic algorithm for object depth recognition. The proposed approach considers the matching environment as an optimization problem and finds the optimal solution by using an evolutionary strategy. Accordingly, genetic operators are adapted for the circumstances of stereo matching. An individual is a disparity set. Horizontal pixel line of image is considered as a chromosome. A cost function is composed of certain constraints which are commonly used in stereo matching. Since the cost function consists of intensity, similarity and disparity smoothness, the matching process is considered at the same time in each generation. The LoG(Laplacian of Gaussian) edge is extracted and used in the determination of the chromosome. We validate our approach with experimental results on stereo images.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.17 no.7
• /
• pp.970-976
• /
• 2007

In this study, Polynomial Network Pattern Classifier(PNC) based on Fuzzy Inference Mechanism is designed and its parameters such as learning rate, momentum coefficient and fuzzification coefficient are optimized by means of Particle Swarm Optimization. The proposed PNC employes a partition function created by Fuzzy C-means(FCM) clustering as an activation function in hidden layer and polynomials weights between hidden layer and output layer. Using polynomials weights can help to improve the characteristic of the linear classification of basic neural networks classifier. In the viewpoint of linguistic analysis, the proposed classifier is expressed as a collection of "If-then" fuzzy rules. Namely, architecture of networks is constructed by three functional modules that are condition part, conclusion part and inference part. The condition part relates to the partition function of input space using FCM clustering. In the conclusion part, a polynomial function caries out the presentation of a partitioned local space. Lastly, the output of networks is gotten by fuzzy inference in the inference part. The proposed PNC generates a nonlinear discernment function in the output space and has the better performance of pattern classification as a classifier, because of the characteristic of polynomial based fuzzy inference of PNC.