• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.11a
• /
• pp.468-471
• /
• 2012

음성을 통한 자동화된 감정 인식은 편리하고 다양한 서비스를 제공할 수 있어 중요한 연구분야라고 할 수 있다. 기계학습의 다양한 알고리즘을 사용하여 감정을 인식하는 연구가 진행되어 왔지만 그 성능은 아직 초보적 단계를 벋어나지 못하고 있는 실정이다. 앞선 연구에서 우리는 비감독 학습 방법으로 감성을 그룹화 하고 이것을 이용하여 다시 감독 학습을 하는 시스템을 소개 하였다. 본 연구에서 우리는 감독 학습 방법에서 사용했던 오류 역전파 알고리즘을 support vector machine(SVM) 으로 변경하고 몇 가지 구조를 변경하여 기능을 개선하였다. 실험을 통하여 성능을 측정하였으며 어느 정도 개선된 결과를 얻을 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.11a
• /
• pp.27-29
• /
• 2008

시스템 분석에 주로 사용하는 자료 중에는 비선형 자료와 시계열 등이 있다. 이들 자료는 그 함축적인 관계가 매우 복잡하여 전통적인 통계분석 도구로 분석하는데 어려움이 많다. 본 연구에서는 현실 세계에서 다양하게 나타나는 복잡성을 다루기 위하여 하이브리드 진화 신경망 모델링 접근 방법으로 자료를 모형화 하고 이를 통한 학습의 적합도를 살펴본다. 비선형 자료 등을 모형화하기 위한 학습은 역전파 신경망 기법을 이용한다. 학습의 효율을 높이기 의해서 격자감소 학습 알고리즘과 함께 이용하는 유전자 알고리즘은 네트워크 구조를 최적화 시킬 수 있는 초기가중값을 이용한 전역 최소값을 찾는데 이용한다. 학습 결과를 통해 제안된 하이브리드형 접근방법의 학습이 보다 효율적임을 살펴보기 위하여 유전자 알고리즘으로 최적화된 신경망 학습 알고리즘을 비선형 모의자료의 학습에 적용하여 보았다.

• The Journal of the Korea Contents Association
• /
• v.21 no.3
• /
• pp.616-625
• /
• 2021

Deep neural networks are an approximation method that approximates an arbitrary function to a linear model and then repeats additional approximation using a nonlinear active function. In this process, the method of evaluating the performance of approximation uses the loss function. Existing in-depth learning methods implement approximation that takes into account loss functions in the linear approximation process, but non-linear approximation phases that use active functions use non-linear transformation that is not related to reduction of loss functions of loss. This study proposes parametric activation functions that introduce scale parameters that can change the scale of activation functions and location parameters that can change the location of activation functions. By introducing parametric activation functions based on scale and location parameters, the performance of nonlinear approximation using activation functions can be improved. The scale and location parameters in each hidden layer can improve the performance of the deep neural network by determining parameters that minimize the loss function value through the learning process using the primary differential coefficient of the loss function for the parameters in the backpropagation. Through MNIST classification problems and XOR problems, parametric activation functions have been found to have superior performance over existing activation functions.

• Journal of Sensor Science and Technology
• /
• v.8 no.1
• /
• pp.45-52
• /
• 1999

In this raper, an enhanced learning method is proposed for improving the learning speed of the error back propagation learning algorithm. In order to cope with the premature saturation phenomenon at the initial learning stage, a variation scheme of active functions is introduced by using higher order functions, which does not need much increase of computation load. It naturally changes the learning rate of inter-connection weights to a large value as the derivative of sigmoid function abnormally decrease to a small value during the learning epoch. Also, we suggest the hybrid learning method incorporated the proposed method with the momentum training algorithm. Computer simulation results show that the proposed learning algorithm outperforms the conventional methods such as momentum and delta-bar-delta algorithms.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.19 no.12
• /
• pp.2418-2425
• /
• 1994

Although the error backpropagation(EBP) algorithm based on the gradient descent method is a widely-used learning algorithm of neural networks, learning sometimes takes a long time to acquire accuracy. This paper develops a novel learning method to alleviate the problems of EBP algorithm such as local minima, slow speed, and size of structure and thus to improve performance by adopting other new networks. Gaussian Potential Function networks(GPFN), in parallel with multilayer neural networks. Empirical simulations show the efficacy of the proposed algorithm in function approximation, which enables us to train networks faster with the better generalization capabilities.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2003.09b
• /
• pp.71-75
• /
• 2003

오류 역전파 학습 알고리즘을 이용하여 영상 인식에 적용 할 경우에는 은닉층의 노드 수를 경험적으로 설정하므로, 학습시간과 지역최소화 및 정체현상이 발생한다. 그리고 ARTI 알고리즘은 입력 패턴과 저장 패턴간의 측정 방법인 유사성 검증 방법과 경계 변수의 설정에 따라 인식률이 좌우된다. 경계 변수의 값이 크면 입력 패턴과 저장 패턴사이에 약간의 차이만 있어도 새로운 카테고리(Category)로 분류하고, 반대로 경계 변수의 값이 적으면 입력 패턴과 저장 패턴 사이에 많은 차이가 있더라도 유사성이 인정되어 입력 패턴들을 대략적으로 분류한다. 따라서 ART1 알고리즘을 영상 인식에 적용하기 위해서는 경계 변수를 경험적으로 설정하므로 인식률에 부정적인 영향을 갖는 문제점이 있다. 따라서 본 논문에서는 개선된 ART1 알고리즘과 지도 학습 방법을 결합하여 신경망의 은닉층 노드를 동적으로 변화시키는 자가 생성지도 학습 알고리즘을 제안한다. 제안된 신경망에서 입력층과 은닉층의 학습 구조에는 ART1 알고리즘을 개선하여 적용하고, 은닉층과 출력층의 학습 구조에는 은닉층에서 승자로 선택된 노드와 출력층 노드와 연결된 가중치만을 조정하고 Delta-Bar-Delta 알고리즘을 적용한다. 제안된 방법의 학습 성능을 분석하기 위하여 학생증 영상에서 추출한 학번 패턴 분류에 적용한 결과, 기존의 신경망 학습 알고리즘보다 학습 성능이 개선됨을 확인하였다.

• Journal of the Korea Society of Computer and Information
• /
• v.15 no.4
• /
• pp.57-63
• /
• 2010

The damping parameter of Levenberg-Marquardt algorithm switches between error backpropagation and Gauss-Newton learning and affects learning speed. Fixing the damping parameter induces some oscillation of error and decreases learning speed. Therefore, we propose the way of a variable damping parameter with referring to the alternation of error. The proposed method makes the damping parameter increase if error rate is large and makes it decrease if error rate is small. This method so plays the role of momentum that it can improve learning speed. We tested both iris recognition and wine recognition for this paper. We found out that this method improved learning speed in 67% cases on iris recognition and in 78% cases on wine recognition. It was also showed that the oscillation of error by the proposed way was less than those of other algorithms.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.7 no.8
• /
• pp.1743-1750
• /
• 2003

DC motor requires a rotor speed sensor for accurate speed control. The speed sensors such as resolvers and encoders are used as a speed detector, but they increase cost and size of the motor and restrict the industrial drive applications. So in these days, many papers have reported in the sensorless operation of DC motor〔3­5〕. This paper presents a new sensorless strategy using neural networks〔6­8〕. Neural network has three layers which are input layer, hidden layer and output layer. The optimal neural network structure was tracked down by trial and error, and it was found that 4­16­1 neural network structure has given suitable results for the instantaneous rotor speed. Also, learning method is very important in neural network. Supervised learning methods〔8〕 are typically used to train the neural network for learning the input/output pattern presented. The back­propagation technique adjusts the neural network weights during training. The rotor speed is gained by weights and four inputs to the neural network. The experimental results were found satisfactory in both the independency on machine parameters and the insensitivity to the load condition.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.13 no.6
• /
• pp.710-715
• /
• 2003

In this paper, we propose the new emotion recognition method for intelligently recognizing the human's emotion using the template vector and neural network. In the proposed method, human's emotion is divided into four emotion (surprise, anger, happiness, sadness). The proposed method is based on the template vector extraction and the template location recognition by using the color difference. It is not easy to extract the skin color area correctly using the single color space. To solve this problem, we propose the extraction method using the various color spaces and using the each template vectors. And then we apply the back-propagation algorithm by using the template vectors among the feature points). Finally, we show the practical application possibility of the proposed method.

• Journal of the Computational Structural Engineering Institute of Korea
• /
• v.12 no.4
• /
• pp.619-627
• /
• 1999

다분야 통합 시스템의 설계문제는 다량의 설계변수와 구속조건으로 구성되며 다수의 공학적 현상으로 연관되어 있다. 다분야 통합 최적설계 문제를 효과적으로 다루기 위해서는 다양한 해석분야의 공학적 설계원리를 동시에 고려하여 균형 있고 유기적인 방법으로 최적의 설계를 결정하는 체계적인 설계자동화기술이 요구된다. 다분야 통합 설계문제를 위한 효율적인 설계방법론으로 분리기반 최적화 기법이 적용되는데 이 방법은 한 단위의 대규모 설계문제를 여러 개의 하부시스템으로 분리하여 독립적으로 최적화를 수행하고 각 하부 시스템으로부터의 설계해 사이의 중재 및 통합화를 거쳐 최종적으로 수렴된 최적설계를 찾는 방법이다. 본 논문에서는 분리기반 최적화기법을 다분야 통합최적 설계문제에 적용하는데 필요한 시스템분리기법을 유전알고리즘 및 다층 역전 파 신경회로망을 이용하여 정립하였다. 시스템분리기법을 검증하기 위해 최근 미국 Boeing사에서 개발중인 고속 민간항공기인 HSCT의 시뮬레이션기반 설계문제를 이용하였다. 대규모 설계시스템의 분리결과는 전체 설계문제의 특성을 파악하기 위한 자료로 활용되며 향후, 분리기반 최적화과정에서 최종적으로 통합된 최적설계를 탐색하는데 필요한 기반구조를 제공한다.