• Communications for Statistical Applications and Methods
• /
• v.4 no.2
• /
• pp.327-332
• /
• 1997

다층 신경망은 비모수 회귀함수 추정의 한 방법이다. 다충 신경망을 학습시키기 위해 역전파 알고리즘이 널리 사용되고 있다. 그러나 이 알고리즘은 이상치에 매우 민감하여 이상치를 포함하고 있는 자료에 대하여 원하지 않는 회귀함수를 추정한다. 본 논문에서는 통계물리에서 자주 사용하는 방법을 이용하여 로버스트 역전파 알고리즘을 제안하고 수학적으로 신경망과 매우 유사한 PRP(projection pursuit regression) 방법, 일반적인 역전파 알고리즘과 모의실험을 통해 비교 분석한다.

• Proceedings of the Korea Database Society Conference
• /
• 1998.09a
• /
• pp.584-594
• /
• 1998

선형회귀분석은 가장 널리 사용되는 데이터 분석기법이지만 독립변수와 종속변수간의 관계가 선형이라고 가정하기 때문에 문제점을 가지고 있다. 비모수 회귀분석(Nonparametric Regression)은 선형회귀분석의 문제점을 극복할 수 있는 방법으로 변수간의 관계의 형태를 미리 가정하지 않고 데이터에 의해 결정하는 방법이다. 본 연구에서는 유전자 알고리즘을 비모수 회귀분석법 중의 하나인 Regressoin Splines에 적용하였다. 인위적 데이터를 이용한 평가 결과 유전자 알고리즘은 다양한 상황에서 매우 우수한 것으로 나타났다.

• The KIPS Transactions:PartB
• /
• v.8B no.5
• /
• pp.477-484
• /
• 2001

This paper proposes a hybrid learning algorithm combined momentum and kernel-adatron for improving the performance of regression support vector machine. The momentum is utilized for high-speed convergence by restraining the oscillation in the process of converging to the optimal solution, and the kernel-adatron algorithm is also utilized for the capability by working in nonlinear feature spaces and the simple implementation. The proposed algorithm has been applied to the 1-dimension and 2-dimension nonlinear function regression problems. The simulation results show that the proposed algorithm has better the learning speed and performance of the regression, in comparison with those quadratic programming and kernel-adatron algorithm.

• Journal of the Korean Institute of Telematics and Electronics S
• /
• v.36S no.4
• /
• pp.83-92
• /
• 1999

본 논문에서는 Jue Chang 과 John R. Glover 가 1993년에 제안한 회귀적 적응 주기 신호 검출기[1]를 소개하고 이를 구현하기 위한 최적의 실시간 알고리즘을 제안하여 회귀적 주기 신호 검출기의 실용적인 응용 예를 제시하였다. 회귀적 적응 주기신호 검출기(FALE:Feedback Adaptive Line Enhancer)는 기존의 적응 주기 신호 검출기에 회귀 경로를 달아줌으로써, 필터 차수를 같게 했을 때 낮은 신호 대 잡음비 환경 하에서 더 높은 필터 이득과 더 낮은 추정 오차를 얻을 수 있다. 회귀 경로를 통해 들어오는 필터 출력 신호는 회귀 이득 상수 값에 따라 전체 시스템의 성능이 달라지므로 최적의 회귀 이득 상수를 찾아내는 것이 중요하며 이는 회귀 이득 상수를 변화시키며 최적의 결과값(최소 추정오차)을 유도하는 실험을 통해 얻을 수 있다. 한편, 이를 구현하는 문제에 있어서는 일잔 최적의 회귀 이득 상수 값이 정해지면 회귀 이득 상수가 초기 값으로부터 최적 값에 도달하는 변화율과 변화 유형이 시스템의 실시간 구현 및 성능에 중요한 영향을 미치게 된다. 본 논문에서는 실험을 통해 최적의 구현 알고리즘을 찾아냄으로써 Jue Chang 과 John R, Glover가 제시한 이론적인 수렴율과 수렴 성능을 유지하면서 실시간으로 동작하는 시스템을 구현하고 모의실험을 통한 성능분석 결과를 제시하였다.

• Journal of Korea Water Resources Association
• /
• v.31 no.1
• /
• pp.59-69
• /
• 1998

A regression model with basin physiographic characteristics as independent variables was calibrated for regional flood frequency analysis. In case that high correlations existing among the independent variables the ridge regression has been known to have capability of overcoming the problems of multicollinearity. To optimize the ridge regression model the cost function including regularization parameter must be minimized. In this research the genetic algorithm was applied on this optimization problem. The genetic algorithm is a stochastic search method that mimic the metaphor of natural biological heredity. Using this method the regression model could have optimized and stable weights of variables.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2000.11a
• /
• pp.93-96
• /
• 2000

본 논문에서는 SVM의 학습성 개선을 위해 모멘트와 kernel-adatron 기법이 조합된 하이브리드 학습알고리즘을 제안하였다. 제안된 학습알고리즘은 SVM의 학습기법인 기울기상승법에서 발생하는 최적해로의 수렴에 따른 발진을 억제하여 그 수렴속도를 좀 더 개선시키는 모멘트의 장점과 비선형 특징공간에서의 동작과 구현의 용이성을 가진 kernel-adatron 알고리즘의 장점을 그대로 살리는 것이다. 제안된 알고리즘을 비선형 함수 회귀에 적용해 본 결과 학습속도에 있어서 QP와 기존의 kernel-adatron 알고리즘보다 더 우수한 성능이 있음을 확인하였다

• Proceedings of the Korean Statistical Society Conference
• /
• 2003.10a
• /
• pp.263-268
• /
• 2003

Breiman, Friedman, Olshen and Stone(1984)의 전체탐색법에 의한 회귀나무는 상대적으로 많은 분리가 가능한 변수로 분리기준이 정해지는 편의 현상을 갖고 있다. 본 연구에서는 이런 문제점을 해결할 수 있는 알고리즘을 제안하여 변수선택편의가 없는 회귀나무를 만들고자 한다. 제안하는 알고리즘은 노드의 분리변수를 선택하는 단계와 그 선택된 변수에 의해 이진분리를 위한 분리점을 찾는 단계로 구성되어 있다. 예측변수 중에서 목표변수와 가장 밀접하게 연관된 예측변수는 예측변수의 자료의 종류에 따라 스피어만의 순위상관계수에 의한 검정 혹은 크루스칼-왈리스의 통계량에 의한 검정을 수행하여 가장 통계적으로 유의한 변수로 선택하였고, 선택된 변수에만 Breiman et al.(1984)의 전체선택법을 적용하여 분리점을 결정하였다. 모의실험을 통해 변수선택편의, 변수선택력 , 그리고 평균제곱오차 측면에서 Breiman et al. (1984)의 CART(Classification and Regression Trees)와 제안한 알고리즘을 서로 비교하였다. 또한, 두 알고리즘을 실제 자료에 적용하여 효율을 서로 비교하였다.

• The KIPS Transactions:PartD
• /
• v.16D no.5
• /
• pp.729-736
• /
• 2009

The accurate estimation of software development cost is important to a successful development in software engineering. Until recent days, the model using regression analysis based on statistical algorithm and machine learning method have been used. However, this paper estimates the software cost using support vector regression, a sort of machine learning technique. Also, it finds the best set of optimized parameters applying genetic algorithm. The proposed GA-SVR model outperform some recent results reported in the literature.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.770-773
• /
• 2017

Linear Regression 문제를 토대로 변형하여 선형회귀분석, 2차함수모형 회귀분석, '단조 증가(감소)' 3차 함수 모형 회귀분석과 그에 따라 변형되는 gradient descent 알고리즘을 기술한다.

• Journal of the Korea Society for Simulation
• /
• v.18 no.4
• /
• pp.137-148
• /
• 2009

The purpose of this study is to implement variable selection algorithm which helps construct a reliable linear regression model. If we use all candidate variables to construct a linear regression model, the significance of the model will be decreased and it will cause 'Curse of Dimensionality'. And if the number of data is less than the number of variables (dimension), we cannot construct the regression model. Due to these problems, we consider the variable selection problem as a combinatorial optimization problem, and apply GA (Genetic Algorithm) to the problem. Typical measures of estimating statistical significance are $R^2$, F-value of regression model, t-value of regression coefficients, and standard error of estimates. We design GA to solve multi-objective functions, because statistical significance of model is not to be estimated by a single measure. We perform experiments using simulation data, designed to consider various kinds of situations. As a result, it shows better performance than LARS (Least Angle Regression) which is an algorithm to solve variable selection problems. We modify algorithm to solve portfolio selection problem which construct portfolio by selecting stocks. We conclude that the algorithm is able to solve real problems.