• Communications for Statistical Applications and Methods
• /
• 제4권2호
• /
• pp.327-332
• /
• 1997

다층 신경망은 비모수 회귀함수 추정의 한 방법이다. 다충 신경망을 학습시키기 위해 역전파 알고리즘이 널리 사용되고 있다. 그러나 이 알고리즘은 이상치에 매우 민감하여 이상치를 포함하고 있는 자료에 대하여 원하지 않는 회귀함수를 추정한다. 본 논문에서는 통계물리에서 자주 사용하는 방법을 이용하여 로버스트 역전파 알고리즘을 제안하고 수학적으로 신경망과 매우 유사한 PRP(projection pursuit regression) 방법, 일반적인 역전파 알고리즘과 모의실험을 통해 비교 분석한다.

• 한국데이타베이스학회:학술대회논문집
• /
• 한국데이타베이스학회 1998년도 국제 컨퍼런스: 국가경쟁력 향상을 위한 디지틀도서관 구축방안
• /
• pp.584-594
• /
• 1998

선형회귀분석은 가장 널리 사용되는 데이터 분석기법이지만 독립변수와 종속변수간의 관계가 선형이라고 가정하기 때문에 문제점을 가지고 있다. 비모수 회귀분석(Nonparametric Regression)은 선형회귀분석의 문제점을 극복할 수 있는 방법으로 변수간의 관계의 형태를 미리 가정하지 않고 데이터에 의해 결정하는 방법이다. 본 연구에서는 유전자 알고리즘을 비모수 회귀분석법 중의 하나인 Regressoin Splines에 적용하였다. 인위적 데이터를 이용한 평가 결과 유전자 알고리즘은 다양한 상황에서 매우 우수한 것으로 나타났다.

• 정보처리학회논문지B
• /
• 제8B권5호
• /
• pp.477-484
• /
• 2001

본 논문에서는 회귀용 support vector machine의 성능 개선을 위한 모멘텀과 kernel-adatron 기법이 조합형 학습알고리즘을 제안하였다. 제안된 학습알고리즘은 supper vector machine의 학습기법인 기술기상승법에 발생하는 최적해로의 수렴에 따란 발진을 억제하여 그수렴속도를 좀 더 개선시키는 모멘텀의 장점과 비선형 특징공간에서의 동작과 구현의 용이성을 갖는 kernel-adatorn 알고리즘의 장점을 그대로 살린 것이다. 제안된 알고리즘의 support vector machine을 1차원과 2차원 비선형 함수 회귀에 적용하여 시뮬레이션한 결과, 학습속도에 있어서 2차 프로그래밍과 기존의 kernel-adaton 알고리즘보다 더 우수하고, 회귀성능면에서도 우수한 성능이 있음을 확인하였다.

• 전자공학회논문지S
• /
• 제36S권4호
• /
• pp.83-92
• /
• 1999

본 논문에서는 Jue Chang 과 John R. Glover 가 1993년에 제안한 회귀적 적응 주기 신호 검출기[1]를 소개하고 이를 구현하기 위한 최적의 실시간 알고리즘을 제안하여 회귀적 주기 신호 검출기의 실용적인 응용 예를 제시하였다. 회귀적 적응 주기신호 검출기(FALE:Feedback Adaptive Line Enhancer)는 기존의 적응 주기 신호 검출기에 회귀 경로를 달아줌으로써, 필터 차수를 같게 했을 때 낮은 신호 대 잡음비 환경 하에서 더 높은 필터 이득과 더 낮은 추정 오차를 얻을 수 있다. 회귀 경로를 통해 들어오는 필터 출력 신호는 회귀 이득 상수 값에 따라 전체 시스템의 성능이 달라지므로 최적의 회귀 이득 상수를 찾아내는 것이 중요하며 이는 회귀 이득 상수를 변화시키며 최적의 결과값(최소 추정오차)을 유도하는 실험을 통해 얻을 수 있다. 한편, 이를 구현하는 문제에 있어서는 일잔 최적의 회귀 이득 상수 값이 정해지면 회귀 이득 상수가 초기 값으로부터 최적 값에 도달하는 변화율과 변화 유형이 시스템의 실시간 구현 및 성능에 중요한 영향을 미치게 된다. 본 논문에서는 실험을 통해 최적의 구현 알고리즘을 찾아냄으로써 Jue Chang 과 John R, Glover가 제시한 이론적인 수렴율과 수렴 성능을 유지하면서 실시간으로 동작하는 시스템을 구현하고 모의실험을 통한 성능분석 결과를 제시하였다.

• 한국수자원학회논문집
• /
• 제31권1호
• /
• pp.59-69
• /
• 1998

빈도별 홍수량의 지역분석을 위하여 유역의 지형특성을 독립변수로 이용하는 회귀모형을 검정하였다. 그런데 이들 독립변수들간의 상관관계가 존재할 경우 능형회귀모형이 이용되기도 하는 이 방법은 다중공선성 문제를 극복하는데 적합한 방법으로 알려져 있다. 능형회귀모형을 최적화하기 위해서는 조정변수가 포함되는 비용함수를 최소화하여야 한다. 본 연구에서는 이 최적화를 위하여 유전알고리즘을 이용하였다. 유전알고리즘은 자연 생물의 유전 및 진화과정을 모방한 추계학적 탐색방법을 말한다. 이러한 유전알고리즘을 이용하여 지역분석 모형을 검정한 결과 안정된 매개변수의 가중치를 얻을 수 있었다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2000년도 추계학술대회 학술발표 논문집
• /
• pp.93-96
• /
• 2000

본 논문에서는 SVM의 학습성 개선을 위해 모멘트와 kernel-adatron 기법이 조합된 하이브리드 학습알고리즘을 제안하였다. 제안된 학습알고리즘은 SVM의 학습기법인 기울기상승법에서 발생하는 최적해로의 수렴에 따른 발진을 억제하여 그 수렴속도를 좀 더 개선시키는 모멘트의 장점과 비선형 특징공간에서의 동작과 구현의 용이성을 가진 kernel-adatron 알고리즘의 장점을 그대로 살리는 것이다. 제안된 알고리즘을 비선형 함수 회귀에 적용해 본 결과 학습속도에 있어서 QP와 기존의 kernel-adatron 알고리즘보다 더 우수한 성능이 있음을 확인하였다

• 한국통계학회:학술대회논문집
• /
• 한국통계학회 2003년도 추계 학술발표회 논문집
• /
• pp.263-268
• /
• 2003

Breiman, Friedman, Olshen and Stone(1984)의 전체탐색법에 의한 회귀나무는 상대적으로 많은 분리가 가능한 변수로 분리기준이 정해지는 편의 현상을 갖고 있다. 본 연구에서는 이런 문제점을 해결할 수 있는 알고리즘을 제안하여 변수선택편의가 없는 회귀나무를 만들고자 한다. 제안하는 알고리즘은 노드의 분리변수를 선택하는 단계와 그 선택된 변수에 의해 이진분리를 위한 분리점을 찾는 단계로 구성되어 있다. 예측변수 중에서 목표변수와 가장 밀접하게 연관된 예측변수는 예측변수의 자료의 종류에 따라 스피어만의 순위상관계수에 의한 검정 혹은 크루스칼-왈리스의 통계량에 의한 검정을 수행하여 가장 통계적으로 유의한 변수로 선택하였고, 선택된 변수에만 Breiman et al.(1984)의 전체선택법을 적용하여 분리점을 결정하였다. 모의실험을 통해 변수선택편의, 변수선택력 , 그리고 평균제곱오차 측면에서 Breiman et al. (1984)의 CART(Classification and Regression Trees)와 제안한 알고리즘을 서로 비교하였다. 또한, 두 알고리즘을 실제 자료에 적용하여 효율을 서로 비교하였다.

• 정보처리학회논문지D
• /
• 제16D권5호
• /
• pp.729-736
• /
• 2009

소프트웨어 공학에서 정확한 개발 비용 예측은 성공적인 개발 프로젝트를 위한 필수적인 요소로, 현재까지 많은 소프트웨어 비용산정을 위한 모델들이 개발되어 왔다. 전통적인 통계적 기법부터 기계학습을 적용한 알고리즘까지 다양한 분야의 아이디어를 접목하고 있다. 본 논문에서는 소프트웨어 개발 비용 예측을 위한 방법으로 유전 알고리즘과 서포트 벡터 머신의 회귀모델인 서포트 벡터 회귀를 결합한 GA-SVR 모델을 제안한다. 제안된 모델은 기존의 연구에 비해 향상된 결과를 보이고 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.770-773
• /
• 2017

Linear Regression 문제를 토대로 변형하여 선형회귀분석, 2차함수모형 회귀분석, '단조 증가(감소)' 3차 함수 모형 회귀분석과 그에 따라 변형되는 gradient descent 알고리즘을 기술한다.

• 한국시뮬레이션학회논문지
• /
• 제18권4호
• /
• pp.137-148
• /
• 2009

본 논문의 목적은 신뢰성 있는 선형회귀모델을 구축하기 위하여 후보독립변수 중 유효변수를 선택하는 알고리즘을 구현하는 것이다. 선형회귀모델을 구축하는데 있어서 데이터 상의 모든 후보독립변수를 포함하는 것은 모델의 통계적 유의성을 감소시킬 수 있으며, 차원의 저주(Curse of dimensionality)를 유발할 수 있고, 데이터의 개수보다 변수의 개수가 많을 경우 모델의 구축이 불가능한 문제점 등이 있다. 이와 같은 문제점을 해결하기 위하여 변수선택의 문제를 조합최적화의 문제로 보고 유전 알고리즘(Genetic Algorithm)을 활용하였다. 일반적으로 선형회귀모델의 통계적 유의성을 평가하는 대표적인 통계량으로는 종속변수에 대한 독립변수의 설명력을 나타내는 결정계수($R^2$), 회귀식의 통계적 유의성을 검정하는 F통계량, 회귀계수의 통계적 유의성을 검정하는 t통계량, 잔차의 표준오차 등이 있다. 모델의 통계적 유의성은 하나의 통계량으로 표현될 수 없으므로 다양한 기준을 고려한 다중목적식(Multi-objective function)을 가지는 유전 알고리즘을 설계하였다. 설계한 알고리즘의 성능평가를 위하여 다양한 조건을 가정한 시뮬레이션 데이터에 적용하였다. 그 결과 구축한 알고리즘이 유효변수를 판단함에 있어 기존의 대표적인 변수선택 알고리즘인 LARS(Least Angle Regression)에 비해 우수한 성능을 보임을 확인할 수 있었다. 또한, 주가 데이터를 이용한 포트폴리오 선택에 적용해 본 결과 우수한 응용문제 해결 능력이 있음을 확인할 수 있었다.