• Journal of the Korean Data and Information Science Society
• /
• 제22권5호
• /
• pp.931-940
• /
• 2011

분류분석은 학습표본으로부터 분류규칙을 도출한 후 새로운 표본에 적용하여 특정 범주로 분류하는 방법이다. 데이터의 복잡성에 따라 다양한 분류분석 방법이 개발되어 왔지만, 데이터 차원이 높고 변수간 상관성이 높은 경우 정확하게 분류하는 것은 쉽지 않다. 본 연구에서는 데이터차원이 상대적으로 높고 변수간 상관성이 높을 때 강건한 분류방법을 제안하고자 한다. 부분최소자승법은 연속형데이터에 사용되는 기법으로서 고차원이면서 독립변수간 상관성이 높을 때 예측력이 높은 통계기법으로 알려져 있는 다변량 분석기법이다. 벌점 부분최소자승법을 이용한 분류방법을 실제데이터와 시뮬레이션을 적용하여 성능을 비교하고자 한다.

• Journal of the Korean Data and Information Science Society
• /
• 제22권3호
• /
• pp.613-618
• /
• 2011

The proposed method is based on a penalized log partial likelihood of Cox proportional hazard model with L1-penalty. We use the iteratively reweighted least squares procedure to solve L1 penalized log partial likelihood function of Cox proportional hazard model. It provide the ecient computation including variable selection and leads to the generalized cross validation function for the model selection. Experimental results are then presented to indicate the performance of the proposed procedure.

• 전자공학회논문지
• /
• 제53권3호
• /
• pp.124-131
• /
• 2016

분광법을 이용한 많은 응용에서 스펙트럼 데이터의 기준선 보정은 분석 시스템의 성능을 좌우하는 매우 중요한 과정이다. 기준선은 많은 경우에 육안 검사로 매개변수를 선택하여 추정한다. 이 과정은 매우 주관적이고 특히 대량의 데이터인 경우 지루한 작업을 동반하므로 좋은 분석 결과를 보장하기 어렵다. 이러한 이유로 기준선 보정에서 최적의 매개변수를 자동으로 선택하기 위한 객관적인 방법이 필요하다. 이전의 연구에서 PLS(penalized least squares) 방법에 새로운 가중 방식을 도입하여 기준선을 추정하는 arPLS(asymmetrically reweighted PLS) 방법을 제안하였다. 본 연구에서는 arPLS 방법에서 최적의 매개변수를 자동으로 선택하는 방법을 제안한다. 이 방법은 가능한 매개변수의 범위에서 추정한 기준선의 적응도와 평활도를 계산한 다음 정규화한 적응도와 평활도의 합이 최소가 되는 매개변수를 선택한다. 경사 기준선, 곡선 기준선, 이중 곡선 기준선의 모의실험 데이터와 실제 라만 스펙트럼을 이용한 실험에서 제안한 방법이 기준선 보정을 위한 최적 매개변수의 선택에 효과적으로 적용될 수 있음을 확인하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제22권5호
• /
• pp.951-959
• /
• 2011

The proposed method is based on a penalized censored regression model with L1-penalty. We use the iteratively reweighted least squares procedure to solve L1 penalized log likelihood function of censored regression model. It provide the efficient computation of regression parameters including variable selection and leads to the generalized cross validation function for the model selection. Numerical results are then presented to indicate the performance of the proposed method.

• 한국산학기술학회논문지
• /
• 제20권3호
• /
• pp.500-506
• /
• 2019

본 연구에서는 arPLS(asymmetrically reweighted penalized least squares) 방법에서 분광신호의 길이와 차수를 이용한 최적의 평활화 매개변수를 위한 결정함수를 제안한다. 분광신호의 기준선 보정은 분석 시스템의 성능을 좌우하는 매우 중요한 과정으로 많은 경우에 육안 검사로 매개변수를 선택하여 추정한다. 이 과정은 매우 주관적이고 특히 대량의 데이터인 경우 지루한 작업을 동반하므로 좋은 분석 결과를 보장하기 어렵다. 이러한 이유로 기준선 보정에서 최적의 매개변수를 결정하기 위한 객관적인 방법이 필요하다. 제안한 결정함수는 기준선 보정에 사용 가능한 매개변수 범위의 중앙값이 신호의 길이가 길어질수록 증가하고, 신호의 차수가 작아질수록 감소하는 관계를 정리하여 모델링하였다. 모의실험 데이터는 신호의 길이 7가지에 대해 조합한 분석신호 4가지와 선형 기준선과 2차, 3차, 4차 곡선 기준선을 각각 더하여 모두 112개를 생성하였다. 모의실험 데이터와 실제 라만 분광신호를 이용한 실험에서 제안한 결정함수의 평활화 매개변수가 기준선 보정에 효과적으로 적용될 수 있음을 확인하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제27권6호
• /
• pp.1653-1660
• /
• 2016

Smoothly clipped absolute deviation (SCAD) penalty is known to satisfy the desirable properties for penalty functions like as unbiasedness, sparsity and continuity. In this paper, we deal with the regression function estimation and variable selection based on SCAD penalized censored regression model. We use the local linear approximation and the iteratively reweighted least squares algorithm to solve SCAD penalized log likelihood function. The proposed method provides an efficient method for variable selection and regression function estimation. The generalized cross validation function is presented for the model selection. Applications of the proposed method are illustrated through the simulated and a real example.

• Journal of the Korean Data and Information Science Society
• /
• 제27권3호
• /
• pp.827-833
• /
• 2016

In this paper, we propose a deep least squares support vector machine (LS-SVM) for regression problems, which consists of the input layer and the hidden layer. In the hidden layer, LS-SVMs are trained with the original input variables and the perturbed responses. For the final output, the main LS-SVM is trained with the outputs from LS-SVMs of the hidden layer as input variables and the original responses. In contrast to the multilayer neural network (MNN), LS-SVMs in the deep LS-SVM are trained to minimize the penalized objective function. Thus, the learning dynamics of the deep LS-SVM are entirely different from MNN in which all weights and biases are trained to minimize one final error function. When compared to MNN approaches, the deep LS-SVM does not make use of any combination weights, but trains all LS-SVMs in the architecture. Experimental results from real datasets illustrate that the deep LS-SVM significantly outperforms state of the art machine learning methods on regression problems.

• Communications for Statistical Applications and Methods
• /
• 제29권6호
• /
• pp.641-653
• /
• 2022

Penalized least squares methods are important tools to simultaneously select variables and estimate parameters in linear regression. The penalized maximum likelihood can also be used for the same purpose assuming that the error distribution falls in a certain parametric family of distributions. However, the use of a certain parametric family can suffer a misspecification problem which undermines the estimation accuracy. To give sufficient flexibility to the error distribution, we propose to use the symmetric log-concave error distribution with LASSO penalty. A feasible algorithm to estimate both nonparametric and parametric components in the proposed model is provided. Some numerical studies are also presented showing that the proposed method produces more efficient estimators than some existing methods with similar variable selection performance.

• IEIE Transactions on Smart Processing and Computing
• /
• 제5권5호
• /
• pp.319-322
• /
• 2016

We propose a parametric blind deconvolution method for bi-level images with unknown intensity levels that estimates unknown parameters for point spread functions and images by minimizing a penalized nonlinear least squares objective function based on normalized correlation coefficients and two regularization functions. Unlike conventional methods, the proposed method does not require knowledge about true intensity values. Moreover, the objective function of the proposed method can be effectively minimized, since it has the special structure of nonlinear least squares. We demonstrate the effectiveness of the proposed method through simulations and experiments.

• Journal of the Korean Data and Information Science Society
• /
• 제18권3호
• /
• pp.629-636
• /
• 2007

A kernel type semi-supervised estimate is proposed. The proposed estimate is based on the penalized least squares loss and the principle of Gaussian Random Fields Model. As a result, we can estimate the label of new unlabeled data without re-computation of the algorithm that is different from the existing transductive semi-supervised learning. Also our estimate is viewed as a general form of Gaussian Random Fields Model. We give experimental evidence suggesting that our estimate is able to use unlabeled data effectively and yields good classification.