• Communications for Statistical Applications and Methods
• /
• 제13권2호
• /
• pp.449-466
• /
• 2006

We propose to use variable selection methods based on penalized regression for pruning decision tree ensembles. Pruning methods based on LASSO and SCAD are compared with the cluster pruning method. Comparative studies are performed on some artificial datasets and real datasets. According to the results of comparative studies, the proposed methods based on penalized regression reduce the size of boosting ensembles without decreasing accuracy significantly and have better performance than the cluster pruning method. In terms of classification noise, the proposed pruning methods can mitigate the weakness of AdaBoost to some degree.

• 대한상한금궤의학회지
• /
• 제14권1호
• /
• pp.41-50
• /
• 2022

Objective : The purpose of this study is to explore the most suitable machine learning model algorithm for Shanghanlun diagnostic system classification using natural language processing (NLP). Methods : A total of 201 data items were collected from 『Shanghanlun』 and 『Clinical Shanghanlun』, 'Taeyangbyeong-gyeolhyung' and 'Eumyangyeokchahunobokbyeong' were excluded to prevent oversampling or undersampling. Data were pretreated using a twitter Korean tokenizer and trained by logistic regression, ridge regression, lasso regression, naive bayes classifier, decision tree, and random forest algorithms. The accuracy of the models were compared. Results : As a result of machine learning, ridge regression and naive Bayes classifier showed an accuracy of 0.843, logistic regression and random forest showed an accuracy of 0.804, and decision tree showed an accuracy of 0.745, while lasso regression showed an accuracy of 0.608. Conclusions : Ridge regression and naive Bayes classifier are suitable NLP machine learning models for the Shanghanlun diagnostic system classification.

• Journal of the Korean Data and Information Science Society
• /
• 제24권6호
• /
• pp.1341-1348
• /
• 2013

데이터베이스 마케팅과 시장예측 등의 분야에서 분류문제를 해결하기 위해 다양한 데이터마이닝 기법들이 적용되고 있다. 본 연구에서는 데일리 렌즈 고객들의 거래 데이터를 기반으로 의사결정나무, 로지스틱 회귀모형과 같은 기존의 통계적 분류기법과 최근에 개발된 배깅, 부스팅, 라소, 랜덤 포리스트 그리고 지지벡터기계의 분류 성능을 비교하고자 한다. 비교 실험을 위해 데이터 정제, 탐색, 파생변수 생성, 그리고 변수 선택과정을 거쳤다. 실험결과 정분류율 측면에서는 지지벡터기계가 다른 모형보다 근소하게 높았지만 표준편차가 크게 나왔다. 정분류율과 표준편차의 관점에서는 랜덤 포리스트가 가장 좋은 결과를 보였다. 그러나 모형의 해석, 간명성 그리고 학습에 걸리는 시간을 고려하였을 때 라소모형이 적합하다는 결론을 내렸다.

• Journal of the Korean Data and Information Science Society
• /
• 제28권6호
• /
• pp.1257-1260
• /
• 2017

최근 1인 가구가 급격히 증가하고 있으며, 그 증가의 원인 중 하나는 독거노인 수의 증가이다. 이러한 거주형태 변화는 필연적으로 정책적인 변화를 요구하므로 1인 가구의 공간적인 분포를 파악하는 것은 중요한 문제로 볼 수 있다. 또한 공간적인 군집이 나타나게 된 요인들에 대해 이해하는 것은 효율적인 정책 수립에 유리 할 것이다. 본 연구에서는 사회경제적인 불평등을 반영하는 박탈지수 (deprivation index)를 설명변수로 고려하면서 1인 가구와 저소득 독거노인에 대한 공간 군집 탐색을 하였다. 이를 위해서 fused lasso를 이용한 공간 군집 탐색방법이 사용되었다. 이 방법을 통하여 낮은 사회경제적 수준이 l인가구와 저소득 독거노인의 수에 얼마나 영향을 미치는지 확인하고, 박탈정도의 효과가 보정된 공간군집을 살펴보았다. 또한 정수형 자료에서 벌칙가능도함수를 이용한 공간 군집 탐색을 할 수 있도록 구현된 R패키지의 사용법을 자세히 소개하였다.

• 한국지능시스템학회논문지
• /
• 제25권5호
• /
• pp.477-482
• /
• 2015

단기풍속 예측을 위한 진화적 선형 및 비선형 회귀분석 기반의 보정 기법을 비교한다. 모델의 체계적 오류를 교정하기 위한 효율적인 MOS(Model Output Statistics)의 개발이 필요하나, 기존의 선형회귀분석 기반의 보정기법은 다양한 기상요소의 복잡한 비선형 특성을 반영하기 힘들다. 이를 개선하기 위해서 유전 프로그래밍을 사용하여 풍속 예측에 대한 비선형 보정 수식을 생성하는 기법을 제안하고 기본 다중선형회귀분석법 및 Ridge, Lasso 회귀분석법과 비교한다. 더불어, 선형회귀분석법과 진화적 비선형회귀분석 기법의 인자 선택의 차이와 유사성을 비교하고 분석한다. 2007년~2013년의 KLAPS(Korea Local Analysis and Prediction System) 재분석자료를 사용하여 제주도와 부산지역의 격자점에 대한 실험을 수행한다.

• 문화기술의 융합
• /
• 제6권1호
• /
• pp.111-120
• /
• 2020

본 연구는 소셜네트워크서비스(SNS)상의 빅데이터를 이용한 텍스트 분석기법의 응용으로서 설문 조사 기반의 여론 조사 방법론과 달리 비정형적 언어 기반의 감성 여론 조사 방법론을 제안한다. 기존의 설문 기반 여론 분석모형에 대한 대안적 방법으로 주관성에 기초한 감성 분류 모형을 이용하였다. 이를 위하여, 제20대 국회의원 선거운동 기간 중 선거 관련 실시간 트위터 자료를 수집하여 속성 기반 감성 분석을 이용한 여론의 극성과 강도에 대한 실증 분석을 수행하였다. 개별 SNS에서 사용된 단어의 극성을 분류하기 위해 Lasso 및 Ridge 회귀 모형을 이용하여 극성에 영향력이 큰 변수를 추출하였다. 추출된 변수가 극성에 미치는 긍정 및 부정에 대한 영향을 구분하고, 영향력의 강도를 분석하였다. 대중들이 소셜네트워크상에서 표현한 내용을 바탕으로 한 여론에 대한 긍정 및 부정의 감성 분석을 통해 여론의 향방을 예측하고 극성분석 모형의 정확도를 측정하여, 여론 조사 분야에서 감성 분석 방법론의 적용가능성을 확인하였다.

• 한국농공학회논문집
• /
• 제61권4호
• /
• pp.75-86
• /
• 2019

Recently, natural disasters due to abnormal climates are frequently outbreaking, and there is rapid increase of damage to aged agricultural infrastructure. As agricultural infrastructure facilities are in contact with water throughout the year and the number of them is significant, it is important to build a maintenance management system. Especially, the current maintenance management system of pumping and drainage stations among the agricultural facilities has the limit of lack of objectivity and management personnel. The purpose of this study is to develop a performance evaluation model using the factors related to performance degradation of pumping and drainage facilities and to predict the performance of the facilities in response to climate change. In this study, we focused on the pumping and drainage stations belonging to each climatic zone separated by the Korea geographical climatic classification system. The performance evaluation model was developed using three different statistical models of POLS, RE, and LASSO. As the result of analysis of statistical models, LASSO was selected for the performance evaluation model as it solved the multicollinearity problem between variables, and showed the smallest MSE. To predict the performance degradation due to climate change, the climate change response variables were classified into three categories: climate exposure, sensitivity, and adaptive capacity. The performance degradation prediction was performed at each facility using the developed performance evaluation model and the climate change response variables.

• Journal of Sleep Medicine
• /
• 제15권2호
• /
• pp.48-54
• /
• 2018

Objectives: The aim of this study was to develop a predicting model for the optimal continuous positive airway pressure (CPAP) for obstructive sleep apnea (OSA) patient with obesity by using a machine learning. Methods: We retrospectively investigated the medical records of 162 OSA patients who had obesity [body mass index (BMI) ≥ 25] and undertaken successful CPAP titration study. We divided the data to a training set (90%) and a test set (10%), randomly. We made a random forest model and a least absolute shrinkage and selection operator (lasso) regression model to predict the optimal pressure by using the training set, and then applied our models and previous reported equations to the test set. To compare the fitness of each models, we used a correlation coefficient (CC) and a mean absolute error (MAE). Results: The random forest model showed the best performance {CC 0.78 [95% confidence interval (CI) 0.43-0.93], MAE 1.20}. The lasso regression model also showed the improved result [CC 0.78 (95% CI 0.42-0.93), MAE 1.26] compared to the Hoffstein equation [CC 0.68 (95% CI 0.23-0.89), MAE 1.34] and the Choi's equation [CC 0.72 (95% CI 0.30-0.90), MAE 1.40]. Conclusions: Our random forest model and lasso model ($26.213+0.084{\times}BMI+0.004{\times}$apnea-hypopnea index+$0.004{\times}oxygen$ desaturation index-$0.215{\times}mean$ oxygen saturation) showed the improved performance compared to the previous reported equations. The further study for other subgroup or phenotype of OSA is required.

• Journal of Korea Trade
• /
• 제25권5호
• /
• pp.110-128
• /
• 2021

Purpose - The essential purpose of this study is to analyze the possibility of substitution of an individual job resulting from technological development represented by the 4th Industrial Resolution, considering the different effects of digital transformation on the labor market. Design/methodology - In order to estimate the substitution probability, this study used two data sets which the job characteristics data for individual occupations provided by KEIS and the information on occupational status of substitution provided by Frey and Osborne(2013). In total, 665 occupations were considered in this study. Of these, 80 occupations had data with labels of substitution status. The primary goal of estimation was to predict the degree of substitution for 607 of 665 occupations (excluding 58 with markers). It utilized three methods a principal component analysis, an unsupervised learning methodology of machine learning, and Ridge and Lasso from supervised learning methodology. After extracting significant variables based on the three methods, this study carried out logistics regression to estimate the probability of substitution for each occupation. Findings - The probability of substitution for other occupational groups did not significantly vary across individual models, and the rank order of the probabilities across occupational groups were similar across models. The mean of three methods of substitution probability was analyzed to be 45.3%. The highest value was obtained using the PCA method, and the lowest value was derived from the LASSO method. The average substitution probability of the trading industry was 45.1%, very similar to the overall average. Originality/value - This study has a significance in that it estimates the job substitution probability using various machine learning methods. The results of substitution probability estimation were compared by industry sector. In addition, This study attempts to compare between trade business and industry sector.

• 응용통계연구
• /
• 제34권3호
• /
• pp.411-425
• /
• 2021

가속화 실패시간모형은 로그 생존시간과 공변량간의 선형적 관계를 묘사해 준다. 가속화 실패시간모형에서 생존시간의 평균뿐만 아니라 변동성에도 영향을 미치는 공변량 효과를 추론하는 것은 흥미가 있다. 이를 위해 생존시간의 평균뿐만 아니라 분산을 모형화 하는 것이 필요하며, 이러한 모형을 평균-분산 가속화 실패시간모형이라 부른다. 본 논문에서는 벌점 가능도함수를 이용하여 평균-분산 가속화 실패시간모형에서 회귀모수에 대한 변수선택 절차를 제안한다. 여기서 벌점함수로서 LASSO, ALASSO, SCAD 그리고 HL (계층가능도)와 같은 네 가지 벌점함수를 연구한다. 제안된 변수선택 절차를 통해 중요한 공변량의 선택 뿐만 아니라 회귀모수의 추정을 동시에 제공할 수 있다. 제안된 방법의 성능은 모의실험을 통해 평가하고, 하나의 임상 예제자료를 통해 제안된 방법을 예증하고자 한다.