• The Journal of Society for e-Business Studies
• /
• v.25 no.3
• /
• pp.1-13
• /
• 2020

Machine learning refers to a model generation technique that can solve specific problems from the generalization process for given data. In order to generate a high performance model, high quality training data and learning algorithms for generalization process should be prepared. As one way of improving the performance of model to be learned, the Ensemble technique generates multiple models rather than a single model, which includes bagging, boosting, and stacking learning techniques. This paper proposes a new Ensemble technique with multiple stacking that outperforms the conventional stacking technique. The learning structure of multiple stacking ensemble technique is similar to the structure of deep learning, in which each layer is composed of a combination of stacking models, and the number of layers get increased so as to minimize the misclassification rate of each layer. Through experiments using four types of datasets, we have showed that the proposed method outperforms the exiting ones.

• The Korean Journal of Applied Statistics
• /
• v.34 no.2
• /
• pp.153-166
• /
• 2021

A main goal of pharmacogenomics studies is to predict individual's drug responsiveness based on high dimensional genetic variables. Due to a large number of variables, feature selection is required in order to reduce the number of variables. The selected features are used to construct a predictive model using machine learning algorithms. In the present study, we applied several hybrid feature selection methods such as combinations of logistic regression, ReliefF, TurF, random forest, and LASSO to a next generation sequencing data set of 400 epilepsy patients. We then applied the selected features to machine learning methods including random forest, gradient boosting, and support vector machine as well as a stacking ensemble method. Our results showed that the stacking model with a hybrid feature selection of random forest and ReliefF performs better than with other combinations of approaches. Based on a 5-fold cross validation partition, the mean test accuracy value of the best model was 0.727 and the mean test AUC value of the best model was 0.761. It also appeared that the stacking models outperform than single machine learning predictive models when using the same selected features.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.426-427
• /
• 2023

최근 현대인의 식습관 및 고령화로 인해 당뇨병 환자의 수가 연간 증가하고 있다. 따라서 현재는 아직 당뇨병이 발생하지 않았더라도 미래에 발생할 가능성 예측의 중요성이 커지고 있다. 기존의 당뇨병 발생 여부 진단 연구는 회귀 분석과 같은 단일 모델을 사용하여 수행된다. 그러나 당뇨병에 영향을 미치는 변수들은 복잡하게 얽혀있어 단일 모델만으로는 패턴을 충분히 학습하기 어렵다. 본 논문에서는 데이터에 적합하게 자동으로 다층 스태킹 앙상블 모델을 구성하는 알고리즘을 이용한 다층 스태킹 앙상블 모델을 제안한다. 제안하는 방법은 성능이 높은 모델들을 기준으로 층을 쌓으며 모델을 구성하며 실험 결과 다른 자동 기계학습 라이브러리와 비교해 F1 score 기준으로 최대 12.89%p의 성능 향상을 보였다.

• Journal of Convergence for Information Technology
• /
• v.9 no.6
• /
• pp.83-90
• /
• 2019

People constantly strive for better choices. For this reason, recommender system has been developed since the early 1990s. In particular, collaborative filtering technique has shown excellent performance in the field of recommender systems, and research of recommender system using machine learning has been actively conducted. This study constructs recommender system using collaborative filtering and machine learning based on stacking model which is one of ensemble methods. The results of this study confirm that the recommender system with the stacking model is useful in aspects of recommender performance. In the future, the model proposed in this study is expected to help individuals or firms to make better choices.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.566-569
• /
• 2021

전력수요는 월, 요일 및 시간의 계절성(Seasonality)을 보이는 데이터이다. 각 계절성에 따라 특성이 다르기 때문에, 전력수요를 예측하기 위해서는 계절성의 특성을 고려한 다양한 모델을 선정하고, 병합하는 방법이 필요하다. 본 연구에서는 전력수요의 계절성을 고려한 다양한 예측모델을 병합하여 이용할 수 있도록 스태킹 앙상블 적용하고 실험결과를 기술한다. 또한, 162개 도시의 기상 데이터와 인구 데이터를 예측에 이용하는 방법, Regression 모델과 Time-series모델에 입력하는 특징(Feature)의 전처리 방법, 베이지안 최적화를 이용한 머신러닝 및 딥러닝 모델의 하이퍼파라메터 최적화 방법을 제시한다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.182-182
• /
• 2021

본 연구에서는 1일부터 최대 7일까지의 시간을 두고 남한 전체의 유출량에 대한 예측 모형을 제시하고자 한다. 이를 위하여 LSM (Land Surface Model) 모형을 사용하여 유출량을 모의하였고 이 과정에서 미 계측치에 대한 유출량을 예측하기 위하여 Xgboost (Extreme Gradient Boost)를 활용하여 매개변수를 지역화하였다. 이러한 지역화 기법을 통하여 남한 전체의 유출량에 대한 그리드화 된 유출값을 얻을 수 있었다. 또한 본 연구에서는 기상 예측자료를 유출량에 대한 예측으로 변환하기 위하여 Stacking 앙상블 기반의 수문학적 후처리 기법을 사용하였다. Stacking 앙상블 기법은 Base-learner와 Meta-learner의 조합으로 이루어 지는데 본 연구에서 새롭게 사용되는 패널티 기반의 분위회귀분석 방법론은 기존의 방법론과의 비교에 있어서 유용한 것으로 파악되었다. 결과적으로 본 연구에서는 총 7일의 앞선 시간의 예측에 있어서 한반도 전체의 유출량에서 비교적 짧은 시간에 대한 예측인 1일과 2일에서의 예측은 실질적으로 사용이 가능한 것으로 파악되었다.

• Journal of the Computational Structural Engineering Institute of Korea
• /
• v.36 no.1
• /
• pp.9-18
• /
• 2023

Predicting the compressive strength of high-performance concrete (HPC) is challenging because of the use of additional cementitious materials; thus, the development of improved predictive models is essential. The purpose of this study was to develop an HPC compressive-strength prediction model using an ensemble machine-learning method of combined bagging and stacking techniques. The result is a new ensemble technique that integrates the existing ensemble methods of bagging and stacking to solve the problems of a single machine-learning model and improve the prediction performance of the model. The nonlinear regression, support vector machine, artificial neural network, and Gaussian process regression approaches were used as single machine-learning methods and bagging and stacking techniques as ensemble machine-learning methods. As a result, the model of the proposed method showed improved accuracy results compared with single machine-learning models, an individual bagging technique model, and a stacking technique model. This was confirmed through a comparison of four representative performance indicators, verifying the effectiveness of the method.

• The Journal of Engineering Geology
• /
• v.5 no.3
• /
• pp.331-337
• /
• 1995

In estimating the azimuth of regional earthquakes with single -station three - component data, in some cases the result is dependent on the selection of waveforms, making the measurement subjective and inconvenient in automatic detection. In this paper an alternative approach is proposed in which the azimuth is measured from quite a long wave train by time - direction stacking technique. Test with digital waveform data from Korean seimic stations shows that the simple algorithm seems to be able to give a better estima- tion of azimuth of earthquakes at regional distances.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.101-101
• /
• 2023

지난 수십 년 동안 다양한 딥러닝 방법이 개발되고 있으며 수문 분야에서는 이러한 딥러닝 모형이 기존의 수문모형의 역할을 대체하여 사용할 수 있다는 가능성이 제시되고 있다. 본 연구에서는 딥러닝 모형 중에 트랜스포머 모형에 다중 인코더를 사용하여 중장기 기간 (1 ~ 10일)의 리드 타임에 대한 한국의 유출량 예측 전망의 가능성을 확인하고자 하였다. 트랜스포머 모형은 인코더와 디코더 구조로 구성되어 있으며 어텐션 (attention) 기법을 사용하여 기존 모형의 정보를 손실하는 단점을 보완한 모형이다. 본 연구에서 사용된 다중 인코더 기반의 트랜스포머 모델은 트랜스포머의 인코더와 디코더 구조에서 인코더를 하나 더 추가한 모형이다. 그리고 결과 비교를 위해 기존에 수문모형을 활용한 스태킹 앙상블 모형 (Stacking ensemble model) 기반의 예측모형을 추가로 구축하였다. 구축된 모형들은 남한 전체를 총 469개의 대규모 격자로 나누어 각 격자의 유출량을 비교하여 평가하였다. 결과적으로 수문모형보다 딥러닝 모형인 다중 인코더 기반의 트랜스포머 모형이 더 긴 리드 타임에서 높은 성능을 나타냈으며 이를 통해 수문모형의 역할을 딥러닝 모형이 어느 정도는 대신할 수 있고 높은 성능을 가질 수 있는 것을 확인하였다.

• Therapeutic Science for Rehabilitation
• /
• v.10 no.2
• /
• pp.95-108
• /
• 2021

Objective : This study aimed to develop prototypes of "smart stacking cones" by combining ICT to evaluate and train the upper extremity function and dual task performance in patients with central nervous system impairment, and to identify the complementary point to the completion of the device through a usability test. Methods : This prototype comprised of a hardware and software system that enabled the evaluation and training of patients and the management of data obtained from patients' performance. Specific measurement variables were established so that patient performance could be measured correctly. Based on the measurement variables, a the prototype included a 'single task evaluation modes', 'dual task evaluation mode', 'single task training mode', and 'dual task training modes'. Additionally, a usability test was conducted to assess clinical applicability and overall satisfaction for the prototype. Results : The results of the usability test were generally found to be appropriate. The 'content adequacy' in the usability test was the area with the highest level of adequacy and the lowest level of inadequacy. Additionally, overall 'satisfaction' in the usability test was the area with the highest appropriate and inappropriate levels. Hence, the overall satisfaction results were unstable. Conclusion : Future studies should be conducted to identify the clinical effectiveness of the device by applying an upgraded smart stacking cone to an actual patient group.