• Title/Summary/Keyword: 앙상블 결정트리

Search Result 18, Processing Time 0.023 seconds

Removing the Feature Redundancy using Correlation-Based Approach for Decision Tree Ensemble (의사결정 트리 앙상블을 구축하기 위한 상관성 기반 기법을 이용한 속성 중복성 제거)

  • Piao, Yongjun;Piao, Minghao;Shon, Ho Sun;Ryu, Keun Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.1229-1231
    • /
    • 2011
  • 대량의 분류 규칙 탐사 과정은 앙상블기법을 사용하여 다양한 연구들이 이루어지고 있다. 본 논문에서는 의사결정 트리의 분열 문제와 singleton 포함 한계를 해결하기 위하여 Cascading-and-Sharing 앙상블 기법을 적용하여 점진적 다중 의사결정 트리를 구축하였다. 또한 분류의 정확도를 향상시키고, 트리의 복잡도와 모델 과잉접합을 피하기 위하여 다중 트리 구축과정에서 선형 상관분석기법을 기반으로 훈련 데이터 속성들의 중복성을 제거하였다. 실험 결과, 속성들의 중복성을 제거하여 구축한 트리들은 원래 기법보다 더 좋은 결과를 보여주었다.

The guideline for choosing the right-size of tree for boosting algorithm (부스팅 트리에서 적정 트리사이즈의 선택에 관한 연구)

  • Kim, Ah-Hyoun;Kim, Ji-Hyun;Kim, Hyun-Joong
    • Journal of the Korean Data and Information Science Society
    • /
    • v.23 no.5
    • /
    • pp.949-959
    • /
    • 2012
  • This article is to find the right size of decision trees that performs better for boosting algorithm. First we defined the tree size D as the depth of a decision tree. Then we compared the performance of boosting algorithm with different tree sizes in the experiment. Although it is an usual practice to set the tree size in boosting algorithm to be small, we figured out that the choice of D has a significant influence on the performance of boosting algorithm. Furthermore, we found out that the tree size D need to be sufficiently large for some dataset. The experiment result shows that there exists an optimal D for each dataset and choosing the right size D is important in improving the performance of boosting. We also tried to find the model for estimating the right size D suitable for boosting algorithm, using variables that can explain the nature of a given dataset. The suggested model reveals that the optimal tree size D for a given dataset can be estimated by the error rate of stump tree, the number of classes, the depth of a single tree, and the gini impurity.

Human Gender Recognition Using Neural Network Ensembles (신경망 앙상블을 이용한 인간 성별 인식)

  • Ryu, Jung-Won;Cho, Sung-Bae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10a
    • /
    • pp.555-558
    • /
    • 2001
  • 본 논문에서는 인간 행동의 성별 인식문제를 해결하기 위해 여러 개의 전문가(expert) 신경망의 앙상블로 이루어진 결합 신경망 분류기를 제안한다. 하나는 여러 개의 modular 다층퍼셉트론을 계층형으로 결합한 모텔이고, 다른 하나는 modular 다층퍼셉트론들의 출력값을 의사결정트리로 결합하는 모델이다. 데이터 베이스는 남녀 각 13 명의 데이터로 이루어져 있고, 문 두드리기, 손 흔들기, 물건 들어올리기의 세 가지 동작을, 보통 상태 혹은 화난 상태하에서 10 회씩 반복 수행하여 저장하였다. 행위자의 움직임은 몸에 부착된 6 개의 적외선 센서를 사용하여 기록 되었으며, 2 차원 혹은 3 차원 속도 및 좌표가 그 특징값으로 사용되었다. 앙상블 분류기의 성능을 비교하기 위하여 단일 다층퍼셉트론, 의사결정트리, 자기구성지도 및 support vector machine 을 사용한 실험 결과를 보였다. 실험 결과, 신경망 앙상블 모델이 다른 전통적인 분류기 및 사람에 비하여 훨씬 우수한 성능을 보였음을 알 수 있었다.

  • PDF

An Empirical Analysis of Boosing of Neural Networks for Bankruptcy Prediction (부스팅 인공신경망학습의 기업부실예측 성과비교)

  • Kim, Myoung-Jong;Kang, Dae-Ki
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.14 no.1
    • /
    • pp.63-69
    • /
    • 2010
  • Ensemble is one of widely used methods for improving the performance of classification and prediction models. Two popular ensemble methods, Bagging and Boosting, have been applied with great success to various machine learning problems using mostly decision trees as base classifiers. This paper performs an empirical comparison of Boosted neural networks and traditional neural networks on bankruptcy prediction tasks. Experimental results on Korean firms indicated that the boosted neural networks showed the improved performance over traditional neural networks.

Human Action Recognition in Still Image Using Weighted Bag-of-Features and Ensemble Decision Trees (가중치 기반 Bag-of-Feature와 앙상블 결정 트리를 이용한 정지 영상에서의 인간 행동 인식)

  • Hong, June-Hyeok;Ko, Byoung-Chul;Nam, Jae-Yeal
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.38A no.1
    • /
    • pp.1-9
    • /
    • 2013
  • This paper propose a human action recognition method that uses bag-of-features (BoF) based on CS-LBP (center-symmetric local binary pattern) and a spatial pyramid in addition to the random forest classifier. To construct the BoF, an image divided into dense regular grids and extract from each patch. A code word which is a visual vocabulary, is formed by k-means clustering of a random subset of patches. For enhanced action discrimination, local BoF histogram from three subdivided levels of a spatial pyramid is estimated, and a weighted BoF histogram is generated by concatenating the local histograms. For action classification, a random forest, which is an ensemble of decision trees, is built to model the distribution of each action class. The random forest combined with the weighted BoF histogram is successfully applied to Standford Action 40 including various human action images, and its classification performance is better than that of other methods. Furthermore, the proposed method allows action recognition to be performed in near real-time.

P2P Traffic Classification using Advanced Heuristic Rules and Analysis of Decision Tree Algorithms (개선된 휴리스틱 규칙 및 의사 결정 트리 분석을 이용한 P2P 트래픽 분류 기법)

  • Ye, Wujian;Cho, Kyungsan
    • Journal of the Korea Society of Computer and Information
    • /
    • v.19 no.3
    • /
    • pp.45-54
    • /
    • 2014
  • In this paper, an improved two-step P2P traffic classification scheme is proposed to overcome the limitations of the existing methods. The first step is a signature-based classifier at the packet-level. The second step consists of pattern heuristic rules and a statistics-based classifier at the flow-level. With pattern heuristic rules, the accuracy can be improved and the amount of traffic to be classified by statistics-based classifier can be reduced. Based on the analysis of different decision tree algorithms, the statistics-based classifier is implemented with REPTree. In addition, the ensemble algorithm is used to improve the performance of statistics-based classifier Through the verification with the real datasets, it is shown that our hybrid scheme provides higher accuracy and lower overhead compared to other existing schemes.

Performance Analysis of Explainers for Sentiment Classifiers of Movie Reviews (영화평 감성 분석기를 대상으로 한 설명자의 성능 분석)

  • Park, Cheon-Young;Lee, Kong Joo
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.563-568
    • /
    • 2020
  • 본 연구에서는 블랙박스로 알려진 딥러닝 모델에 설명 근거를 제공할 수 있는 설명자 모델을 적용해 보았다. 영화평 감성 분석을 위해 MLP, CNN으로 구성된 딥러닝 모델과 결정트리의 앙상블인 Gradient Boosting 모델을 이용하여 감성 분류기를 구축하였다. 설명자 모델로는 기울기(gradient)을 기반으로 하는 IG와 레이어 사이의 가중치(weight)을 기반으로 하는 CAM, 그리고 설명가능한 대리 모델을 이용하는 LIME과 입력 속성에 대한 선형모델을 추정하는 SHAP을 사용하였다. 설명자 모델의 특성을 보기 위하여 히트맵과 관련성 높은 N개의 속성을 추출해 보았다. 설명자가 제공하는 기여도에 따라 입력 속성을 제거해 가며 분류기 성능 변화를 측정하는 정량적 평가도 수행하였다. 또한, 사람의 판단 근거와의 일치도를 살펴볼 수 있는 '설명 근거 정확도'라는 새로운 평가 방법을 제안하여 적용해 보았다.

  • PDF

Pedestrian detection in thermal image using hot-spot region (열 영상에서 핫 스팟 영역을 이용한 휴먼 보행자 검출 기법)

  • Kim, Deok-Yeon;Ko, Byoung-Chul;Nam, Jae-Yeal
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06b
    • /
    • pp.348-350
    • /
    • 2012
  • 본 논문에서는 열 영상카메라를 통해 입력 받은 영상을 CS-LBP(Center-symmetric LBP)와 랜덤 포레스트(Random forest)를 이용하여 보행자 휴먼 객체를 검출하는 방법을 제안한다. 우선 불필요한 후보영역을 줄이기 위해 열 영상의 표준편차, 밝기 평균, 밝기 최대값을 이용하여 이진화하고, 신체부위 중 가장 발열이 강한 얼굴부위를 핫스팟 영역으로 설정한다. 그 후, 핫스팟 영역에서 CS-LBP특징을 추출하여 결정 트리의 앙상블인 랜덤 포레스트 분류기를 이용하여 최종적인 보행자 휴먼 객체를 검증한다. CS-LBP와 랜덤 포레스트 분류기를 통해 실시간 보행자 객체의 검출이 가능하고, 높은 검출 성능을 나타내었다.

Understanding Customer Purchasing Behavior in E-Commerce using Explainable Artificial Intelligence Techniques (XAI 기법을 이용한 전자상거래의 고객 구매 행동 이해)

  • Lee, Jaejun;Jeong, Ii Tae;Lim, Do Hyun;Kwahk, Kee-Young;Ahn, Hyunchul
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2021.07a
    • /
    • pp.387-390
    • /
    • 2021
  • 최근 전자 상거래 시장이 급격한 성장을 이루면서 고객들의 급변하는 니즈를 파악하는 것이 기업들의 수익에 직결되는 요소로 인식되고 있다. 이에 기업들은 고객들의 니즈를 신속하고 정확하게 파악하기 위해, 기축적된 고객 관련 각종 데이터를 활용하려는 시도를 강화하고 있다. 기존 시도들은 주로 구매 행동 예측에 중점을 두었으나 고객 행동의 전후 과정을 해석하는데 있어 어려움이 존재했다. 본 연구에서는 고객이 구매한 상품을 확정 또는 환불하는 행동을 취할 때 해당 행동이 발생하는데 있어 어떤 요소들이 작용하였는지를 파악하고, 어떤 고객이 환불할 지를 예측하는 예측 모형을 새롭게 제시한다. 예측 모형 구현에는 트리 기반 앙상블 방법을 사용해 예측력을 높인 XGBoost 기법을 적용하였으며, 고객 의도에 영향을 미치는 요소들을 파악하기 위하여 대표적인 설명가능한 인공지능(XAI) 기법 중 하나인 SHAP 기법을 적용하였다. 이를 통해 특정 고객 행동에 대한 각 요인들의 전반적인 영향 뿐만 아니라, 각 개별 고객에 대해서도 어떤 요소가 환불결정에 영향을 미쳤는지 파악할 수 있었다. 이를 통해 기업은 고객 개개인의 의사 결정에 영향을 미치는 요소를 파악하여 개인화 마케팅에 사용할 수 있을 것으로 기대된다.

  • PDF

An Experimental Study on the Estimation Flow-rate of Venturi Pump Using LightGBM (LightGBM을 이용한 수력 펌프 유량 추정의 실험적 연구)

  • Jin Beom Jeong;Jihwan Lee;Myeongcheol Kang
    • Journal of Drive and Control
    • /
    • v.20 no.4
    • /
    • pp.123-132
    • /
    • 2023
  • In disaster situations, to facilitate rapid drainage, electric underwater pumps are installed manually. This poses a high risk of electric shock accidents due to a short circuit, and a lot of time is required for hose connection and installation of electrical devices. To solve these problems, a Venturi pump using the venturi effect without external power is used. However, Venturi pumps that operate without external power make it difficult to install flow sensors such as electric devices; consequently, it is difficult to check the real-time flow rate. This paper proposes a flow estimation logic to replace the function of the flow sensor for the venturi pump . To develop the flow estimation logic, the flow characteristics of the venturi pump, according to the operating conditions, were checked. After that, the relationship with the flow rate of the venturi pump was defined using a pressure sensor corresponding to a low-cost sensor. Finally, an analysis of the estimation error was performed using the developed flow estimation logic.