• 제목/요약/키워드: Decision tree classifier

검색결과 103건 처리시간 0.031초

결정트리를 이용하는 불완전한 데이터 처리기법 (Incomplete data handling technique using decision trees)

  • 이종찬
    • 한국융합학회논문지
    • /
    • 제12권8호
    • /
    • pp.39-45
    • /
    • 2021
  • 본 논문은 손실값을 포함하는 불완전한 데이터를 처리하는 방법에 대해 논한다. 손실값을 최적으로 처리한다는 것은 학습 데이터가 가지고 있는 정보들에서 본래값과 가장 근사한 추정치를 구하고, 이 값으로 손실값을 대치하는 것이다. 이것을 실현하기 위한 방안으로 분류기가 정보를 분류하는 과정에서 완성되어가는 결정트리를 이용한다. 다시말해 이 결정트리는 전체 학습 데이터 중에서 손실값을 포함하지 않는 완전한 정보만을 C4.5 분류기에 입력하여 학습하는 과정에서 얻어진다. 이 결정트리의 노드들은 분류 변수의 정보를 가지는데, 루트에 가까운 상위 노드일수록 많은 정보를 포함하게 되고 말단 노드에서는 루트로부터의 경로를 통해 분류 영역을 형성하게 된다. 또한 각 영역에는 분류된 데이터 사건들의 평균이 기록된다. 손실값을 포함하는 사건들은 이러한 결정트리에 입력되어 각 노드의 정보에 따라 순회과정을 통해 사건과 가장 근접한 영역을 찾아가게 된다. 이 영역에 기록된 평균값을 손실값의 추정치로 간주하고, 보상 과정은 완성된다.

Hybridized Decision Tree methods for Detecting Generic Attack on Ciphertext

  • Alsariera, Yazan Ahmad
    • International Journal of Computer Science & Network Security
    • /
    • 제21권7호
    • /
    • pp.56-62
    • /
    • 2021
  • The surge in generic attacks execution against cipher text on the computer network has led to the continuous advancement of the mechanisms to protect information integrity and confidentiality. The implementation of explicit decision tree machine learning algorithm is reported to accurately classifier generic attacks better than some multi-classification algorithms as the multi-classification method suffers from detection oversight. However, there is a need to improve the accuracy and reduce the false alarm rate. Therefore, this study aims to improve generic attack classification by implementing two hybridized decision tree algorithms namely Naïve Bayes Decision tree (NBTree) and Logistic Model tree (LMT). The proposed hybridized methods were developed using the 10-fold cross-validation technique to avoid overfitting. The generic attack detector produced a 99.8% accuracy, an FPR score of 0.002 and an MCC score of 0.995. The performances of the proposed methods were better than the existing decision tree method. Similarly, the proposed method outperformed multi-classification methods for detecting generic attacks. Hence, it is recommended to implement hybridized decision tree method for detecting generic attacks on a computer network.

Black-Box Classifier Interpretation Using Decision Tree and Fuzzy Logic-Based Classifier Implementation

  • Lee, Hansoo;Kim, Sungshin
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제16권1호
    • /
    • pp.27-35
    • /
    • 2016
  • Black-box classifiers, such as artificial neural network and support vector machine, are a popular classifier because of its remarkable performance. They are applied in various fields such as inductive inferences, classifications, or regressions. However, by its characteristics, they cannot provide appropriate explanations how the classification results are derived. Therefore, there are plenty of actively discussed researches about interpreting trained black-box classifiers. In this paper, we propose a method to make a fuzzy logic-based classifier using extracted rules from the artificial neural network and support vector machine in order to interpret internal structures. As an object of classification, an anomalous propagation echo is selected which occurs frequently in radar data and becomes the problem in a precipitation estimation process. After applying a clustering method, learning dataset is generated from clusters. Using the learning dataset, artificial neural network and support vector machine are implemented. After that, decision trees for each classifier are generated. And they are used to implement simplified fuzzy logic-based classifiers by rule extraction and input selection. Finally, we can verify and compare performances. With actual occurrence cased of the anomalous propagation echo, we can determine the inner structures of the black-box classifiers.

Prediction of karst sinkhole collapse using a decision-tree (DT) classifier

  • Boo Hyun Nam;Kyungwon Park;Yong Je Kim
    • Geomechanics and Engineering
    • /
    • 제36권5호
    • /
    • pp.441-453
    • /
    • 2024
  • Sinkhole subsidence and collapse is a common geohazard often formed in karst areas such as the state of Florida, United States of America. To predict the sinkhole occurrence, we need to understand the formation mechanism of sinkhole and its karst hydrogeology. For this purpose, investigating the factors affecting sinkholes is an essential and important step. The main objectives of the presenting study are (1) the development of a machine learning (ML)-based model, namely C5.0 decision tree (C5.0 DT), for the prediction of sinkhole susceptibility, which accounts for sinkhole/subsidence inventory and sinkhole contributing factors (e.g., geological/hydrogeological) and (2) the construction of a regional-scale sinkhole susceptibility map. The study area is east central Florida (ECF) where a cover-collapse type is commonly reported. The C5.0 DT algorithm was used to account for twelve (12) identified hydrogeological factors. In this study, a total of 1,113 sinkholes in ECF were identified and the dataset was then randomly divided into 70% and 30% subsets for training and testing, respectively. The performance of the sinkhole susceptibility model was evaluated using a receiver operating characteristic (ROC) curve, particularly the area under the curve (AUC). The C5.0 model showed a high prediction accuracy of 83.52%. It is concluded that a decision tree is a promising tool and classifier for spatial prediction of karst sinkholes and subsidence in the ECF area.

자연어 처리 기반 『상한론(傷寒論)』 변병진단체계(辨病診斷體系) 분류를 위한 기계학습 모델 선정 (Selecting Machine Learning Model Based on Natural Language Processing for Shanghanlun Diagnostic System Classification)

  • 김영남
    • 대한상한금궤의학회지
    • /
    • 제14권1호
    • /
    • pp.41-50
    • /
    • 2022
  • Objective : The purpose of this study is to explore the most suitable machine learning model algorithm for Shanghanlun diagnostic system classification using natural language processing (NLP). Methods : A total of 201 data items were collected from 『Shanghanlun』 and 『Clinical Shanghanlun』, 'Taeyangbyeong-gyeolhyung' and 'Eumyangyeokchahunobokbyeong' were excluded to prevent oversampling or undersampling. Data were pretreated using a twitter Korean tokenizer and trained by logistic regression, ridge regression, lasso regression, naive bayes classifier, decision tree, and random forest algorithms. The accuracy of the models were compared. Results : As a result of machine learning, ridge regression and naive Bayes classifier showed an accuracy of 0.843, logistic regression and random forest showed an accuracy of 0.804, and decision tree showed an accuracy of 0.745, while lasso regression showed an accuracy of 0.608. Conclusions : Ridge regression and naive Bayes classifier are suitable NLP machine learning models for the Shanghanlun diagnostic system classification.

  • PDF

개선된 휴리스틱 규칙 및 의사 결정 트리 분석을 이용한 P2P 트래픽 분류 기법 (P2P Traffic Classification using Advanced Heuristic Rules and Analysis of Decision Tree Algorithms)

  • 예우지엔;조경산
    • 한국컴퓨터정보학회논문지
    • /
    • 제19권3호
    • /
    • pp.45-54
    • /
    • 2014
  • 본 논문에서는 기존 기법들의 제한점을 개선하기 위해 휴리스틱 규칙 및 기계학습 분석 결과를 이용한 두 단계의 P2P 트래픽 분류 기법을 제안한다. 첫 번째 단계는 패킷 레벨의 시그니처 기반 분류기이고, 두 번째 단계는 플로우 레벨에서 수행되는 패턴 휴리스틱 규칙 및 통계 기반 분류기이다. 제안된 패턴 휴리스틱 규칙은 분류의 정확도를 높이고 통계 기반 분류기가 처리할 트래픽의 양을 줄일 수 있다. 다양한 의사 결정 트리 알고리즘의 분석을 기반으로 통계 기반 분류기는 가장 효율적인 REPTree로 구현하고, 앙상블 알고리즘을 통해 통계 기반 분류기의 성능을 개선한다. 실제 환경의 데이터 집합을 이용한 검증 분석을 통해, 본 제안 기법이 기존 기법에 비해 높은 정확도와 낮은 과부하를 제공함을 제시한다.

다중 분포 학습 모델을 위한 Haar-like Feature와 Decision Tree를 이용한 학습 알고리즘 (Learning Algorithm for Multiple Distribution Data using Haar-like Feature and Decision Tree)

  • 곽주현;원일용;이창훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권1호
    • /
    • pp.43-48
    • /
    • 2013
  • Adaboost 알고리즘은 얼굴인식을 위한 Haar-like feature들을 이용하기 위해 가장 널리 쓰이고 있는 알고리즘이다. 매우 빠르며 효율적인 성능을 보이고 있으며 하나의 모델이미지가 존재하는 단일분포 데이터에 대해 매우 효율적이다. 그러나 정면 얼굴과 측면 얼굴을 혼합한 인식 등 둘 이상의 모델이미지를 가진 다중 분포모델에 대해서는 그 성능이 저하된다. 이는 단일 학습 알고리즘의 선형결합에 의존하기 때문에 생기는 현상이며 그 응용범위의 한계를 지니게 된다. 본 연구에서는 이를 해결하기 위한 제안으로서 Decision Tree를 Harr-like Feature와 결합하는 기법을 제안한다. Decision Tree를 사용 함으로서 보다 넓은 분야의 문제를 해결하기 위해 기존의 Decision Tree를 Harr-like Feature에 적합하도록 개선한 HDCT라고 하는 Harr-like Feature를 활용한 Decision Tree를 제안하였으며 이것의 성능을 Adaboost와 비교 평가하였다.

Decision Tree 분류기를 사용한 심전도 데이터 정확도 향상에 관한 연구 (A research on improving correctness of cardiac disorder data by using the Decision Tree Classifier)

  • 이현주;신동일;신동규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.507-509
    • /
    • 2012
  • 심전도 질환 데이터는 일반적으로 분류기를 사용한 실험이 많다. 심전도 신호는 QRS-Complex와 R-R interval을 추출하는 경우가 많은데 본 실험에서는 R-R interval을 추출하여 실험하였다. 심전도 데이터의 분류 실험은 일반적으로 SVM(Support Vector Machine)과 MLP(Multilayer Perceptron)으로 실험되지만 본 실험은 Decision Tree를 사용하여 정확도 향상을 추구하였다. 그리고 정확도 비교 분석을 위해 SVM과 MLP 분류기 실험을 같이 수행하였고, 동일한 데이터와 간격으로 실험한 타 논문의 결과와 비교해 보았다. Decision Tree를 다른 분류기와 타 논문의 결과와 비교해 보니 정확도 부분에서는 Decision Tree가 가장 우수하였다.

중요한 이벤트만을 검색함으로써 분류기의 최적 성능을 찾는 방법 (A method of searching the optimum performance of a classifier by testing only the significant events)

  • 김동희;이원돈
    • 한국정보통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1275-1282
    • /
    • 2014
  • 유비쿼터스 환경에서는 수많은 정보들이 존재한다. 하지만 이 정보들은 너무 광범위하기 때문에 이로부터 필요에 따라 적절하게 사용 할 수 있는 정보를 얻기란 쉽지가 않다. 이로 인해 의사 결정 트리 알고리즘은 데이터 마이닝 분야 또는 기계 학습 시스템 분야에서 매우 유용하게 사용된다. 왜냐하면 빠르고 정확하게 정보를 분류하여 좋은 결과를 도출하기 때문이다. 하지만 때때로 의사 결정 트리가 매우 작은 데이터나 노이즈 데이터로 구성된 리프 노드들로 인해 좋은 정보를 제공하지 못하는 경우가 있다. 이 논문은 이러한 분류 문제를 해결하기 위해 분류기, UChoo를 사용할 것이고 노이즈 또는 노이즈 형태로 보이는 리프들을 제외하고 오직 중요한 리프들만을 검사하는 효과적인 방법을 제안한다. 그리고 실험을 통하여 의사 결정시 오직 중요한 리프들만을 의사 결정 트리에서 선택함으로써 효과적으로 에러가 줄어드는 것을 보일 것이다.

소프트웨어 라디오를 위한 고속 변조 인식기 (Fast Modulation Classifier for Software Radio)

  • 박철순;장원;김대영
    • 한국통신학회논문지
    • /
    • 제32권4C호
    • /
    • pp.425-432
    • /
    • 2007
  • 본 논문에서는 사전정보 없이 입사하는 신호의 변조 형태를 자동 식별하기 위해 변조타입에 대한 민감도가 우수하고, SNR에 대한 변화가 적은 속성을 가진 7개의 특징(key features)들을 선정하였다. 또한 선정된 특징들을 이용하여 총 9종의 변조 신호(아날로그와 디지털 신호 포함)를 분류하기 위한 시뮬레이션을 수행하였다. 소프트웨어 라디오의 고속 변조 인식기 탑재를 고려하여, 4 타입의 변조인식기에 대한 인식 정확도 및 수행시간을 검토하였다. 시뮬레이션 결과 인식시간은 DTC(Decision Tree Classifier)가 가장 빠르게 수행되었고, 인식정확도는 SVC(Support Vector Machine Classifier)과 MDC(Minimum Distance Classifier)가 우수하게 제시되었다. 변조 인식기의 프로토타입은 처리 속도가 가장 우수한 DTC로 구현되었다. 필드 실험 결과, 인식 성능은 DTC 시뮬레이션 결과와 일치하는 것을 확인하였다.