• Journal of information and communication convergence engineering
• /
• 제11권4호
• /
• pp.258-267
• /
• 2013

New incremental learning algorithm using extended data expression, based on probabilistic compounding, is presented in this paper. Incremental learning algorithm generates an ensemble of weak classifiers and compounds these classifiers to a strong classifier, using a weighted majority voting, to improve classification performance. We introduce new probabilistic weighted majority voting founded on extended data expression. In this case class distribution of the output is used to compound classifiers. UChoo, a decision tree classifier for extended data expression, is used as a base classifier, as it allows obtaining extended output expression that defines class distribution of the output. Extended data expression and UChoo classifier are powerful techniques in classification and rule refinement problem. In this paper extended data expression is applied to obtain probabilistic results with probabilistic majority voting. To show performance advantages, new algorithm is compared with Learn++, an incremental ensemble-based algorithm.

• Journal of Information Processing Systems
• /
• 제16권2호
• /
• pp.360-376
• /
• 2020

Many heuristic attribute reduction algorithms have been proposed to find a single reduct that functions as the entire set of original attributes without loss of classification capability; however, the proposed reducts are not always perfect for these multiclass datasets. In this study, based on a probabilistic rough set model, we propose the class-oriented attribute reduction (COAR) algorithm, which separately finds a reduct for each target class. Thus, there is a strong dependence between a reduct and its target class. Consequently, we propose a type of ensemble constructed on a group of classifiers based on class-oriented reducts with a customized weighted majority voting strategy. We evaluated the performance of our proposed algorithm based on five real multiclass datasets. Experimental results confirm the superiority of the proposed method in terms of four general evaluation metrics.

• 한국생물정보학회:학술대회논문집
• /
• 한국생물정보시스템생물학회 2005년도 BIOINFO 2005
• /
• pp.237-242
• /
• 2005

Predicting the cellular location of an unknown protein gives a valuable information for inferring the possible function of the protein. For more accurate prediction system, we need a good feature extraction method that transforms the raw sequence data into the numerical feature vector, minimizing information loss. In this paper, we propose new methods of extracting underlying features only from the sequence data by computing pairwise sequence alignment scores. In addition, we use composition based features to improve prediction accuracy. To construct an SVM ensemble from separately trained SVM classifiers, we propose specificity based weighted majority voting. The overall prediction accuracy evaluated by the 5-fold cross-validation reached 88.53% for the eukaryotic animal data set. By comparing the prediction accuracy of various feature extraction methods, we could get the biological insight on the location of targeting information. Our numerical experiments confirm that our new feature extraction methods are very useful for predicting subcellular localization of proteins.

• ETRI Journal
• /
• 제39권6호
• /
• pp.851-858
• /
• 2017

Parkinson's disease is a growing and chronic movement disorder, and its diagnosis is difficult especially at the initial stages. In this paper, movement characteristics extracted by a computer using multilayer back propagation neural network mapping are converted to the symptoms of this disease. Then, modulation of three classifiers of C4.5, k-nearest neighbors, and support vector machine with majority voting are applied to support experts in diagnosing the disease. The purpose of this study is to choose appropriate characteristics and increase the accuracy of the diagnosis. Experiments were performed to demonstrate the improvement of Parkinson's disease diagnosis using this method.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제12권3호
• /
• pp.193-197
• /
• 2012

This paper focuses on identifying which appliance is currently operating by analyzing electrical load signature for home energy monitoring system. The identification framework is comprised of three steps. Firstly, specific appliance features, or signatures, were chosen, which are DC (Duty Cycle), SO (Slope of On-state), VO (Variance of On-state), and ZC (Zero Crossing) by reviewing observations of appliances from 13 houses for 3 days. Five appliances of electrical rice cooker, kimchi-refrigerator, PC, refrigerator, and TV were chosen for the identification with high penetration rate and total operation-time in Korea. Secondly, K-NN and Naive Bayesian classifiers, which are commonly used in many applications, are employed to estimate from which appliance the signatures are obtained. Lastly, one of candidates is selected as final identification result by majority voting. The proposed identification frame showed identification success rate of 94.23%.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권3_4호
• /
• pp.251-258
• /
• 2003

Support Vector Machine(SVM)은 이론상으로 좋은 일반화 성능을 보이지만, 실제적으로 구현된 SVM은 이론적인 성능에 미치지 못한다. 주 된 이유는 시간, 공간상의 높은 복잡도로 인해 근사화된 알고리듬으로 구현하기 때문이다. 본 논문은 SVM의 분류성능을 향상시키기 위해 Bagging(Bootstrap aggregating)과 Boosting을 이용한 SVM 앙상블 구조의 구성을 제안한다. SVM 앙상블의 학습에서 Bagging은 각각의 SVM의 학습데이타는 전체 데이타 집합에서 임의적으로 일부 추출되며, Boosting은 SVM 분류기의 에러와 연관된 확률분포에 따라 학습데이타를 추출한다. 학습단계를 마치면 다수결 (Majority voting), 최소자승추정법(LSE:Least Square estimation), 2단계 계층적 SVM등의 기법에 개개의 SVM들의 출력 값들이 통합되어진다. IRIS 분류, 필기체 숫자인식, 얼굴/비얼굴 분류와 같은 여러 실험들의 결과들은 제안된 SVM 앙상블의 분류성능이 단일 SVM보다 뛰어남을 보여준다.

• Journal of the Korean Data and Information Science Society
• /
• 제24권6호
• /
• pp.1113-1125
• /
• 2013

기업의 부도를 예측하는 것은 회계나 재무 분야에서 중요한 연구주제이다. 지금까지 기업 부도예측을 위해 여러 가지 데이터마이닝 기법들이 적용되었으나 주로 단일 모형을 사용함으로서 복잡한 분류 문제에의 적용에 한계를 갖고 있었다. 본 논문에서는 최근에 각광받고 있는 SVM (support vector machine) 모형들을 결합한 앙상블 SVM 모형 (ensemble SVM model)을 부도예측에 사용하고자 한다. 제안된 앙상블 모형은 v-조각 교차 타당성 (v-fold cross-validation)에 의해 얻어진 여러 가지 모형 중에서 성능이 좋은 상위 k개의 단일 모형으로 구성하고 과반수 투표 방식 (majority voting)을 사용하여 미지의 클래스를 분류한다. 본 논문에서 제안된 앙상블 SVM 모형의 성능을 평가하기 위해 실제 기업의 재무비율 자료와 모의실험자료를 가지고 실험하였고, 실험결과 제안된 앙상블 모형이 여러 가지 평가척도 하에서 단일 SVM 모형들보다 좋은 성능을 보임을 알 수 있었다.

• 전자공학회논문지CI
• /
• 제43권5호
• /
• pp.38-47
• /
• 2006

기존의 인식 방법은 물체에 대한 형상 정보 또는 움직임을 특징으로 한 단일 인식기를 사용한다. 하지만, 기존의 단일 특징 기반의 단일 인식기를 사용하는 방법의 인식 성능은 물체의 영역에 대한 정확한 검출에 크게 의존하는 단점을 가진다. 본 논문에서는 이러한 기존 인식방법의 단점을 해결하고, 인식의 신뢰성을 높이기 위해서 세 가지 인식기에 의한 각 결과를 Bayesian을 이용하여 융합하는 새로운 인식 방법을 제안한다. 첫 번째 인식기는 푸리에 묘사자로부터 얻은 형상 정보를 특징으로 한 신경망을 사용하고, 두 번째 인식기는 형상 정보에 대한 기울기를 바탕으로 한 통계적인 방법을 사용한다. 또한. 세 번째 인식기는 검출된 물체의 일정 부분의 움직임에 대한 모션 정보를 특징으로 하여 인식한다. 본 논문의 실험결과에서 제안한 결과 융합방법은 기존의 Majority Voting과 Weight Average Score 방법에 비해서 더 우수한 인식 성능을 보여준다.

• 대한원격탐사학회지
• /
• 제28권5호
• /
• pp.489-499
• /
• 2012

이 논문에서는 원격탐사 자료의 분류를 목적으로 서로 다른 훈련 집단들과 분류자들로부터 생성된 분류 결과들을 결합하는 분류 틀을 제안하였다. 제안 분류 틀의 핵심 부분은 서로 다른 훈련 집단과 분류자들을 이용함으로써 분류 결과 사이의 다양성을 증가시켜서 결과적으로 분류 정확도를 향상시키는데 있다. 제안 분류 틀에서는 우선 서로 다른 샘플링 밀도를 가지는 서로 다른 훈련 집단들을 생성한 후에, 이들을 서로 다른 구분 능력을 나타내는 분류자들의 입력 훈련 자료로 사용한다. 그리고 초기 분류 결과들에 다수결 규칙을 적용하여 최종 분류 결과를 얻게 된다. 다중 시기 ENVISAT ASAR 자료를 이용한 토지 피복 분류사례 연구를 통해 제안 방법론의 적용 가능성을 검토하였다. 사례 연구에서 3개의 훈련 집단과 최대우도 분류자, 다층 퍼셉트론 분류자, support vector machine 등과 같은 3개의 분류자를 이용한 9개의 분류 결과를 결합하였다. 사례 연구 결과, 제안 분류 틀 안에서 토지 피복 구분에 관한 상호 보완적인 정보의 이용이 가능해져서 가장 높은 분류 정확도를 나타내었다. 서로 다른 결합들을 비교하였을 때, 다양성이 크지 않은 분류 결과들을 결합한 경우에는 분류 정확도의 향상이 나타나지 않았다. 따라서 다중 분류 시스템의 설계시 분류자들의 다양성을 확보하는 것이 중요함을 확인할 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권7호
• /
• pp.949-958
• /
• 2004

본 연구는 대용량 훈련 데이타를 사용하는 얼굴 검출 분류기의 학습과정에서 새로운 데이터의 추가 학습이 가능한 새로운 방법을 제안한다. 추가되는 데이타로부터 새로운 정보를 학습하여 이미 습득된 기존의 지식을 갱신하는 것이 점진적 학습의 목표이다. 이러한 학습 기법에 기반한 분류기의 설계에서는 최종 분류기가 전체 훈련 데이타 집합의 특성을 반영하는 것이 매우 중요한 문제이다. 제안하는 알고리즘은 최적화된 최종 분류기 획득을 위하여 훈련 집합의 전역적인 특성을 대표하는 검증집합을 생성하고, 이 집단 내에서의 분류성능을 기준으로 중간단계 분류기들의 가중치를 결정한다. 각 중간단계 분류기는 개변 데이타 집합의 학습 결과로써 가중치 기반 결합 방식에 의해 최종 분류기로 구성된다. 반복적인 실험을 통해, 제안한 알고리즘을 사용하여 학습한 얼굴 검출 분류기의 성능이 AdaBoost 및 Learn＋＋기반의 분류기보다 우수한 검출 성능을 보임을 확인하였다.