• 지능정보연구
• /
• 제16권4호
• /
• pp.99-112
• /
• 2010

앙상블 학습은 분류 및 예측 알고리즘의 성과개선을 위하여 제안된 기계학습 기법이다. 그러나 앙상블 학습은 기저 분류자의 다양성이 부족한 경우 다중공선성 문제로 인하여 성과개선 효과가 미약하고 심지어는 성과가 악화될 수 있다는 문제점이 제기되었다. 본 연구에서는 기저 분류자의 다양성을 확보하고 앙상블 학습의 성과개선 효과를 제고하기 위하여 유전자 알고리즘 기반의 범위 최적화 기법을 제안하고자 한다. 본 연구에서 제안된 최적화 기법을 기업 부실예측 인공신경망 앙상블에 적용한 결과 기저 분류자의 다양성이 확보되고 인공신경망 앙상블의 성과가 유의적으로 개선되었음을 보여주었다.

• 대한원격탐사학회지
• /
• 제28권5호
• /
• pp.489-499
• /
• 2012

이 논문에서는 원격탐사 자료의 분류를 목적으로 서로 다른 훈련 집단들과 분류자들로부터 생성된 분류 결과들을 결합하는 분류 틀을 제안하였다. 제안 분류 틀의 핵심 부분은 서로 다른 훈련 집단과 분류자들을 이용함으로써 분류 결과 사이의 다양성을 증가시켜서 결과적으로 분류 정확도를 향상시키는데 있다. 제안 분류 틀에서는 우선 서로 다른 샘플링 밀도를 가지는 서로 다른 훈련 집단들을 생성한 후에, 이들을 서로 다른 구분 능력을 나타내는 분류자들의 입력 훈련 자료로 사용한다. 그리고 초기 분류 결과들에 다수결 규칙을 적용하여 최종 분류 결과를 얻게 된다. 다중 시기 ENVISAT ASAR 자료를 이용한 토지 피복 분류사례 연구를 통해 제안 방법론의 적용 가능성을 검토하였다. 사례 연구에서 3개의 훈련 집단과 최대우도 분류자, 다층 퍼셉트론 분류자, support vector machine 등과 같은 3개의 분류자를 이용한 9개의 분류 결과를 결합하였다. 사례 연구 결과, 제안 분류 틀 안에서 토지 피복 구분에 관한 상호 보완적인 정보의 이용이 가능해져서 가장 높은 분류 정확도를 나타내었다. 서로 다른 결합들을 비교하였을 때, 다양성이 크지 않은 분류 결과들을 결합한 경우에는 분류 정확도의 향상이 나타나지 않았다. 따라서 다중 분류 시스템의 설계시 분류자들의 다양성을 확보하는 것이 중요함을 확인할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제7권11호
• /
• pp.2853-2873
• /
• 2013

Over the last few years, one of the most common purposes of smart homes is to provide human centric services in the domain of u-healthcare by analyzing inhabitants' daily living. Currently, the major challenges in activity recognition include the reliability of prediction of each classifier as they differ according to smart homes characteristics. Smart homes indicate variation in terms of performed activities, deployed sensors, environment settings, and inhabitants' characteristics. It is not possible that one classifier always performs better than all the other classifiers for every possible situation. This observation has motivated towards combining multiple classifiers to take advantage of their complementary performance for high accuracy. Therefore, in this paper, a method for activity recognition is proposed by optimizing the output of multiple classifiers with Genetic Algorithm (GA). Our proposed method combines the measurement level output of different classifiers for each activity class to make up the ensemble. For the evaluation of the proposed method, experiments are performed on three real datasets from CASAS smart home. The results show that our method systematically outperforms single classifier and traditional multiclass models. The significant improvement is achieved from 0.82 to 0.90 in the F-measures of recognized activities as compare to existing methods.

• 산업경영시스템학회지
• /
• 제39권1호
• /
• pp.105-115
• /
• 2016

Ensemble classification involves combining individually trained classifiers to yield more accurate prediction, compared with individual models. Ensemble techniques are very useful for improving the generalization ability of classifiers. The random subspace ensemble technique is a simple but effective method for constructing ensemble classifiers; it involves randomly drawing some of the features from each classifier in the ensemble. The instance selection technique involves selecting critical instances while deleting and removing irrelevant and noisy instances from the original dataset. The instance selection and random subspace methods are both well known in the field of data mining and have proven to be very effective in many applications. However, few studies have focused on integrating the instance selection and random subspace methods. Therefore, this study proposed a new hybrid ensemble model that integrates instance selection and random subspace techniques using genetic algorithms (GAs) to improve the performance of a random subspace ensemble model. GAs are used to select optimal (or near optimal) instances, which are used as input data for the random subspace ensemble model. The proposed model was applied to both Kaggle credit data and corporate credit data, and the results were compared with those of other models to investigate performance in terms of classification accuracy, levels of diversity, and average classification rates of base classifiers in the ensemble. The experimental results demonstrated that the proposed model outperformed other models including the single model, the instance selection model, and the original random subspace ensemble model.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제16권1호
• /
• pp.27-35
• /
• 2016

Black-box classifiers, such as artificial neural network and support vector machine, are a popular classifier because of its remarkable performance. They are applied in various fields such as inductive inferences, classifications, or regressions. However, by its characteristics, they cannot provide appropriate explanations how the classification results are derived. Therefore, there are plenty of actively discussed researches about interpreting trained black-box classifiers. In this paper, we propose a method to make a fuzzy logic-based classifier using extracted rules from the artificial neural network and support vector machine in order to interpret internal structures. As an object of classification, an anomalous propagation echo is selected which occurs frequently in radar data and becomes the problem in a precipitation estimation process. After applying a clustering method, learning dataset is generated from clusters. Using the learning dataset, artificial neural network and support vector machine are implemented. After that, decision trees for each classifier are generated. And they are used to implement simplified fuzzy logic-based classifiers by rule extraction and input selection. Finally, we can verify and compare performances. With actual occurrence cased of the anomalous propagation echo, we can determine the inner structures of the black-box classifiers.

• 한국지능시스템학회논문지
• /
• 제18권6호
• /
• pp.871-875
• /
• 2008

본 논문은 개체 변환 유전자 알고리즘을 (GAVaPS) 이용하여 k-nearest neighbor (k-NN) 분류기에서 사용되는 특징들을 선정하는 방법을 제시한다. 우리는 다수의 k-NN 분류기들을 사용하기 때문에 사용되는 특징들을 선정하는 문제는 매우 탐색 영역이 크고 해결하기 어려운 문제이다. 따라서 우리는 효과적인 특징득의 선정을 위해 일반적인 유전자 알고리즘 (GA) 보다 효율적이라고 알려진 개체군 변환 유전자 알고리즘을 사용한다. 또한 다수 k-NN 분류기를 개체군 변환 유전자 알고리즘으로 효과적으로 결합하는 방법을 제시한다. 제안하는 알고리즘의 우수성을 여러 실험을 통해 보여준다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권5호
• /
• pp.577-585
• /
• 2004

인식기와 클래스 레이블로 구성된 고차 확률 분포를 가정이나 근사 없이 저장하고, 평가하는 것은 기하급수적으로 복잡하고 관리하기 어렵다. 따라서, 의존관계를 이용한 근사 방법에 의존하게 된다. 본 논문에서는 기존의 2차 의존관계에 기반 한 곱 근사 방법을 확장하여, 이 확률 분포를 3차 의존관계에 의해 최적으로 곱 근사 하는 방법을 제안하고자 한다. 제안된 3차 의존관계에 기반 한 곱 근사 방법은 Concordia 대학과 UCI(University of California, Irvine) 대학으로부터 얻은 필기 숫자를 인식하는 실험에서 다수 인식기의 결합 방법에 적용되었고, 실험을 통하여 제안된 방법의 유용성을 살펴보았다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2007년도 추계학술대회
• /
• pp.439-443
• /
• 2007

Nowadays, activity recognition becomes a hot topic in context-aware computing. In activity recognition, machine learning techniques have been widely applied to learn the activity models from labeled activity samples. Most of the existing work uses only one learning method for activity learning and is focused on how to effectively utilize the labeled samples by refining the learning method. However, not much attention has been paid to the use of multiple classifiers for boosting the learning performance. In this paper, we use two methods to generate multiple classifiers. In the first method, the basic learning algorithms for each classifier are the same, while the training data is different (ASTD). In the second method, the basic learning algorithms for each classifier are different, while the training data is the same (ADTS). Experimental results indicate that ADTS can effectively improve activity recognition performance, while ASTD cannot achieve any improvement of the performance. We believe that the classifiers in ADTS are more diverse than those in ASTD.

• 전기학회논문지
• /
• 제63권4호
• /
• pp.526-533
• /
• 2014

In this study, we introduce design methodology to develop a guidance for issuing heavy rainfall warning by using both RBFNNs(Radial basis function neural networks) and SVR(Support vector regression) model, and then carry out the comparative studies between two pattern classifiers. Individual classifiers are designed as architecture realized with the aid of optimization and pre-processing algorithm. Because the predictive performance of the existing heavy rainfall forecast system is commonly affected from diverse processing techniques of meteorological data, under-sampling method as the pre-processing method of input data is used, and also data discretization and feature extraction method for SVR and FCM clustering and PSO method for RBFNNs are exploited respectively. The observed data, AWS(Automatic weather wtation), supplied from KMA(korea meteorological administration), is used for training and testing of the proposed classifiers. The proposed classifiers offer the related information to issue a heavy rain warning in advance before 1 to 3 hours by using the selected meteorological data and the cumulated precipitation amount accumulated for 1 to 12 hours from AWS data. For performance evaluation of each classifier, ETS(Equitable Threat Score) method is used as standard verification method for predictive ability. Through the comparative studies of two classifiers, neuro-fuzzy method is effectively used for improved performance and to show stable predictive result of guidance to issue heavy rainfall warning.

• 한국통신학회논문지
• /
• 제37권2A호
• /
• pp.95-104
• /
• 2012

혼합분류기를 이용한 패턴인식은 약한 분류기를 결합하여 강한 분류기를 구성하는 형태이다. 본 논문에서는 고정된 카메라를 통해 입력된 영상을 이용하여 특징을 추출하고 이것들을 이용한 약한 분류기의 결합으로 강한 분류기를 만들어 낸다. 제안하는 시스템 구성은 차영상 기법을 이용해서 이진화된 전경 영상을 얻고 모폴로지 침식연산 수행으로 얻어진 혼잡도 가중치 영상을 이용해 특징을 추출하게 된다. 추출된 특징을 조합하고 혼잡도를 판단하기 위한 모델의 훈련 및 인식을 위한 혼합분류기 알고리즘으로 부스팅 방법을 사용하였다. 혼합 분류기는 약한 분류기의 조합으로 하나의 강한 분류기를 만들어 내는 분류기로서 그림자나 반사 등이 일어나는 환경에서도 잠재적인 특징들을 잘 활용할 수 있다. 제안하는 시스템의 성능실험은 "AVSS 2007"의 도로환경의 차량 영상과 철도환경내의 승강장 영상을 사용하였다. 조명변화가 심한 야외환경과 승강장과 같은 복잡한 환경에서도 시스템의 우수한 성능을 보여주었다.