• 제목/요약/키워드: support vector machines (SVMs)

검색결과 92건 처리시간 0.022초

Customer Level Classification Model Using Ordinal Multiclass Support Vector Machines

  • Kim, Kyoung-Jae;Ahn, Hyun-Chul
    • Asia pacific journal of information systems
    • /
    • 제20권2호
    • /
    • pp.23-37
    • /
    • 2010
  • Conventional Support Vector Machines (SVMs) have been utilized as classifiers for binary classification problems. However, certain real world problems, including corporate bond rating, cannot be addressed by binary classifiers because these are multi-class problems. For this reason, numerous studies have attempted to transform the original SVM into a multiclass classifier. These studies, however, have only considered nominal classification problems. Thus, these approaches have been limited by the existence of multiclass classification problems where classes are not nominal but ordinal in real world, such as corporate bond rating and multiclass customer classification. In this study, we adopt a novel multiclass SVM which can address ordinal classification problems using ordinal pairwise partitioning (OPP). The proposed model in our study may use fewer classifiers, but it classifies more accurately because it considers the characteristics of the order of the classes. Although it can be applied to all kinds of ordinal multiclass classification problems, most prior studies have applied it to finance area like bond rating. Thus, this study applies it to a real world customer level classification case for implementing customer relationship management. The result shows that the ordinal multiclass SVM model may also be effective for customer level classification.

Support vector machines with optimal instance selection: An application to bankruptcy prediction

  • Ahn Hyun-Chul;Kim Kyoung-Jae;Han In-Goo
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2006년도 춘계학술대회
    • /
    • pp.167-175
    • /
    • 2006
  • Building accurate corporate bankruptcy prediction models has been one of the most important research issues in finance. Recently, support vector machines (SVMs) are popularly applied to bankruptcy prediction because of its many strong points. However, in order to use SVM, a modeler should determine several factors by heuristics, which hinders from obtaining accurate prediction results by using SVM. As a result, some researchers have tried to optimize these factors, especially the feature subset and kernel parameters of SVM But, there have been no studies that have attempted to determine appropriate instance subset of SVM, although it may improve the performance by eliminating distorted cases. Thus in the study, we propose the simultaneous optimization of the instance selection as well as the parameters of a kernel function of SVM by using genetic algorithms (GAs). Experimental results show that our model outperforms not only conventional SVM, but also prior approaches for optimizing SVM.

  • PDF

지지벡터기계의 변수 선택방법 비교 (Comparison of Feature Selection Methods in Support Vector Machines)

  • 김광수;박창이
    • 응용통계연구
    • /
    • 제26권1호
    • /
    • pp.131-139
    • /
    • 2013
  • 지지벡터기계는 잡음변수가 존재하는 경우에 성능이 저하될 수 있다. 또한 최종 분류기에서 각 변수들의 중요도를 알리 어려운 단점이 있다. 따라서 변수선택은 지지벡터기계의 해석력과 정확도를 높일 수 있다. 기존의 문헌상의 대부분의 연구는 선형 지지벡터기계에서 성근 해를 주는 벌점함수를 통해 변수를 선택에 관한 것이다. 실제로는 분류의 정확도를 높이기 위해 비선형 커널을 사용하는 경우가 일반적이다. 따라서 변수선택은 비선형 지지벡터기계에서도 마찬가지로 필요하다. 본 논문에서는 모의실험 및 실제자료를 통하여 비선형 지지벡터의 대표적인 변수선택법인 COSSO(component selection and smoothing operator)와 KNIFE(kernel iterative feature extraction)의 성능을 비교한다.

One-Class 서포트 벡터 머신을 이용한 레벨 셋 트리 생성 (Creating Level Set Trees Using One-Class Support Vector Machines)

  • 이계민
    • 정보과학회 논문지
    • /
    • 제42권1호
    • /
    • pp.86-92
    • /
    • 2015
  • 레벨 셋 트리는 다차원에 정의된 확률 밀도 함수를 표현하는데 유용하다. 복잡한 데이터의 구조를 트리 형태로 시각화하여 데이터의 형태를 효율적으로 파악할 수 있으며 클러스터링 분석에 효과적으로 이용할 수 있다. 본 논문에서는 미지의 확률 밀도 함수에서 생성된 데이터 샘플로부터 레벨 셋 트리를 생성하는 알고리즘을 제안한다. 제안된 알고리즘은 레벨을 0에서부터 무한대로 증가시키며 밀도 함수의 각 레벨 셋을 추정하고, 이로부터 레벨 셋 트리를 생성한다. 이를 위해 본 논문에서는 one-class 서포트 벡터 머신 (OC-SVM)을 이용하여 직접적으로 레벨 셋을 추정한다. 이때 다양한 레벨 값에 대해 OC-SVM 학습을 반복해야 하는데, OC-SVM 솔루션 path 알고리즘을 통해 빠른 시간 안에 모든 레벨값에 해당하는 레벨 셋를 추정할 수 있다.

Support Vector Machine을 이용한 부도예측모형의 개발 -격자탐색을 이용한 커널 함수의 최적 모수 값 선정과 기존 부도예측모형과의 성과 비교- (Support Vector Bankruptcy Prediction Model with Optimal Choice of RBF Kernel Parameter Values using Grid Search)

  • 민재형;이영찬
    • 한국경영과학회지
    • /
    • 제30권1호
    • /
    • pp.55-74
    • /
    • 2005
  • Bankruptcy prediction has drawn a lot of research interests in previous literature, and recent studies have shown that machine learning techniques achieved better performance than traditional statistical ones. This paper employs a relatively new machine learning technique, support vector machines (SVMs). to bankruptcy prediction problem in an attempt to suggest a new model with better explanatory power and stability. To serve this purpose, we use grid search technique using 5-fold cross-validation to find out the optimal values of the parameters of kernel function of SVM. In addition, to evaluate the prediction accuracy of SVM. we compare its performance with multiple discriminant analysis (MDA), logistic regression analysis (Logit), and three-layer fully connected back-propagation neural networks (BPNs). The experiment results show that SVM outperforms the other methods.

Corporate credit rating prediction using support vector machines

  • 이영찬
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2005년도 공동추계학술대회
    • /
    • pp.571-578
    • /
    • 2005
  • Corporate credit rating analysis has drawn a lot of research interests in previous studies, and recent studies have shown that machine learning techniques achieved better performance than traditional statistical ones. This paper applies support vector machines (SVMs) to the corporate credit rating problem in an attempt to suggest a new model with better explanatory power and stability. To serve this purpose, the researcher uses a grid-search technique using 5-fold cross-validation to find out the optimal parameter values of kernel function of SVM. In addition, to evaluate the prediction accuracy of SVM, the researcher compares its performance with those of multiple discriminant analysis (MDA), case-based reasoning (CBR), and three-layer fully connected back-propagation neural networks (BPNs). The experiment results show that SVM outperforms the other methods.

  • PDF

Road Traffic Control Gesture Recognition using Depth Images

  • Le, Quoc Khanh;Pham, Chinh Huu;Le, Thanh Ha
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제1권1호
    • /
    • pp.1-7
    • /
    • 2012
  • This paper presents a system used to automatically recognize the road traffic control gestures of police officers. In this approach,the control gestures of traffic police officers are captured in the form of depth images.A human skeleton is then constructed using a kinematic model. The feature vector describing a traffic control gesture is built from the relative angles found amongst the joints of the constructed human skeleton. We utilize Support Vector Machines (SVMs) to perform the gesture recognition. Experiments show that our proposed method is robust and efficient and is suitable for real-time application. We also present a testbed system based on the SVMs trained data for real-time traffic gesture recognition.

  • PDF

Levenshtein 거리를 이용한 영화평 감성 분류 (Sentiment Classification of Movie Reviews using Levenshtein Distance)

  • 안광모;김윤석;김영훈;서영훈
    • 디지털콘텐츠학회 논문지
    • /
    • 제14권4호
    • /
    • pp.581-587
    • /
    • 2013
  • 본 논문에서는 레빈쉬타인 거리(Levenshtein distance)를 이용한 감성 분류 방법을 제안한다. 감성 자질에 레빈쉬타인 거리를 적용하여 BOW(Back-Of-Word)를 생성하고 이를 학습 자질로 사용한다. 학습 모델은 지지벡터기계(support vector machines, SVMs)와 나이브 베이즈(Naive Bayes)를 이용하였다. 실험 데이터로는 다음 영화 사이트로부터 영화평을 수집하였으며, 수집한 영화평은 총 2,385건이다. 수집된 영화평으로부터 감성 어휘를 수작업을 통해 수집하였으며 총 778개 어휘가 선별되었다. 실험에서는 감성 어휘에 레빈쉬타인 거리를 적용한 BOW를 이용하여 기계학습을 수행하였으며, 10-fold-cross validation 방식으로 분류기의 성능을 평가하였다. 평가 결과는 레빈쉬타인 거리가 3일 때 다항 나이브 베이즈(Muitinomial Naive Bayes) 분류기에서 85.46%의 가장 높은 정확도를 보였다. 실험을 통하여 본 논문에서 제안하는 방법이 문서 내의 철자 오류에 대해서도 분류 성능에 영향을 적게 받음을 알 수 있었다.

다중 클래스 SVMs를 이용한 얼굴 인식의 성능 개선 (The Performance Improvement of Face Recognition Using Multi-Class SVMs)

  • 박성욱;박종욱
    • 대한전자공학회논문지SP
    • /
    • 제41권6호
    • /
    • pp.43-49
    • /
    • 2004
  • 기존의 다중 클래스 SVMs은 클래스의 개수가 증가되면, 이진 클래스 SVMs의 수도 증가되어 분류를 위해 많은 시간이 요구된다. 본 논문에서는 분류 시간을 줄이기 위하여, PCA+LDA 특징 부 공간에서 NNR을 적용하여 클래스의 개수를 줄이는 방법을 제안한다. 제안된 방법은 PCA+LDA 특징 부 공간에서 간단한 NNR을 사용하여, 입력된 테스트 특징 데이터와 근접된 얼굴 클래스들을 추출함으로서 얼굴 클래스의 개수를 줄이는 방법이다. 클래스 개수를 줄임으로, 본 방법은 기존의 다중 클래스 SVMs에 비하여 훈련 횟수와 비교 횟수를 줄일 수 있고, 결과적으로 하나의 테스트 영상을 위한 분류 시간을 크게 줄일 수 있다. 또한 실험 결과, 제안된 방법은 NNC 기법보다 낮은 에러 율을 가지며, 기존의 다중 클래스 SVMs보다 동일한 에러 율을 갖지만, 보다 빠른 분류시간을 가짐을 확인할 수 있었다.

Semiparametric Kernel Fisher Discriminant Approach for Regression Problems

  • Park, Joo-Young;Cho, Won-Hee;Kim, Young-Il
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제3권2호
    • /
    • pp.227-232
    • /
    • 2003
  • Recently, support vector learning attracts an enormous amount of interest in the areas of function approximation, pattern classification, and novelty detection. One of the main reasons for the success of the support vector machines(SVMs) seems to be the availability of global and sparse solutions. Among the approaches sharing the same reasons for success and exhibiting a similarly good performance, we have KFD(kernel Fisher discriminant) approach. In this paper, we consider the problem of function approximation utilizing both predetermined basis functions and the KFD approach for regression. After reviewing support vector regression, semi-parametric approach for including predetermined basis functions, and the KFD regression, this paper presents an extension of the conventional KFD approach for regression toward the direction that can utilize predetermined basis functions. The applicability of the presented method is illustrated via a regression example.