• 제목/요약/키워드: feature subset selection

검색결과 85건 처리시간 0.021초

Simultaneous optimization method of feature transformation and weighting for artificial neural networks using genetic algorithm : Application to Korean stock market

  • Kim, Kyoung-jae;Ingoo Han
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 1999년도 추계학술대회-지능형 정보기술과 미래조직 Information Technology and Future Organization
    • /
    • pp.323-335
    • /
    • 1999
  • In this paper, we propose a new hybrid model of artificial neural networks(ANNs) and genetic algorithm (GA) to optimal feature transformation and feature weighting. Previous research proposed several variants of hybrid ANNs and GA models including feature weighting, feature subset selection and network structure optimization. Among the vast majority of these studies, however, ANNs did not learn the patterns of data well, because they employed GA for simple use. In this study, we incorporate GA in a simultaneous manner to improve the learning and generalization ability of ANNs. In this study, GA plays role to optimize feature weighting and feature transformation simultaneously. Globally optimized feature weighting overcome the well-known limitations of gradient descent algorithm and globally optimized feature transformation also reduce the dimensionality of the feature space and eliminate irrelevant factors in modeling ANNs. By this procedure, we can improve the performance and enhance the generalisability of ANNs.

  • PDF

연관성 규칙 기반 영양소를 이용한 골다공증 예측 모델 (Prediction model of osteoporosis using nutritional components based on association)

  • 유정훈;이범주
    • 문화기술의 융합
    • /
    • 제6권3호
    • /
    • pp.457-462
    • /
    • 2020
  • 골다공증은 주로 노인에서 나타나는 질병으로써 뼈 질량 및 조직의 구조적 악화에 따라 골절의 위험을 증가시킨다. 본 연구의 목적은 영양소 성분과 골다공증과의 연관성을 파악하고, 영양소 성분을 기반으로 골다공증을 예측하는 모델을 생성 및 평가하는 것이다. 실험방법으로 binary logistic regression을 이용하여 연관성분석을 수행하였고, naive Bayes 알고리즘과 variable subset selection 메소드를 이용하여 예측 모델을 생성하였다. 단일 변수들에 대한 분석결과는 남성에서 식품섭취량과 비타민 B2가 골다공증을 예측하는데 가장 높은 the area under the receiver operating characteristic curve (AUC)값을 나타내었다. 여성에서는 단일불포화지방산이 가장 높은 AUC값을 나타내었다. 여성 골다공증 예측모델에서는 Correlation based feature subset 및 wrapper 기반 feature subset 메소드를 이용하여 생성된 모델이 0.662의 AUC 값을 얻었다. 남성에서 전체변수를 이용한 모델은 0.626의 AUC를 얻었고, 그외 남성 모델들에서는 민감도와 1-특이도에서 예측 성능이 매우 낮았다. 이러한 연구결과는 향후 골다공증 치료 및 예방을 위한 기반정보로 활용할수 있을 것으로 기대된다.

Combining genetic algorithms and support vector machines for bankruptcy prediction

  • Min, Sung-Hwan;Lee, Ju-Min;Han, In-Goo
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2004년도 추계학술대회
    • /
    • pp.179-188
    • /
    • 2004
  • Bankruptcy prediction is an important and widely studied topic since it can have significant impact on bank lending decisions and profitability. Recently, support vector machine (SVM) has been applied to the problem of bankruptcy prediction. The SVM-based method has been compared with other methods such as neural network, logistic regression and has shown good results. Genetic algorithm (GA) has been increasingly applied in conjunction with other AI techniques such as neural network, CBR. However, few studies have dealt with integration of GA and SVM, though there is a great potential for useful applications in this area. This study proposes the methods for improving SVM performance in two aspects: feature subset selection and parameter optimization. GA is used to optimize both feature subset and parameters of SVM simultaneously for bankruptcy prediction.

  • PDF

A Novel Image Classification Method for Content-based Image Retrieval via a Hybrid Genetic Algorithm and Support Vector Machine Approach

  • Seo, Kwang-Kyu
    • 반도체디스플레이기술학회지
    • /
    • 제10권3호
    • /
    • pp.75-81
    • /
    • 2011
  • This paper presents a novel method for image classification based on a hybrid genetic algorithm (GA) and support vector machine (SVM) approach which can significantly improve the classification performance for content-based image retrieval (CBIR). Though SVM has been widely applied to CBIR, it has some problems such as the kernel parameters setting and feature subset selection of SVM which impact the classification accuracy in the learning process. This study aims at simultaneously optimizing the parameters of SVM and feature subset without degrading the classification accuracy of SVM using GA for CBIR. Using the hybrid GA and SVM model, we can classify more images in the database effectively. Experiments were carried out on a large-size database of images and experiment results show that the classification accuracy of conventional SVM may be improved significantly by using the proposed model. We also found that the proposed model outperformed all the other models such as neural network and typical SVM models.

An ADHD Diagnostic Approach Based on Binary-Coded Genetic Algorithm and Extreme Learning Machine

  • Sachnev, Vasily;Suresh, Sundaram
    • Journal of Computing Science and Engineering
    • /
    • 제10권4호
    • /
    • pp.111-117
    • /
    • 2016
  • An accurate approach for diagnosis of attention deficit hyperactivity disorder (ADHD) is presented in this paper. The presented technique efficiently classifies three subtypes of ADHD (ADHD-C, ADHD-H, ADHD-I) and typically developing control (TDC) by using only structural magnetic resonance imaging (MRI). The research examines structural MRI of the hippocampus from the ADHD-200 database. Each available MRI has been processed by a region-of-interest (ROI) to build a set of features for further analysis. The presented ADHD diagnostic approach unifies feature selection and classification techniques. The feature selection technique based on the proposed binary-coded genetic algorithm searches for an optimal subset of features extracted from the hippocampus. The classification technique uses a chosen optimal subset of features for accurate classification of three subtypes of ADHD and TDC. In this study, the famous Extreme Learning Machine is used as a classification technique. Experimental results clearly indicate that the presented BCGA-ELM (binary-coded genetic algorithm coupled with Extreme Learning Machine) efficiently classifies TDC and three subtypes of ADHD and outperforms existing techniques.

Gaussian Mixture Model을 이용한 다중 범주 분류를 위한 특징벡터 선택 알고리즘 (Feature Selection for Multi-Class Genre Classification using Gaussian Mixture Model)

  • 문선국;최택성;박영철;윤대희
    • 한국통신학회논문지
    • /
    • 제32권10C호
    • /
    • pp.965-974
    • /
    • 2007
  • 본 논문에서는 내용 기반 음악 범주 분류 시스템에서 다중 범주를 위한 특징벡터 선택 알고리즘을 제안한다. 제안된 특징벡터 선택 알고리즘은 분리 성능을 측정할 때 가우시안 혼합 모델(Gaussian Mixture Model: GMM)을 기반으로 GMM separation score을 측정함으로써 확률분포 및 분리 성능 추정의 정확도를 높였고, sequential forward selection 방법을 개선하여 이전까지 선택된 특징벡터들이 분리를 잘 하지 못하는 범주들을 기준으로 다음 특징벡터를 선택하는 알고리즘을 제안하여 다중 범주 분류의 성능을 높였다. 제안된 알고리즘의 성능 검증을 위해 음색, 리듬, 피치 등 오디오 신호의 특징을 나타내는 다양한 파라미터를 오디오 신호로부터 추출하여 제안된 특징벡터 선택 알고리즘과 기존의 알고리즘으로 특징벡터를 선택한 후 GMM classifier와 k-NN classifier를 이용하여 분류 성능을 평가하였다. 제안된 특징벡터 선택 알고리즘은 기존 알고리즘에 비하여 3%에서 8% 정도의 분류 성능이 향상된 것을 확인할 수 있었고 특히 낮은 차원의 특징벡터의 분류 실험에서는 분류 정확도 측면에서 5%에서 10% 향상된 좋은 성능을 보였다.

특징선택 기법에 기반한 UNSW-NB15 데이터셋의 분류 성능 개선 (Classification Performance Improvement of UNSW-NB15 Dataset Based on Feature Selection)

  • 이대범;서재현
    • 한국융합학회논문지
    • /
    • 제10권5호
    • /
    • pp.35-42
    • /
    • 2019
  • 최근 사물인터넷과 다양한 웨어러블 기기들이 등장하면서 인터넷 기술은 보다 편리하게 정보를 얻고 업무를 수행하는데 기여하고 있으나 인터넷이 다양한 부분에 이용되면서 공격에 노출되는 Attack Surface 지점이 증가하고 있으며 개인정보 획득, 위조, 사이버 테러 등 부당한 이익을 취하기 위한 목적의 네트워크 침입 시도 또한 증가하고 있다. 본 논문에서는 네트워크에서 발생하는 트래픽에서 비정상적인 행동을 분류하기 위한 희소클래스의 분류 성능을 개선하는 특징선택을 제안한다. UNSW-NB15 데이터셋은 다른 클래스에 비해 상대적으로 적은 인스턴스를 가지는 희소클래스 불균형 문제가 발생하며 이를 제거하기 위해 언더샘플링 방법을 사용한다. 학습 알고리즘으로 SVM, k-NN 및 decision tree를 사용하고 훈련과 검증을 통하여 탐지 정확도와 RMSE가 우수한 조합의 서브셋들을 추출한다. 서브셋들은 래퍼 기반의 실험을 통해 재현률 98%이상의 유효성을 입증하였으며 DT_PSO 방법이 가장 우수한 성능을 보였다.

초분광 이미지 픽셀 분류를 위한 풀링 연산과 PSNR을 이용한 최적 밴드 선택 기법 (Optimal Band Selection Techniques for Hyperspectral Image Pixel Classification using Pooling Operations & PSNR)

  • 장두혁;정병현;허준영
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권5호
    • /
    • pp.141-147
    • /
    • 2021
  • 본 연구를 통해 임베디드 시스템(Embedded System)에서 뉴럴 네트워크(Neural Network) 인풋의 차원 감소 방식으로 복잡한 연산량을 줄여 초분광 대용량 데이터 특징 정보의 활용률을 개선하기 위해, 전체 밴드를 밴드별 최댓값과 최솟값 차이로 부분집합으로 군집화하여, 각 부분집합에서 밴드 선택 알고리즘을 적용한다. 특징 추출과 특징 선택 기법 중에, 특징 선택 기법을 통해, 파장 범위와 관계없이 데이터세트에 맞는 최적의 밴드 수와 기존 알고리즘 적용 소요 시간과 성능을 향상하고자 한다. 이 실험을 통해 기존 밴드 선택 기법보다 1/3~ 1/9배 소요 시간을 단축했음에도 불구하고 K-최근접 이웃 분류기를 통한 성능 면에서는 약 4% 이상 향상된 의미 있는 결과를 도출하였다. 실시간 초분광 데이터 분석 활용에는 어렵지만, 개선된 가능성을 확인했다.

Improved marine predators algorithm for feature selection and SVM optimization

  • Jia, Heming;Sun, Kangjian;Li, Yao;Cao, Ning
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권4호
    • /
    • pp.1128-1145
    • /
    • 2022
  • Owing to the rapid development of information science, data analysis based on machine learning has become an interdisciplinary and strategic area. Marine predators algorithm (MPA) is a novel metaheuristic algorithm inspired by the foraging strategies of marine organisms. Considering the randomness of these strategies, an improved algorithm called co-evolutionary cultural mechanism-based marine predators algorithm (CECMPA) is proposed. Through this mechanism, search agents in different spaces can share knowledge and experience to improve the performance of the native algorithm. More specifically, CECMPA has a higher probability of avoiding local optimum and can search the global optimum quickly. In this paper, it is the first to use CECMPA to perform feature subset selection and optimize hyperparameters in support vector machine (SVM) simultaneously. For performance evaluation the proposed method, it is tested on twelve datasets from the university of California Irvine (UCI) repository. Moreover, the coronavirus disease 2019 (COVID-19) can be a real-world application and is spreading in many countries. CECMPA is also applied to a COVID-19 dataset. The experimental results and statistical analysis demonstrate that CECMPA is superior to other compared methods in the literature in terms of several evaluation metrics. The proposed method has strong competitive abilities and promising prospects.

Selection of features and hidden Markov model parameters for English word recognition from Leap Motion air-writing trajectories

  • Deval Verma;Himanshu Agarwal;Amrish Kumar Aggarwal
    • ETRI Journal
    • /
    • 제46권2호
    • /
    • pp.250-262
    • /
    • 2024
  • Air-writing recognition is relevant in areas such as natural human-computer interaction, augmented reality, and virtual reality. A trajectory is the most natural way to represent air writing. We analyze the recognition accuracy of words written in air considering five features, namely, writing direction, curvature, trajectory, orthocenter, and ellipsoid, as well as different parameters of a hidden Markov model classifier. Experiments were performed on two representative datasets, whose sample trajectories were collected using a Leap Motion Controller from a fingertip performing air writing. Dataset D1 contains 840 English words from 21 classes, and dataset D2 contains 1600 English words from 40 classes. A genetic algorithm was combined with a hidden Markov model classifier to obtain the best subset of features. Combination ftrajectory, orthocenter, writing direction, curvatureg provided the best feature set, achieving recognition accuracies on datasets D1 and D2 of 98.81% and 83.58%, respectively.