• Journal of Information Processing Systems
• /
• 제11권2호
• /
• pp.165-172
• /
• 2015

The inactive student rate is becoming a major problem in most open universities worldwide. In Indonesia, roughly 36% of students were found to be inactive, in 2005. Data mining had been successfully employed to solve problems in many domains, such as for educational purposes. We are proposing a method for preventing inactive students by mining knowledge from student record systems with several state of the art ensemble methods, such as Bagging, AdaBoost, Random Subspace, Random Forest, and Rotation Forest. The most influential attributes, as well as demographic attributes (marital status and employment), were successfully obtained which were affecting student of being inactive. The complexity and accuracy of classification techniques were also compared and the experimental results show that Rotation Forest, with decision tree as the base-classifier, denotes the best performance compared to other classifiers.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2007년도 한국지능정보시스템학회
• /
• pp.309-320
• /
• 2007

The data imbalance problem which can be uncounted in data mining classification problems typically means that there are more or less instances in a class than those in other classes. It causes low prediction accuracy of the minority class because classifiers tend to assign instances to major classes and ignore the minor class to reduce overall misclassification rate. In order to solve the data imbalance problem, there has been proposed a number of techniques based on resampling with replacement, adjusting decision thresholds, and adjusting the cost of the different classes. In this paper, we study the feasibility of the combination usage of the techniques previously proposed to deal with the data imbalance problem, and suggest a combination method using genetic algorithm to find the optimal combination ratio of the techniques. To improve the prediction accuracy of a minority class, we determine the combination ratio based on the F-value of the minority class as the fitness function of genetic algorithm. To compare the performance with those of single techniques and the matrix-style combination of random percentage, we performed experiments using four public datasets which has been generally used to compare the performance of methods for the data imbalance problem. From the results of experiments, we can find the usefulness of the proposed method.

• IEIE Transactions on Smart Processing and Computing
• /
• 제6권4호
• /
• pp.281-291
• /
• 2017

Nowadays, as traffic jams are a daily elementary problem in both developed and developing countries, systems to monitor, predict, and detect traffic conditions are playing an important role in research fields. Comparing them, researchers have been trying to solve problems by applying many kinds of technologies, especially roadside sensors, which still have some issues, and for that reason, any one particular method by itself could not generate sufficient traffic prediction results. However, these sensors have some issues that are not useful for research. Therefore, it may not be best to use them as stand-alone methods for a traffic prediction system. On that note, this paper mainly focuses on predicting traffic conditions based on a hybrid prediction approach, which stands on accuracy comparison of three prediction models: multinomial logistic regression, decision trees, and support vector machine (SVM) classifiers. This is aimed at selecting the most suitable approach by means of integrating proficiencies from these approaches. It was also experimentally confirmed, with test cases and simulations that showed the performance of this hybrid method is more effective than individual methods.

• International Journal of Computer Science & Network Security
• /
• 제23권8호
• /
• pp.26-32
• /
• 2023

Hajj is a fundamental pillar of Islam that all Muslims must perform at least once in their lives. However, Umrah can be performed several times yearly, depending on people's abilities. Every year, Muslims from all over the world travel to Saudi Arabia to perform Hajj. Hajj and Umrah pilgrims face multiple issues due to the large volume of people at the same time and place during the event. Therefore, a system is needed to facilitate the people's smooth execution of Hajj and Umrah procedures. Multiple devices are already installed in Makkah, but it would be better to suggest the data architectures with the help of machine learning approaches. The proposed system analyzes the services provided to the pilgrims regarding gender, location, and foreign pilgrims. The proposed system addressed the research problem of analyzing the Hajj pilgrim dataset most effectively. In addition, Visualizations of the proposed method showed the system's performance using data architectures. Machine learning algorithms classify whether male pilgrims are more significant than female pilgrims. Several algorithms were proposed to classify the data, including logistic regression, Naive Bayes, K-nearest neighbors, decision trees, random forests, and XGBoost. The decision tree accuracy value was 62.83%, whereas K-nearest Neighbors had 62.86%; other classifiers have lower accuracy than these. The open-source dataset was analyzed using different data architectures to store the data, and then machine learning approaches were used to classify the dataset.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제28권9호
• /
• pp.681-687
• /
• 2001

다수의 인식기를 결합하여 베이지안 결정 이론 하에서 클래스 분별력을 높이려면, 훈련 데이터 샘플로부터 얻은 클래스 변수와 결정 변수들로 구성된 조건부 엔트로피에 의해서 한정되는 베이스 에러율의 상위 경계를 최소화해야 한다. Wang과 Wong은 베이스 에러율의 상위 경계를 최소화하기 위하여 클래스 변수와 다수의 특징 패턴 변수들로 구성된 고차 확률 분포를 트리 의존관계로 근사하는 1차 근사 방법을 제안하였다. 본 논문에서는 이러한 베이스 에러율의 상위 경계 최소화에 기반한 기존의 1차 트리 의존관계 근사 방법을 확장하여 고차 의존관계까지 고려할 수 있는 확장된 곱 고차 근사 방법을 제안한다. 제안된 근사 방법을 CENPARMI의 무제약 필기 숫자를 인식하는 다수의 숫자 인식기 결합 방법에 적용하여 인식 실험을 하였으며, 이 방법에 의해서 보다 높은 인식율을 얻게 되었다.

• 한국통신학회논문지
• /
• 제32권4C호
• /
• pp.425-432
• /
• 2007

본 논문에서는 사전정보 없이 입사하는 신호의 변조 형태를 자동 식별하기 위해 변조타입에 대한 민감도가 우수하고, SNR에 대한 변화가 적은 속성을 가진 7개의 특징(key features)들을 선정하였다. 또한 선정된 특징들을 이용하여 총 9종의 변조 신호(아날로그와 디지털 신호 포함)를 분류하기 위한 시뮬레이션을 수행하였다. 소프트웨어 라디오의 고속 변조 인식기 탑재를 고려하여, 4 타입의 변조인식기에 대한 인식 정확도 및 수행시간을 검토하였다. 시뮬레이션 결과 인식시간은 DTC(Decision Tree Classifier)가 가장 빠르게 수행되었고, 인식정확도는 SVC(Support Vector Machine Classifier)과 MDC(Minimum Distance Classifier)가 우수하게 제시되었다. 변조 인식기의 프로토타입은 처리 속도가 가장 우수한 DTC로 구현되었다. 필드 실험 결과, 인식 성능은 DTC 시뮬레이션 결과와 일치하는 것을 확인하였다.

• 대한전자공학회논문지TC
• /
• 제45권4호
• /
• pp.22-30
• /
• 2008

본 논문은 웨이브릿 변환을 이용하여 사전정보 없이 입사하는 디지털 신호의 변조타입 자동식별 방법에 관한 것이다. 변조인식에 사용되는 특징(key features)은 변조타입에 대한 민감도가 우수하고, SNR에 대한 변화가 적은 속성을 가져야 한다. 잡음에 대한 변화가 적은 속성을 가진 웨이브릿 변환 계수에서 변조인식을 위해 4개의 특징(key features)을 선정하였다. 또한 선정된 특징들을 이용하여 총 8종의 디지털변조 신호를 분류하기 위해 시뮬레이션을 수행하였다. 소프트웨어 라디오의 변조인식 모듈 탑재를 고려하여, 3 타입의 변조인식기에 대한 인식 정확도 및 수행시간을 비교 분석하였다. 시뮬레이션 결과 전체 인식시간은 MDC(Minimum Distance Classifier)와 DTC(Decision Tree Classifier)가 빠르게 수행되었고, 인식정확도는 MDC와 SVMC(Support Vector Machine Classifier)가 우수하게 제시되었다.

• 디지털콘텐츠학회 논문지
• /
• 제19권1호
• /
• pp.133-140
• /
• 2018

감성 분석에서 정확한 감성 분류는 중요한 연구 주제이다. 본 연구는 최근 많은 연구가 이루어지는 word2vec과 앙상블 방법을 이용하여 효과적으로 한국어 리뷰를 감성 분류하는 방법을 제시한다. 연구는 20 만 개의 한국 영화 리뷰 텍스트에 대해, 품사 기반 BOW 자질과 word2vec를 사용한 자질을 생성하고, 두 개의 자질 표현을 결합한 통합 자질을 생성했다. 감성 분류를 위해 Logistic Regression, Decision Tree, Naive Bayes, Support Vector Machine의 단일 분류기와 Adaptive Boost, Bagging, Gradient Boosting, Random Forest의 앙상블 분류기를 사용하였다. 연구 결과로 형용사와 부사를 포함한 BOW자질과 word2vec자질로 구성된 통합 자질 표현이 가장 높은 감성 분류 정확도를 보였다. 실증결과, 단일 분류기인 SVM이 가장 높은 성능을 나타내었지만, 앙상블 분류기는 단일 분류기와 비슷하거나 약간 낮은 성능을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권3호
• /
• pp.192-201
• /
• 2002

디지털 형태의 문서가 널리 퍼지고 끊임없이 증가함에 따라 이를 자동으로 가공하고 처리하는 문서 자동분류의 중요성이 널리 인식되고 있다. 최근의 문서 자동분류는 k-최근접 이웃, 결정트리, Support Vector Machine, 신경망 등의 다양한 기계학습 기법을 이용하여 연구되고 있다. 그러나 많은 연구가 잘 조직된 데이타 집합을 이용하여 연구결과를 보여주고 있으며, 실제 문제에의 응용성에는 큰 비중을 두지 않고 있다. 본 논문에서는 문서분류의 응용시스템인 질의 자동응답시스템에 적용할 수 있는 다중분류기 결합 방법을 제안하고 실제 전자우편 문서의 분류문제를 해결한다. 첫째로, 다중신경 망을 이용한 문서분류를 제안한다. 제안한 방법은 최대값 결합, 신경망 결합을 통해 성능의 향상을 가져온다. 둘째로, 여러 분류기의 결합을 통해 문서분류의 성능을 개선한다. 본 논문에서는 투표 결합방법, Borda 결합, 신경망 결합방법 등을 적용하여 여러 분류기의 결합을 수행하였다. 실용 가능성을 분석한 실험결과 90%이상의 정확율을 보여 제안한 방법이 실용적일 수 있음을 알 수 있었다.

• 한국지능시스템학회논문지
• /
• 제15권3호
• /
• pp.289-293
• /
• 2005

패턴 분류는 실세계의 객체를 표현한 다양한 형태의 패턴 정보를 추출하여, 이것이 어떤 부류(클래스)인가를 결정하는 것이다. 패턴 분류 기술은 데이터 마이닝, 산업 자동화나 업무자동화를 위한 컴퓨터 응용 소프트웨어 기술로서 현재 다양한 분야에서 활용되고 있다. 패턴 분류 기술의 최대 목표는 분류 성능 향상이며 이것을 위해 지난 40년간 많은 연구자들이 다양한 접근 방법들을 시도해 왔다. 주로 이용되는 단일 분류 방법들로는 패턴들의 확률적 추론에 기반한 베이즈 분류기, 결정 트리, 거리함수를 이용하는 방법, 신경망, 군집화 등이 있으나 대용량 다차원 데이터를 분석하기에는 효율적이지 못하다. 따라서 상호 보완적인 여러 분류기들을 사용해 결합을 통하여 성능 향상에 도움을 주고 있는 다중 분류기 시스템에 대한 연구가 활발하게 진행되고 있다. 본 논문에서는 다중 SVM(Support Vector Machine) 분류기에 관한 기존 연구의 문제점을 지적하고 새로운 모델을 제안한다. SVM을 다중 클래스 분류기로 확장하기 위해 일대다 정책을 기반으로 하여 각각의 SVM 출력값을 비선형 패턴을 갖는 신호로 간주하고 이를 신경망에 학습하여 최종 분류 성능 결과를 결합하는 모델인 BORSE(Bootstrap Resampling SVM by Ensemble)를 제안한다.