• 제목/요약/키워드: Ensemble clustering

검색결과 37건 처리시간 0.022초

FCM을 적용한 결함심각도 기반 앙상블 모델 (Defect Severity-based Ensemble Model using FCM)

  • 이나영;권기태
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권12호
    • /
    • pp.681-686
    • /
    • 2016
  • 소프트웨어 결함 예측은 프로젝트의 효율적인 관리와 성공에 있어 중요한 요소이다. 이 결함은 심각도에 따라 프로젝트에 영향을 미치는 정도가 다르다. 그러나 기존 연구는 결함 유무만 관심을 두고 심각도를 고려하지 않는다. 본 논문에서는 소프트웨어 관리 효율과 품질 향상을 위해 FCM을 적용한 결함 심각도 기반 앙상블 모델을 제안한다. 제안된 모델은 FCM으로 NASA PC4의 결함심각도를 재분류한다. 그리고 RF(Random Forest)로 심각도에 영향을 주는 입력 column을 선별하여 데이터 핵심 결함 요인을 추출한다. 또한 10-fold 교차검증으로 파라미터를 변경해 모델 성능을 평가한다. 실험 결과는 다음과 같다. 첫째, 결함심각도가 58,40,80에서 30,20,128로 재분류되었다. 둘째, 심각도에 영향을 주는 중요한 입력 column은 정확도와 노드 불순도 측면에서 BRANCH_COUNT였다. 셋째, 성능평가는 트리수가 작고 고려할 변수가 많을수록 좋은 성능을 보였다.

수질자료의 특성을 고려한 앙상블 머신러닝 모형 구축 및 설명가능한 인공지능을 이용한 모형결과 해석에 대한 연구 (Development of ensemble machine learning model considering the characteristics of input variables and the interpretation of model performance using explainable artificial intelligence)

  • 박정수
    • 상하수도학회지
    • /
    • 제36권4호
    • /
    • pp.239-248
    • /
    • 2022
  • The prediction of algal bloom is an important field of study in algal bloom management, and chlorophyll-a concentration(Chl-a) is commonly used to represent the status of algal bloom. In, recent years advanced machine learning algorithms are increasingly used for the prediction of algal bloom. In this study, XGBoost(XGB), an ensemble machine learning algorithm, was used to develop a model to predict Chl-a in a reservoir. The daily observation of water quality data and climate data was used for the training and testing of the model. In the first step of the study, the input variables were clustered into two groups(low and high value groups) based on the observed value of water temperature(TEMP), total organic carbon concentration(TOC), total nitrogen concentration(TN) and total phosphorus concentration(TP). For each of the four water quality items, two XGB models were developed using only the data in each clustered group(Model 1). The results were compared to the prediction of an XGB model developed by using the entire data before clustering(Model 2). The model performance was evaluated using three indices including root mean squared error-observation standard deviation ratio(RSR). The model performance was improved using Model 1 for TEMP, TN, TP as the RSR of each model was 0.503, 0.477 and 0.493, respectively, while the RSR of Model 2 was 0.521. On the other hand, Model 2 shows better performance than Model 1 for TOC, where the RSR was 0.532. Explainable artificial intelligence(XAI) is an ongoing field of research in machine learning study. Shapley value analysis, a novel XAI algorithm, was also used for the quantitative interpretation of the XGB model performance developed in this study.

SPOT/VEGETATION 영상을 이용한 눈과 구름의 분류 알고리즘 (SPOT/VEGETATION-based Algorithm for the Discrimination of Cloud and Snow)

  • 한경수;김영섭
    • 대한원격탐사학회지
    • /
    • 제20권4호
    • /
    • pp.235-244
    • /
    • 2004
  • 본 연구는 SPOT-4 위성의 VEGETATION-1 센서의 가시 채널, 근적외 채널, 단파 적외채널 자료를 이용하여 눈과 구름을 구별하기 위해 새롭게 제시된 알고리즘을 평가하기 위한 것이다. 눈과 구름의 마스크를 위해 전통적으로 이용되고 있는 임계치 방법들은 본 연구에서 좋은 결과를 보여 주지 못하였다 따라서 K-means 군집화 방법이 이러한 임계치 방법 대신 본 연구에서 사용되었다. 군집화에서는 두 임계치 알고리즘을 통합하여 적설과 구름을 그룹화 시켜 동시에 추출한 화소들을 적용하였다. 이것은 전체 영상을 군집화에 적용시킬 때와 비교해 군집화의 과정을 단순화시키고 나아가 정확도를 향상시킬 수 있다. 본 연구는 이러한 과정을 통해 얻어진 결과를 임계치 방법이 적용되었을 때의 결과와 비교함과 동시에 VEGETATION 자료의 분별능력을 평가하였다. 본 연구에서 제시한 방법을 이용하였을 때, 구름과 눈의 분별 능력은 상당히 향상되었다. 분별 오차는 임계치 방법을 사용하였을 때 보다 구름에 대해 19.4% 적설에 대해 9.7% 정도 감소하였다.

Damaged cable detection with statistical analysis, clustering, and deep learning models

  • Son, Hyesook;Yoon, Chanyoung;Kim, Yejin;Jang, Yun;Tran, Linh Viet;Kim, Seung-Eock;Kim, Dong Joo;Park, Jongwoong
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.17-28
    • /
    • 2022
  • The cable component of cable-stayed bridges is gradually impacted by weather conditions, vehicle loads, and material corrosion. The stayed cable is a critical load-carrying part that closely affects the operational stability of a cable-stayed bridge. Damaged cables might lead to the bridge collapse due to their tension capacity reduction. Thus, it is necessary to develop structural health monitoring (SHM) techniques that accurately identify damaged cables. In this work, a combinational identification method of three efficient techniques, including statistical analysis, clustering, and neural network models, is proposed to detect the damaged cable in a cable-stayed bridge. The measured dataset from the bridge was initially preprocessed to remove the outlier channels. Then, the theory and application of each technique for damage detection were introduced. In general, the statistical approach extracts the parameters representing the damage within time series, and the clustering approach identifies the outliers from the data signals as damaged members, while the deep learning approach uses the nonlinear data dependencies in SHM for the training model. The performance of these approaches in classifying the damaged cable was assessed, and the combinational identification method was obtained using the voting ensemble. Finally, the combination method was compared with an existing outlier detection algorithm, support vector machines (SVM). The results demonstrate that the proposed method is robust and provides higher accuracy for the damaged cable detection in the cable-stayed bridge.

Mapping of Education Quality and E-Learning Readiness to Enhance Economic Growth in Indonesia

  • PRAMANA, Setia;ASTUTI, Erni Tri
    • Asian Journal of Business Environment
    • /
    • 제12권1호
    • /
    • pp.11-16
    • /
    • 2022
  • Purpose: This study is aimed to map the provinces in Indonesia based on the education and ICT indicators using several unsupervised learning algorithms. Research design, data, and methodology: The education and ICT indicators such as student-teacher ratio, illiteracy rate, net enrolment ratio, internet access, computer ownership, are used. Several approaches to get deeper understanding on provincial strength and weakness based on these indicators are implemented. The approaches are Ensemble K-Mean and Fuzzy C Means clustering. Results: There are at least three clusters observed in Indonesia the education quality, participation, facilities and ICT Access. Cluster with high education quality and ICT access are consist of DKI Jakarta, Yogyakarta, Riau Islands, East Kalimantan and Bali. These provinces show rapid economic growth. Meanwhile the other cluster consisting of six provinces (NTT, West Kalimantan, Central Sulawesi, West Sulawesi, North Maluku, and Papua) are the cluster with lower education quality and ICT development which impact their economic growth. Conclusions: The provinces in Indonesia are clustered into three group based on the education attainment and ICT indicators. Some provinces can directly implement e-learning; however, more provinces need to improve the education quality and facilities as well as the ICT infrastructure before implementing the e-learning.

데이터 증강 및 앙상블 기법을 이용한 딥러닝 기반 GPR 공동 탐지 모델 성능 향상 연구 (Improving the Performance of Deep-Learning-Based Ground-Penetrating Radar Cavity Detection Model using Data Augmentation and Ensemble Techniques)

  • 최용욱;서상진;장한길로;윤대웅
    • 지구물리와물리탐사
    • /
    • 제26권4호
    • /
    • pp.211-228
    • /
    • 2023
  • 방조제의 모니터링에는 지구물리학적 비파괴 검사인 GPR (Ground Penetrating Radar) 탐사가 주로 이용된다. GPR 반응은 상황에 따라 복잡한 양상을 보이므로 자료의 처리와 해석은 전문가의 주관적 판단에 의존하며, 이는 오 탐지의 가능성을 불러옴과 동시에 시간이 오래 걸린다는 단점이 있다. 따라서 딥 러닝을 이용하여 GPR 탐사자료의 공동을 탐지하는 다양한 연구들이 수행되고 있다. 딥 러닝 기반 방법은 데이터 기반 방법으로써 풍부한 자료가 필요하나 GPR 탐사의 경우 비용 등의 이유로 학습에 이용할 현장 자료가 부족하다. 따라서 본 논문에서는 데이터 증강 전략을 이용하여 딥 러닝 기반 방조제 GPR 탐사자료 공동 탐지 모델을 개발하였다. 다년간 동일한 방조제에서 탐사 자료를 사용하여 데이터 세트를 구축하였으며, 컴퓨터 비전 분야의 객체 탐지 모델 중 YOLO (You Look Only Once) 모델을 이용하였다. 데이터 증강 전략을 비교 및 분석함으로써 최적의 데이터 증강 전략을 도출하였고, 초기 모델 개발 후 앵커 박스 클러스터링, 전이 학습, 자체 앙상블, 모델 앙상블 기법을 단계적으로 적용하여 최종 모델 도출 후 성능을 평가하였다.

데이터융합, 앙상블과 클러스터링을 이용한 교통사고 심각도 분류분석 (Data Fusion, Ensemble and Clustering for the Severity Classification of Road Traffic Accident in Korea)

  • 손소영;이성호
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 2000년도 춘계공동학술대회 논문집
    • /
    • pp.597-600
    • /
    • 2000
  • 계속적인 증가 추세를 보이고 있는 교통량으로 인해 환경 문제뿐 아니라 교통사고로 인한 사상자 및 물적피해가 상당량으로 집계되고 있다. 본 논문에서는 데이터융합 및 앙상블 클러스터링방법을 이용한 교통사고 심각도 분류분석방법을 제안함으로서 교통사고예방에 기여하고자 한다. 이를 위하여 신경망과 Decision-Tree기법을 이용하여 얻은 물적피해와 신체상해가 발생할 확률을 융합하는 전형적인 데이터 융합기법(템스터-쉐퍼, 베이지안 방법, 로지스틱융합방법)을 사용하였다. 또한, 분류정확도를 향상시키고자 Bootstrap 재추출 방법을 이용해 얻어진 여러 개의 분류예측 결과 중 다수의 분류결과를 선택하는 앙상블 (arcing, bagging)기법을 적용하였다. 더불어, 본 연구에서는 클러스터링 방법을 제시하고, 이 방법이 기존의 융합기법, 앙상블기법과 비교한 결과, 분류예측면에서 정확도가 향상됨을 보였다.

  • PDF

가중치 기반 Bag-of-Feature와 앙상블 결정 트리를 이용한 정지 영상에서의 인간 행동 인식 (Human Action Recognition in Still Image Using Weighted Bag-of-Features and Ensemble Decision Trees)

  • 홍준혁;고병철;남재열
    • 한국통신학회논문지
    • /
    • 제38A권1호
    • /
    • pp.1-9
    • /
    • 2013
  • 본 논문에서는 CS-LBP (Center-Symmetric Local Binary Pattern) 특징과 공간 피라미드를 이용한 BoF (Bag of Features)를 생성하고 이를 랜덤 포레스트(Random Forest) 분류기에 적용하여 인간의 행동을 인식하는 알고리즘을 제안한다. BoF를 생성하기 위해 영상을 균일한 패치로 나누고, 각 패치 마다 CS-LBP 특징을 추출한다. 행동 분류 성능을 향상시키기 위해 패치들마다 추출한 특징벡터들에 대해 K-mean 클러스터링을 적용하여 코드 북을 생성한다. 본 논문에서는 영상의 지역적인 특성을 고려하기 위해 공간 피라미드 방법을 적용하고 각 공간 레벨에서 추출된 BoF에 대해 가중치를 적용하여 최종적으로 하나의 특징 벡터로 결합한다. 행동 분류를 위해 결정트리의 앙상블로 이루어진 랜덤 포레스트는 학습 단계에서 각 행동 클래스를 위한 분류 모델을 만든다. 가중 BoF가 적용된 랜덤 포레스트는 다양한 인간 행동 영상을 포함하고 있는 Standford Actions 40 데이터를 성공적으로 분류하였다. 또한 기존 방법에 비해 분류 성능이 유사하거나 우수하며, 한 장의 영상에 대해 빠른 인식속도를 보였다.

신용카드 대손회원 예측을 위한 SVM 모형 (Credit Card Bad Debt Prediction Model based on Support Vector Machine)

  • 김진우;지원철
    • 한국IT서비스학회지
    • /
    • 제11권4호
    • /
    • pp.233-250
    • /
    • 2012
  • In this paper, credit card delinquency means the possibility of occurring bad debt within the certain near future from the normal accounts that have no debt and the problem is to predict, on the monthly basis, the occurrence of delinquency 3 months in advance. This prediction is typical binary classification problem but suffers from the issue of data imbalance that means the instances of target class is very few. For the effective prediction of bad debt occurrence, Support Vector Machine (SVM) with kernel trick is adopted using credit card usage and payment patterns as its inputs. SVM is widely accepted in the data mining society because of its prediction accuracy and no fear of overfitting. However, it is known that SVM has the limitation in its ability to processing the large-scale data. To resolve the difficulties in applying SVM to bad debt occurrence prediction, two stage clustering is suggested as an effective data reduction method and ensembles of SVM models are also adopted to mitigate the difficulty due to data imbalance intrinsic to the target problem of this paper. In the experiments with the real world data from one of the major domestic credit card companies, the suggested approach reveals the superior prediction accuracy to the traditional data mining approaches that use neural networks, decision trees or logistics regressions. SVM ensemble model learned from T2 training set shows the best prediction results among the alternatives considered and it is noteworthy that the performance of neural networks with T2 is better than that of SVM with T1. These results prove that the suggested approach is very effective for both SVM training and the classification problem of data imbalance.

Bagged Auto-Associative Kernel Regression-Based Fault Detection and Identification Approach for Steam Boilers in Thermal Power Plants

  • Yu, Jungwon;Jang, Jaeyel;Yoo, Jaeyeong;Park, June Ho;Kim, Sungshin
    • Journal of Electrical Engineering and Technology
    • /
    • 제12권4호
    • /
    • pp.1406-1416
    • /
    • 2017
  • In complex and large-scale industries, properly designed fault detection and identification (FDI) systems considerably improve safety, reliability and availability of target processes. In thermal power plants (TPPs), generating units operate under very dangerous conditions; system failures can cause severe loss of life and property. In this paper, we propose a bagged auto-associative kernel regression (AAKR)-based FDI approach for steam boilers in TPPs. AAKR estimates new query vectors by online local modeling, and is suitable for TPPs operating under various load levels. By combining the bagging method, more stable and reliable estimations can be achieved, since the effects of random fluctuations decrease because of ensemble averaging. To validate performance, the proposed method and comparison methods (i.e., a clustering-based method and principal component analysis) are applied to failure data due to water wall tube leakage gathered from a 250 MW coal-fired TPP. Experimental results show that the proposed method fulfills reasonable false alarm rates and, at the same time, achieves better fault detection performance than the comparison methods. After performing fault detection, contribution analysis is carried out to identify fault variables; this helps operators to confirm the types of faults and efficiently take preventive actions.