• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.591-594
• /
• 2020

불균형 데이터는 범주에 따른 데이터의 분포가 불균형한 데이터를 의미한다. 이런 데이터를 활용해 기존 분류 알고리즘으로 분류기를 학습하면 성능이 저하되는 문제가 발생한다. 오버 샘플링은 이를 해결하기 위한 기법 중 하나로 수가 적은 범주[이하 소수 범주]에 속한 데이터 수를 임의로 증가시킨다. 기존 연구들에서는 수가 많은 범주[이하 다수 범주]에 속한 데이터 수와 동일한 크기만큼 증가시키는 경우가 많다. 이는 증가시키는 샘플의 수를 결정할 때 범주 간 데이터 수 비율만 고려한 것이다. 그런데 데이터가 동일한 수준의 불균형 정도를 갖더라도 범주별 데이터 분포에 따라서 분류 복잡도가 다르며, 경우에 따라 데이터 분포에서 존재하는 불균형 정도를 완전히 해소하지 않아도 된다. 이에 본 논문은 분류 복잡도를 활용해 데이터 셋 별 적정 오버 샘플링 비율을 산출하는 알고리즘을 제안한다.

• Journal of the Korea Society for Simulation
• /
• v.21 no.2
• /
• pp.79-90
• /
• 2012

In this paper, a feature signal extraction method is proposed in order to enhance the low performance of fault detection caused by unbalanced data which denotes the situations when severe disparity exists between the numbers of class instances. Most of the cyclic signals gathered during the process are recognized as normal, while only a few signals are regarded as fault; the majorities of cyclic signals data are unbalanced data. SOM(Self-Organizing Map)-based feature signal extraction method is considered to fix the adverse effects caused by unbalanced data. The weight neurons, mapped to the every node of SOM grid, are extracted as the feature signals of both class data which are used as a reference data set for fault detection. kNN(k-Nearest Neighbor) and SVM(Support Vector Machine) are considered to make fault detection models with comparisons to Hotelling's $T^2$ Control Chart, the most widely used method for fault detection. Experiments are conducted by using simulated process signals which resembles the frequent cyclic signals in semiconductor manufacturing.

• The Korean Journal of Applied Statistics
• /
• v.27 no.3
• /
• pp.357-371
• /
• 2014

There are many studies related to imbalanced data in which the class distribution is highly skewed. To address the problem of imbalanced data, previous studies deal with resampling techniques which correct the skewness of the class distribution in each sampled subset by using under-sampling, over-sampling or hybrid-sampling such as SMOTE. Ensemble methods have also alleviated the problem of class imbalanced data. In this paper, we compare around a dozen algorithms that combine the ensemble methods and resampling techniques based on simulated data sets generated by the Backbone model, which can handle the imbalance rate. The results on various real imbalanced data sets are also presented to compare the effectiveness of algorithms. As a result, we highly recommend the resampling technique combining ensemble methods for imbalanced data in which the proportion of the minority class is less than 10%. We also find that each ensemble method has a well-matched sampling technique. The algorithms which combine bagging or random forest ensembles with random undersampling tend to perform well; however, the boosting ensemble appears to perform better with over-sampling. All ensemble methods combined with SMOTE outperform in most situations.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.544-546
• /
• 2020

의료 데이터를 이용하여 인공지능 기계학습 연구를 수행할 때 자주 마주하는 문제는 데이터 불균형, 데이터 부족 등이며 특히 정제된 충분한 데이터를 구하기 힘들다는 것이 큰 문제이다. 본 연구에서는 이를 해결하기 위해 GAN(Generative Adversarial Network) 기반 고해상도 의료 영상을 생성하는 프레임워크를 개발하고자 한다. 각 해상도 마다 Scale 의 Gradient 를 동시에 학습하여 빠르게 고해상도 이미지를 생성해낼 수 있도록 했다. 고해상도 이미지를 생성하는 Neural Network 를 고안하였으며, PGGAN, Style-GAN 과의 성능 비교를 통해 제안된 모델이 양질의 고해상도 의료영상 이미지를 더 빠르게 생성할 수 있음을 확인하였다. 이를 통해 인공지능 기계학습 연구에 있어서 의료 영상의 데이터 부족, 데이터 불균형 문제를 해결할 수 있는 Data augmentation 이나, Anomaly detection 등의 연구에 적용할 수 있다.

• Information Systems Review
• /
• v.24 no.4
• /
• pp.97-118
• /
• 2022

As generative adversarial network (GAN) based oversampling techniques have achieved impressive results in class imbalance of unstructured dataset such as image, many studies have begun to apply it to solving the problem of imbalance in structured dataset. However, these studies have failed to reflect the characteristics of structured data due to changing the data structure into an unstructured data format. In order to overcome the limitation, this study adapted CycleGAN to reflect the characteristics of structured data, and proposed hybridization of synthetic minority oversampling technique (SMOTE) and the adapted CycleGAN. In particular, this study tried to overcome the limitations of existing studies by using a one-dimensional convolutional neural network unlike previous studies that used two-dimensional convolutional neural network. Oversampling based on the method proposed have been experimented using various datasets and compared the performance of the method with existing oversampling methods such as SMOTE and adaptive synthetic sampling (ADASYN). The results indicated the proposed hybrid oversampling method showed superior performance compared to the existing methods when data have more dimensions or higher degree of imbalance. This study implied that the classification performance of oversampling structured data can be improved using the proposed hybrid oversampling method that considers the characteristic of structured data.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.689-691
• /
• 2023

불균형 데이터의 분류의 성능을 향상시키기 위한 앙상블 구성 방법에 관하여 연구한다. 앙상블의 성능은 앙상블을 구성한 기계학습 모델 간의 상호 다양성에 큰 영향을 받는다. 기존 방법에서는 앙상블에 속할 모델 간의 상호 다양성을 높이기 위해 Feature Engineering 을 사용하여 다양한 모델을 만들어 사용하였다. 그럼에도 생성된 모델 가운데 유사한 모델들이 존재하며 이는 상호 다양성을 낮추고 앙상블 성능을 저하시키는 문제를 가지고 있다. 불균형 데이터의 경우에는 유사 모델 판별을 위한 기존 다양성 지표가 다수 클래스에 편향된 수치를 산출하기 때문에 적합하지 않다. 본 논문에서는 기존 다양성 지표를 개선하고 가지치기 방안을 결합하여 유사 모델을 판별하고 상호 다양성이 높은 후보 모델들을 앙상블에 포함시키는 방법을 제안한다. 실험 결과로써 제안한 방법으로 구성된 앙상블이 불균형이 심한 데이터의 분류 성능을 향상시킴을 확인하였다.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.27 no.6
• /
• pp.1385-1395
• /
• 2017

This paper aims to develop an IDS (Intrusion Detection System) that takes into account class imbalanced datasets. For this, we first built a set of training data sets from the Kyoto 2006+ dataset in which the amounts of normal data and abnormal (intrusion) data are not balanced. Then, we have run a number of tests to evaluate the effectiveness of machine learning techniques for detecting intrusions. Our evaluation results demonstrated that the Random Forest algorithm achieved the best performances.

• Journal of the Korea Society of Computer and Information
• /
• v.15 no.7
• /
• pp.11-17
• /
• 2010

This paper proposes an improved SMO solving a quadratic optmization problem for class imbalanced learning. The SMO algorithm is aproporiate for solving the optimization problem of a support vector machine that assigns the different regularization values to the two classes, and the prosoposed SMO learning algorithm iterates the learning steps to find the current optimal solutions of only two Lagrange variables selected per class. The proposed algorithm is tested with the UCI benchmarking problems and compared to the experimental results of the SMO algorithm with the g-mean measure that considers class imbalanced distribution for gerneralization performance. In comparison to the SMO algorithm, the proposed algorithm is effective to improve the prediction rate of the minority class data and could shorthen the training time.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.135-138
• /
• 2020

무선 센서 네트워크에서 모바일 싱크의 도입은 기존의 고정된 위치의 싱크를 사용하는 WSN에서 발생하는, 싱크 주변 노드들과 외곽 노드들 간의 에너지 불균형 문제(에너지 핫스팟 문제)를 어느 정도 해결할 수 있게 하였다. 그러나 모바일 싱크의 에너지 제약으로 인해 싱크가 모든 노드를 방문하여 데이터를 수집할 수 없기 때문에, 앵커(또는 헤드)라고 불리는 특정 노드에서 데이터를 모으고, 모바일 싱크는 이러한 앵커 노드들만을 방문하는 방법이 널리 사용되고 있다. 최근 연구에서는 모바일 싱크가 보다 효율적으로 에너지 불균형 문제를 해결하기 위하여 모바일 싱크 이동 경로 및 앵커 노드 선정 최적화 방법이 활발히 연구되고 있다. 본 연구에서는 태양 에너지 기반 센서 네트워크를 위한 영역 기반 앵커 선정 기법 및 모바일 싱크 이동 경로 선택 기법을 제안한다. 제안 기법은 각 노드가 수집하는 태양 에너지의 활용을 최대화하고, 에너지 핫스팟 문제를 완화하기 위해 두 개의 라인(영역)을 설정하고 이 라인을 따라 앵커 노드가 선정된다. 모바일 싱크는 데이터 수집을 위해 이 두 라인을 왕복 이동 경로로 택하여 라인 내의 앵커 노드를 방문한다. 실험을 통해 제안 기법이 기존 기법보다 에너지 불균형 문제가 완화되어 노드의 정전 시간이 줄어들고, 이에 따라 모바일 싱크에서 수집되는 데이터의 양이 증가하는 것을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10a
• /
• pp.741-743
• /
• 1998

본 논문에서는 분산메모리 머신에서 병렬 이미지 윤곽선 랭킹 문제를 해결하는 새로운 알고리즘을 제안한다. 윤곽선 랭킹 문제는 주어진 이미지의 에지 윤곽선으로부터 에지 윤곽선의 선형적 표현 방식을 생성시키는 것으로, 에지점간의 순차적인 데이터 종속관계를 갖는 이 문제를 분산메모리 머신에서 수행하려면 입력 이미지에 의한 데이터의 불균형 분포와 불규칙적인 프로세서간 데이터 종속 문제를 해결해야 한다. 본 논문에서는 이 두 가지 문제를 동시에 해결할 수 있는 병렬 알고리즘을 제안하고, 제안된 알고리즘을 IBM SP2에 구현하였으며, 그 결과 윤곽선 랭킹 문제가 효과적으로 해결되었음을 확인하였다.