• 제목/요약/키워드: 클래스 불균형

검색결과 88건 처리시간 0.035초

SMOTE와 Light GBM 기반의 불균형 데이터 개선 기법 (Imbalanced Data Improvement Techniques Based on SMOTE and Light GBM)

  • 한영진;조인휘
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제11권12호
    • /
    • pp.445-452
    • /
    • 2022
  • 디지털 세상에서 불균형 데이터에 대한 클래스 분포는 중요한 부분이며 사이버 보안에 큰 의미를 차지한다. 불균형 데이터의 비정상적인 활동을 찾고 문제를 해결해야 한다. 모든 트랜잭션의 패턴을 추적할 수 있는 시스템이 필요하지만, 일반적으로 패턴이 비정상인 불균형 데이터로 기계학습을 하면 소수 계층에 대한 성능은 무시되고 저하되며 예측 모델은 부정확하게 편향될 수 있다. 본 논문에서는 불균형 데이터 세트를 해결하기 위한 접근 방식으로 Synthetic Minority Oversampling Technique(SMOTE)와 Light GBM 알고리즘을 이용하여 추정치를 결합하여 대상 변수를 예측하고 정확도를 향상시켰다. 실험 결과는 Logistic Regression, Decision Tree, KNN, Random Forest, XGBoost 알고리즘과 비교하였다. 정확도, 재현율에서는 성능이 모두 비슷했으나 정밀도에서는 2개의 알고리즘 Random Forest 80.76%, Light GBM 97.16% 성능이 나왔고, F1-score에서는 Random Forest 84.67%, Light GBM 91.96% 성능이 나왔다. 이 실험 결과로 Light GBM은 성능이 5개의 알고리즘과 비교하여 편차없이 비슷하거나 최대 16% 향상됨을 접근 방식으로 확인할 수 있었다.

당뇨병성 망막증 분류를 위한 ResNet50 모델 기반 다중 전처리 기법 (Diabetic Retinopathy Classification with ResNet50 Model Based Multi-Preprocessing)

  • 목다현;변규린;김주찬;추현승
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.621-623
    • /
    • 2023
  • 본 연구는 당뇨병성 망막증의 자동 분류를 위해 딥러닝 모델을 활용한다. CLAHE 를 사용한 전처리로 이미지의 대비를 향상시켰으며, ResNet50 모델을 기반으로 한 전이학습을 통해 모델의 성능을 향상했다. 또한, 데이터의 불균형을 고려하여 정확도 뿐만 아니라 민감도와 특이도를 평가함으로써 모델의 분류 성능을 종합적으로 평가하였다. 실험 결과, 제안한 방법은 당뇨병성 망막증 분류 작업에서 높은 정확도를 달성하였으나, 양성 클래스의 식별에서 일부 한계가 있었다. 이에 데이터의 품질 개선과 불균형 데이터 처리에 초점을 맞춘 향후 연구 방향을 제시하였다.

임계값 설정을 통한 근치적 위절제술 후 합병증 발생 예측 모델의 성능 평가 (Performance of a Model to Predict Complication Occurance after Radical Gastrectomy according to Thresholds)

  • 임수연;최자윤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.687-689
    • /
    • 2024
  • 위암은 전 세계적인 주요 건강문제이며, 근치적 위절제술은 위암의 표준치료이다. 근치적 위절제술 후 치료목표는 합병증 발생을 낮춰 병전 상태로 빠르게 회복하는 데 있다. 따라서, 근치적 위절제술 후 합병증 발생 여부를 선별하여 예측할 수 있는 성능이 좋은 모델을 개발하는 것은 위암환자의 회복에 매우 중요하다. 랜덤포레스트 모델은 여러 개의 결정트리를 활용한 배깅 방식의 대표적인 알고리즘으로 의료 데이터를 기반으로 한 예측에 있어 뛰어난 성능을 보여 주었다. 그러나 실제 데이터는 불균형이 빈번하게 발생하여 모델의 예측 성능에 영향을 미치므로, 최적의 분류 임계값을 설정하여 다수 클래스에 대한 편향을 줄이는 것이 중요하다. 따라서, 본 연구는 최근 10년 간 일개 대학병원의 전자의무기록 데이터를 활용하여 근치적 위절제술 후 합병증 발생을 예측하는 랜덤포레스트 모델을 개발하고, 임계값 설정을 통해 불균형 데이터에 대한 모델의 성능을 평가하고자 한다.

소수 클래스 데이터 증강을 통한 BERT 기반의 유형 분류 모델 성능 개선 (Bert-based Classification Model Improvement through Minority Class Data Augmentation)

  • 김정우;장광호;이용태;박원주
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.810-813
    • /
    • 2020
  • 자연어처리 분야에서 딥러닝 기반의 분류 모델은 획기적인 성능을 보여주고 있다. 특히 2018 년 발표된 구글의 BERT 는 다양한 태스크에서 높은 성능을 보여준다. 본 논문에서는 이러한 BERT 가 클래스 불균형이 심한 데이터에 대해 어느 정도 성능을 보여주는지 확인하고 이를 해결하는 방법으로 EDA 를 선택해 성능을 개선하고자 한다. BERT 에 알맞게 적용하기 위해 다양한 방법으로 EDA 를 구현했고 이에 대한 성능을 평가하였다.

희소 클래스 분류 문제 해결을 위한 전처리 연구 (A Study on Pre-processing for the Classification of Rare Classes)

  • 류경준;신동규;신동일
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.472-475
    • /
    • 2020
  • 실생활의 사례를 바탕으로 생성된 여러 분야의 데이터셋을 기계학습 (Machine Learning) 문제에 적용하고 있다. 정보보안 분야에서도 사이버 공간에서의 공격 트래픽 데이터를 기계학습으로 분석하는 많은 연구들이 진행 되어 왔다. 본 논문에서는 공격 데이터를 유형별로 정확히 분류할 때, 실생활 데이터에서 흔하게 발생하는 데이터 불균형 문제로 인한 분류 성능 저하에 대한 해결방안을 연구했다. 희소 클래스 관점에서 데이터를 재구성하고 기계학습에 악영향을 끼치는 특징들을 제거하고 DNN(Deep Neural Network) 모델을 사용해 분류 성능을 평가했다.

비디오 데이터 보강을 이용한 인물 개체 분할 (Human Instance Segmentation using Video Data Augmentation)

  • 전현진;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.532-534
    • /
    • 2022
  • 본 논문에서는 미생 드라마 비디오들을 토대로 구축한 비디오 인물 개체 분할 데이터 집합인 MHIS를 소개하고, 등장인물 클래스 간의 심각한 데이터 불균형 문제를 효과적으로 해결하기 위한 새로운 비디오 데이터 보강 기법인 CDVA를 제안한다. 기존의 비디오 데이터 보강 기법들과는 달리, 새로운 CDVA 보강 기법은 비디오의 시공간적 맥락을 충분히 고려해서 부족한 인물 클래스의 훈련 비디오 데이터들을 추가 생성함으로써, 비디오 개체 분할 신경망 모델의 성능을 효과적으로 개선시킬 수 있다. 본 논문에서는 정량 및 정성 실험들을 통해, 제안 비디오 데이터 보강 기법의 우수성을 입증한다.

데이터 증강을 통한 안전모 착용 여부 확인 객체 탐지 모델 성능 향상 연구 (A study on the improvement of Object Detection Model via Data Augmentation)

  • 조재호;이현준;전광휘;오민택;윤상범
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.1102-1103
    • /
    • 2023
  • 안전모 착용 여부를 확인하는 객체 탐지 모델을 물류 현장에서 활용하기 위해서는 안전모를 착용한 경우와 착용하지 않은 경우를 정확하게 탐지해야 한다. 하지만 학습 데이터가 안전모를 착용한 클래스와 착용하지 않은 클래스 간 불균형이 존재하는 경우 해당 데이터만으로는 태스크에 맞게 학습이됐다고 보긴 힘들다. 본 연구는 데이터 증강 기법 적용 시 임의의 데이터에 증강을 적용하는 대신 상대적으로 적은 안전모를 착용하지 않은 클래스를 포함하는 이미지에 대하여 데이터 증강 기법을 적용하였다. 여러 데이터 증강 기법 중 Rotation, Gaussian Noise, 객체를 기준으로 한 Crop을 직접 구현 및 적용하여 객체 탐지 모델인 YOLOv5의 성능을 효과적으로 높이며 더욱 강건한 모델을 개발하는 방법을 제안한다.

SOM기반 특징 신호 추출 기법을 이용한 불균형 주기 신호의 이상 탐지 (Fault Detection of Unbalanced Cycle Signal Data Using SOM-based Feature Signal Extraction Method)

  • 김송이;강지훈;박종혁;김성식;백준걸
    • 한국시뮬레이션학회논문지
    • /
    • 제21권2호
    • /
    • pp.79-90
    • /
    • 2012
  • 본 연구는 공정신호가 불균형 데이터인 경우 이상 탐지 알고리즘의 성능 개선을 위한 특징 신호 추출 기법을 제안한다. 불균형 데이터란 범주 구분 문제에서 하나의 범주의 속하는 데이터의 비율이 다른 범주의 데이터에 비해 크게 차이나 이상 탐지성능이 크게 저하되는 경우를 의미한다. 공정이 운영되는 경우 얻을 수 있는 이상 신호의 수는 정상 신호에 비해 매우 적기에 이러한 문제를 해결하여 이상 탐지 기법을 적용하는 것은 매우 중요하다. 불균형 문제 해결을 위해 SOM(Self-Organizing Map) 알고리즘을 이용하여 각 노드에 대응되는 가중치를 특징 신호로 간주하여 정상 데이터와 이상 데이터의 비율을 맞춘다. 특징 신호 데이터 집단의 이상 탐지를 위해 클래스 분류 기법인 kNN(k-Nearest Neighbor)과 SVM(Support Vector Machine)을 적용하여 이를 공정 신호 이상탐지를 위해 주로 사용하는 Hotelling's $T^2$ 관리도와 성능을 비교한다. 반도체 공정에서 발생한다고 알려진 공정 신호를 모사하여 신호 알고리즘 성능의 우수성을 검증한다.

불균형 클래스에서 AutoML 기반 분류 모델의 성능 향상을 위한 데이터 처리 (Data Processing of AutoML-based Classification Models for Improving Performance in Unbalanced Classes)

  • 이동준;강지수;정경용
    • 융합정보논문지
    • /
    • 제11권6호
    • /
    • pp.49-54
    • /
    • 2021
  • 최근 스마트 헬스케어 기술의 발전에 따라 일상적인 질환에 대한 관심이 증가하고 있다. 이에 따라 헬스케어 데이터를 통해 예측 모델로 질병을 분석하거나 예측하는 연구들이 증가하고 있다. 그러나 헬스케어 데이터에는 양성 데이터와 음성 데이터의 불균형이 존재한다. 이는 특정 질환을 가진 환자에 비하여 상대적으로 환자가 아닌 사람이 많아 데이터 수집에 어려움이 있어 발생하는 현상이다. 데이터 불균형은 질병 예측 및 탐지 시 진행하는 모델의 성능에 영향을 끼치기 때문에 이를 제거할 필요가 있다. 따라서 본 연구에서는 오버샘플링과 결측값 대치를 통해서 데이터 불균형을 해소한다. AutoML을 기반으로 여러 모델의 성능을 파악하고 모델 중 상위 3개의 모델을 앙상블한다.

CDBSMOTE : 클래스와 밀도기반의 합성 소수 오버샘플링 기술 (CDBSMOTE : Class and Density Based Synthetic Minority Oversampling Technique)

  • 배경환;이경현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.629-632
    • /
    • 2021
  • 머신러닝의 성능 저하에 크게 영향을 미치는 데이터 불균형은 데이터를 증강하거나 제거하여 해결할 수 있다. 본 논문에서는 지도학습에서 쓰이는 정답 데이터를 기반으로 새로운 데이터 증강기법인 CDBSMOTE을 제안한다. CDBSMOTE을 사용하면 임의의 값을 사용하지 않고, 기존의 데이터 증강기법의 문제점이었던 과적합을 최소화하며 지도학습 데이터를 효과적으로 증강시킬 수 있다.