• Title/Summary/Keyword: 불균형데이터 처리

Search Result 115, Processing Time 0.029 seconds

Performance comparison between Decision tree model and TabNet for loan repayment prediction (대출 상환 예측을 위한 의사결정나무모델과 TabNet 간 성능 비교)

  • Sujin Han;Hyeoncheol Kim
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.453-455
    • /
    • 2023
  • 본 연구는 은행에서 리스크 관리 자동화를 위해 고객의 대출 상환 여부 예측 모델을 제안하고자 한다. 예측 모델로 금융 데이터 같은 정형데이터에서 전통적으로 높은 성능을 보인 의사결정나무기반 모델 LightGBM, CatBoost, XGB 와 최근 제안된 정형데이터에서 사용할 수 있는 설명 가능한 딥러닝 기반 모델 TabNet 간의 성능 비교를 진행한다. 다만, 대출 상환 여부 데이터는 불균형 클래스 데이터로 구성되어있어 샘플링을 진행한다. SMOTE, Random Under Sampling, 혼합 방식을 비교해 가장 높은 성능의 샘플링 기법을 제안한다. 대출 상환 여부 예측 결과 TabNet 모델이 의사결정나무모델들보다 좋은 성능을 보여 정형데이터에서 의사결정나무 기반 모델을 딥러닝 모델이 대체 할 수 있는 가능성을 확인했다.

Analysis and Evaluation of Data Partitioning Methods or On-line Scaling in a Shared Nothing Database Cluster (비공유 데이터베이스 클러스터에서 온-라인 확장을 위한 데이터 분할 기법의 분석 및 평가)

  • Jang, Yong-Il;Lee, Chung-Ho;Lee, Jae-Dong;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.11c
    • /
    • pp.1859-1862
    • /
    • 2002
  • 비공유 데이터베이스 클러스터는 그 구조의 특성 상 동적인 질의 패턴의 변화, 특정 데이터에 대한 질의 집중에 의한 부하 불균형 및 집중, 사용자 증가에 의한 처리량 한계 등의 문제가 발생한다. 이러한 문제를 해결하기 위해 데이터베이스 클러스터는 최근에 제안된 온-라인 확장기법을 사용하며, 이 기법은 데이터 베이스의 확장성에 의해 큰 영향을 받는다. 일반적으로 클러스터 시스템에서 사용되는 데이터 분할 기법에는 키 값의 순서대로 분할하는 라운드-로빈 분할 기법, 해쉬 함수를 이용해 데이터를 분할하는 해쉬 분할 기법, 범위에 따라 각 노드에 데이터를 분할하는 범위 분할기법, 그리고 조건식에 따라 데이터를 분할하는 조건식 분할 기법이 있다. 본 논문에서는 이 네 가지 분할 기법의 특성을 정리하고, 비공유 데이터베이스 클러스터에서 확장성에 있어서 우수한 분할 기법을 각 분할 기법의 성능평가를 통해 얻는다. 성능평가에서는 각각의 분한 기법을 평가하기 위해 확장 시 발생되는 이동 데이터의 크기, 질의처리에 대한 영향, CPU 사용률, 그리고 온-라인 확장기법의 수행 시 발생되는 특성에 대한 영향을 분석하며, 얻어진 결과를 토대로 비공유 데이터베이스 클러스터에서 가장 적합하면서도 온-라인 확장 기법적용을 위해 확장성이 우수한 데이터 분할기법을 찾는다.

  • PDF

A Study on Pre-processing for the Classification of Rare Classes (희소 클래스 분류 문제 해결을 위한 전처리 연구)

  • Ryu, Kyungjoon;Shin, Dongkyoo;Shin, Dongil
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.472-475
    • /
    • 2020
  • 실생활의 사례를 바탕으로 생성된 여러 분야의 데이터셋을 기계학습 (Machine Learning) 문제에 적용하고 있다. 정보보안 분야에서도 사이버 공간에서의 공격 트래픽 데이터를 기계학습으로 분석하는 많은 연구들이 진행 되어 왔다. 본 논문에서는 공격 데이터를 유형별로 정확히 분류할 때, 실생활 데이터에서 흔하게 발생하는 데이터 불균형 문제로 인한 분류 성능 저하에 대한 해결방안을 연구했다. 희소 클래스 관점에서 데이터를 재구성하고 기계학습에 악영향을 끼치는 특징들을 제거하고 DNN(Deep Neural Network) 모델을 사용해 분류 성능을 평가했다.

Context-Dependent Video Data Augmentation for Human Instance Segmentation (인물 개체 분할을 위한 맥락-의존적 비디오 데이터 보강)

  • HyunJin Chun;JongHun Lee;InCheol Kim
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.12 no.5
    • /
    • pp.217-228
    • /
    • 2023
  • Video instance segmentation is an intelligent visual task with high complexity because it not only requires object instance segmentation for each image frame constituting a video, but also requires accurate tracking of instances throughout the frame sequence of the video. In special, human instance segmentation in drama videos has an unique characteristic that requires accurate tracking of several main characters interacting in various places and times. Also, it is also characterized by a kind of the class imbalance problem because there is a significant difference between the frequency of main characters and that of supporting or auxiliary characters in drama videos. In this paper, we introduce a new human instance datatset called MHIS, which is built upon drama videos, Miseang, and then propose a novel video data augmentation method, CDVA, in order to overcome the data imbalance problem between character classes. Different from the previous video data augmentation methods, the proposed CDVA generates more realistic augmented videos by deciding the optimal location within the background clip for a target human instance to be inserted with taking rich spatio-temporal context embedded in videos into account. Therefore, the proposed augmentation method, CDVA, can improve the performance of a deep neural network model for video instance segmentation. Conducting both quantitative and qualitative experiments using the MHIS dataset, we prove the usefulness and effectiveness of the proposed video data augmentation method.

A Study on Intraoperative Hypotension Prediction using Deep Learning Model and Non-Invasive Data (딥러닝 모델과 비침습적 데이터를 활용한 수술 중 저혈압 예측에 관한 연구)

  • Kim, Dongwon;Shin, Youjeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.509-512
    • /
    • 2022
  • 수술 중 저혈압 예측은 환자의 안전과 직결되는 중요한 과제이다. 그러나 인간이 저혈압을 예측하는 것은 많은 경험과 노하우를 필요로 하며, 현재 연구되고 있는 예측 기술은 단일 정보를 활용하여 복합적인 원인을 반영하지 못하거나, 침습적으로 데이터를 획득하여 환자에게 불편함을 준다. 비침습적으로 수집한 데이터를 통한 저혈압 발생 예측에 대한 연구는 꾸준히 진행되어 왔으나, 기존 딥러닝을 이용한 접근방법으로는 정확도가 낮다. 본 논문에서는 그 원인을 1)데이터 전처리 2)데이터 불균형 3)기존 모델의 한계로 구분하고, 이를 해결 가능한 방안을 제시한다. 실험 결과 CNN*CNN에서 Focal Loss를 사용할 때, 가장 높은 성능을 내는 것을 확인했다.

Dataset Augmentation on Fallen Person Objects in a Autonomous Driving Tractor Environment (자율주행 트랙터 환경에서 쓰러진 사람에 대한 데이터 증강)

  • Hwapyeong Baek;Hanse Ahn;Heesung Chae;Yongwha Chung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.553-556
    • /
    • 2023
  • 데이터 증강은 데이터 불균형 문제를 해결하기 위해 일반화 성능을 향상시킨다. 이는 과적합 문제를 해결하고 정확도를 높이는 데 도움을 준다. 과적합을 해결하기 위해서 본 논문에서는 분할 마스크 라벨링을 자동화하여 효율성을 높이고, RoI를 활용한 분할 Copy-Paste 데이터 증강 기법을 제안한다. 본 논문의 제안 방법을 적용한 결과 YOLOv8 모델에서 기존의 분할, 박스 Copy-Paste 데이터 증강 기법과 비교해서 쓰러진 사람 객체에 대한 정확도가 10.2% 증가함으로써 제안한 방법이 일반화 성능을 높이는 데 효과가 있음을 확인하였다.

Effect Analysis of Data Imbalance for Emotion Recognition Based on Deep Learning (딥러닝기반 감정인식에서 데이터 불균형이 미치는 영향 분석)

  • Hajin Noh;Yujin Lim
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.12 no.8
    • /
    • pp.235-242
    • /
    • 2023
  • In recent years, as online counseling for infants and adolescents has increased, CNN-based deep learning models are widely used as assistance tools for emotion recognition. However, since most emotion recognition models are trained on mainly adult data, there are performance restrictions to apply the model to infants and adolescents. In this paper, in order to analyze the performance constraints, the characteristics of facial expressions for emotional recognition of infants and adolescents compared to adults are analyzed through LIME method, one of the XAI techniques. In addition, the experiments are performed on the male and female groups to analyze the characteristics of gender-specific facial expressions. As a result, we describe age-specific and gender-specific experimental results based on the data distribution of the pre-training dataset of CNN models and highlight the importance of balanced learning data.

Solar-CTP : An Enhanced CTP for Solar-powered Wireless Sensor Networks (Solar-CTP : 태양 에너지 수집형 무선 센서 네트워크를 위한 향상된 CTP)

  • Cheong, Seok Hyun;Kang, Minjae;Go, Jung Hyun;Noh, Dong Kun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.329-330
    • /
    • 2019
  • 무선 센서 네트워크(WSN)는 배터리 자원의 제약으로 인해 수명이 짧다는 문제와 많은 이웃 노드와 통신하는 노드의 에너지 소비가 증가하는 에너지 불균형 문제를 가지고 있다. 이를 해결하고자, 최근에는 태양 에너지 수집형 노드를 사용하여 에너지를 지속적으로 수집함으로써 배터리 자원 제약 문제를 해결하려는 연구들이 활발히 진행되고 있다. 기존의 배터리 기반의 WSN을 위하여 제안된 유명한 데이터 수집 기법인 CTP(Collection Tree Protocol)도 이와 같은 에너지 제약 및 에너지 사용 불균형 문제는 고려하지 않고 설계되었다. 따라서 정전 노드 발생 및 루프 발생과 같은 네트워크의 안정성이 심각하게 저하되는 문제를 내포하고 있었다. 이를 해결하고자, 본 논문에서는 태양 에너지 수집형 노드로 구성된 WSN을 위한 향상된 CTP 기법(Solar-CTP)을 제안한다. 제안된 Solar-CTP기법에서는 수집 에너지 및 사용 에너지양 예측을 통해 노드 동작 모드를 결정한다. 성능 검증을 통해 기존 CTP에 비해 Solar-CTP의 정전 노드의 수가 매우 적고, 싱크의 데이터 수집량이 많아진 것을 확인하였다.

Ethereum Phishing Scam Detection Based on Graph Embedding (그래프 임베딩 기반의 이더리움 피싱 스캠 탐지 연구)

  • Cheong, Yoo-Young;Kim, Gyoung-Tae;Im, Dong-Hyuk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.266-268
    • /
    • 2022
  • 최근 블록체인 기술이 부상하면서 이를 이용한 암호화폐가 범죄의 대상이 되고 있다. 특히 피싱 스캠은 이더리움 사이버 범죄의 과반수 이상을 차지하며 주요 보안 위협원으로 여겨지고 있다. 따라서 효과적인 피싱 스캠 탐지 방법이 시급하다. 그러나 전체 노드에서 라벨링된 피싱 주소의 부족으로 인한 데이터 불균형으로 인하여 지도학습에 충분한 데이터 제공이 어려운 상황이다. 이를 해결하기 위해 본 논문에서는 이더리움 트랜잭션 네트워크를 고려한 효율적인 네트워크 임베딩 기법인 trans2vec 과 준지도 학습 모델 tri-training 을 함께 사용하여 라벨링된 데이터뿐만 아니라 라벨링되지 않은 데이터도 최대한 활용하는 피싱 스캠 탐지 방법을 제안한다.

The Development and Verification of Balance Insole for Improving the Muscle Imbalance of Left and Right Leg Using based Sound Feedback (청각 피드백이 적용된 좌우 불균형 개선을 위한 밸런스 인솔 개발 및 검증)

  • Kang, Seung-Rok;Yoon, Young-Hwan;Yu, Chang-Ho;Nah, Jae-Wook;Hong, Chul-Un;Kwon, Tae-Kyu
    • Journal of rehabilitation welfare engineering & assistive technology
    • /
    • v.11 no.2
    • /
    • pp.115-124
    • /
    • 2017
  • This study was to develop the balance insole system for detecting and improving the muscle imbalance of left and right side in lower limbs. We were to verify the validation of balance insole system by analyzing the strategy of muscular activities and foot pressure according to sound feedback. We developed the balance insole based FSR sensor modules for estimating the muscle imbalance using detecting foot pressure. The insole system was FPCB have 8-spot FSR sensor with sensitivity range of 64-level. The participants were twenty peoples who have muscle strength differences in left and right legs over 20%. We measured the muscular activity and foot pressure of left and right side of lower limbs in various gait environment for verifying the improvement effect of muscle imbalance according to sound feedback. They performed gait in slope at 0, 5, 10, 15% and velocity at 3, 4, 5km/h. The result showed that the level of muscle imbalance reduced within 30% for sound feedback of balance insole system contrast to high level of muscle imbalance at 169.9~246.8% during normal gait for increasing slope and velocity. This study found the validation of balance insole system with sound feedback stimulus. Also, we thought that it is necessary to research on the sensitivity of foot area, detection of muscle imbalance and processing algorithm of correction threshold spot.