• 제목/요약/키워드: Data Imbalance

검색결과 472건 처리시간 0.031초

SinGAN기반 데이터 증강과 random forest알고리즘을 이용한 고무 오링 결함 검출 시스템 (A rubber o-ring defect detection system using data augmentation based on the SinGAN and random forest algorithm)

  • 이용은;이한성;김대원;김경천
    • 한국가시화정보학회지
    • /
    • 제19권3호
    • /
    • pp.63-68
    • /
    • 2021
  • In this study, data was augmentation through the SinGAN algorithm using small image data, and defects in rubber O-rings were detected using the random forest algorithm. Unlike the commonly used data augmentation image rotation method to solve the data imbalance problem, the data imbalance problem was solved by using the SinGAN algorithm. A study was conducted to distinguish between normal products and defective products of rubber o-ring by using the random forest algorithm. A total of 20,000 image date were divided into transit and testing datasets, and an accuracy result was obtained to distinguish 97.43% defects as a result of the test.

3축 가속도 센서를 이용한 보행 불균형 평가 시스템에 관한 연구 (A Study on Gait Imbalance Estimation System using 3-axis Accelerometer)

  • 최항적;박용덕;심현민;이상민
    • 재활복지공학회논문지
    • /
    • 제9권1호
    • /
    • pp.37-43
    • /
    • 2015
  • 본 논문에서는 3축 가속도 센서를 이용하여 보행 불균형을 진단하는 효율적 시스템을 제안한다. 제안된 하드웨어 시스템은 주로 보행시 발목 세 방향의 가속도를 무선으로 측정할 수 있는 3축 가속도 센서와 데이터 전송을 위한 임베디드 시스템으로 구성되어 있다. 획득된 데이터를 정규화 처리한 후, ROCC (ratio of correlation coefficient)를 이용하여 정상적인 보행의 대칭성과 비정상적인 보행의 대칭성을 비교 분석하였다. 건강한 성인 10명을 대상으로 실험을 실시하였고 개인당 총 5회 반복 실험을 하였다. 비정상 보행을 만들기 위해 한쪽 발의 굽의 높이를 변화시켰다. 결과를 보면 보행 불균형이 커질수록 ROCC의 값이 점차 기준에서 멀어지는 것을 알 수 있었으며 제안된 시스템이 보행 불균형 평가에 사용가능한 것이 확인되었다.

  • PDF

환경도시 건설을 위한 도시녹지의 관리권역 설정 - 창원시를 대상으로 - (Establishing a Green Space Management Zone for an Environmental City - Focusing on Changwon City -)

  • 정성관;이우성
    • 한국조경학회지
    • /
    • 제35권6호
    • /
    • pp.64-73
    • /
    • 2008
  • The purpose of this study is to classify urban green space, to assess an imbalance by an administrative district (Dong), and to establish the management zone of urban green spaces for the construction of an environmental city in Changwon. The spatial data of 1:5,000 digital maps, park data in Changwon, land cover by the Ministry of Environment, and IKONOS satellite images from 2003 were used for this analysis. The assessment of the imbalance of urban green spaces was analyzed with the Lorenz curve and Gini's coefficient. The establishment of the management zone was performed by network analysis of GIS. The results of this study are as follows: the urban green spaces were classified as a park green space, a natural green space, and a riparian green space. According to the results of assessment of the imbalance of green spaces, Gini's coefficient was analyzed at higher than 0.4. Thus, the spatial imbalance of urban green spaces in Changwon was evident. The management zones to solve the imbalance were established: "rich zone", "fair zone", "poor zone" and "broken zone". Therefore, the rich and fair zones which have rich green spaces must maintain the good conditions through analysis of the green network and a survey of civic attitudes. The poor and broken zones which have poor green spaces must improve quality and quantity through creation of additional green spaces, construction of an eco-industrial park, and utilization of children's parks and pocket parks.

메탈부쉬 누락예방을 위한 데이터마이닝 기법의 적용 및 비교 (Application and Comparison of Data Mining Technique to Prevent Metal-Bush Omission)

  • 고상현;이동주
    • 산업경영시스템학회지
    • /
    • 제46권3호
    • /
    • pp.139-147
    • /
    • 2023
  • The metal bush assembling process is a process of inserting and compressing a metal bush that serves to reduce the occurrence of noise and stable compression in the rotating section. In the metal bush assembly process, the head diameter defect and placement defect of the metal bush occur due to metal bush omission, non-pressing, and poor press-fitting. Among these causes of defects, it is intended to prevent defects due to omission of the metal bush by using signals from sensors attached to the facility. In particular, a metal bush omission is predicted through various data mining techniques using left load cell value, right load cell value, current, and voltage as independent variables. In the case of metal bush omission defect, it is difficult to get defect data, resulting in data imbalance. Data imbalance refers to a case where there is a large difference in the number of data belonging to each class, which can be a problem when performing classification prediction. In order to solve the problem caused by data imbalance, oversampling and composite sampling techniques were applied in this study. In addition, simulated annealing was applied for optimization of parameters related to sampling and hyper-parameters of data mining techniques used for bush omission prediction. In this study, the metal bush omission was predicted using the actual data of M manufacturing company, and the classification performance was examined. All applied techniques showed excellent results, and in particular, the proposed methods, the method of mixing Random Forest and SA, and the method of mixing MLP and SA, showed better results.

F_MixBERT: Sentiment Analysis Model using Focal Loss for Imbalanced E-commerce Reviews

  • Fengqian Pang;Xi Chen;Letong Li;Xin Xu;Zhiqiang Xing
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권2호
    • /
    • pp.263-283
    • /
    • 2024
  • Users' comments after online shopping are critical to product reputation and business improvement. These comments, sometimes known as e-commerce reviews, influence other customers' purchasing decisions. To confront large amounts of e-commerce reviews, automatic analysis based on machine learning and deep learning draws more and more attention. A core task therein is sentiment analysis. However, the e-commerce reviews exhibit the following characteristics: (1) inconsistency between comment content and the star rating; (2) a large number of unlabeled data, i.e., comments without a star rating, and (3) the data imbalance caused by the sparse negative comments. This paper employs Bidirectional Encoder Representation from Transformers (BERT), one of the best natural language processing models, as the base model. According to the above data characteristics, we propose the F_MixBERT framework, to more effectively use inconsistently low-quality and unlabeled data and resolve the problem of data imbalance. In the framework, the proposed MixBERT incorporates the MixMatch approach into BERT's high-dimensional vectors to train the unlabeled and low-quality data with generated pseudo labels. Meanwhile, data imbalance is resolved by Focal loss, which penalizes the contribution of large-scale data and easily-identifiable data to total loss. Comparative experiments demonstrate that the proposed framework outperforms BERT and MixBERT for sentiment analysis of e-commerce comments.

VAE(Variational AutoEncoder) 기반 머신러닝 모델을 활용한 체중 라이프로그 이상탐지에 관한 연구 (Study on Lifelog Anomaly Detection using VAE-based Machine Learning Model)

  • 김지용;박민서
    • 문화기술의 융합
    • /
    • 제8권4호
    • /
    • pp.91-98
    • /
    • 2022
  • 웨어러블 기기를 통해 지속적으로 수집되는 라이프로그 데이터는 많은 이상값을 포함할 수 있으므로 데이터품질을 향상시키기 위해서는 이상값을 찾아 제거하는 것이 필요하다. 일반적으로 이상치의 개수가 정상 데이터의 개수보다 적기 때문에 클래스 불균형 문제가 발생한다. 이러한 불균형 문제를 해결하기 위해 Variational AutoEncoder를 outlier에 적용하는 방법을 제안한다. 제안된 방법으로 이상치 데이터를 전처리한 후, 다수의 머신러닝 모델(분류)을 통해 검증한다. 체중 데이터를 이용한 검증 결과, 모든 분류 모델에서 성능이 향상됨을 확인하였다. 실험 결과를 바탕으로 라이프로그 체중 데이터 분석 시 본 연구에서 제안한 이상치 처리 방법을 이용하여 데이터를 전처리한 후 성능이 가장 좋은 LightGBM 모델을 적용할 것을 제안한다.

불균형 데이터를 갖는 냉동 컨테이너 고장 판별 및 원인 분석을 위한 기계학습 모형 개발 (Development of machine learning model for reefer container failure determination and cause analysis with unbalanced data)

  • 이희원;박성호;이승현;이승재;이강배
    • 한국융합학회논문지
    • /
    • 제13권1호
    • /
    • pp.23-30
    • /
    • 2022
  • 냉동 컨테이너의 고장은 큰 비용의 손실을 야기하지만, 현재 냉동 컨테이너의 알람 체계는 효율성이 떨어진다. 기존에 냉동 시스템의 시뮬레이션 데이터를 활용한 연구는 존재하지만, 냉동 컨테이너의 실제 운영 데이터를 활용한 연구는 부족하다. 이에 본 연구는 실제 냉동 컨테이너 운영 데이터를 활용하여 고장 원인을 분류하였다. 실제 데이터에서는 데이터 불균형이 발생하였으며 ENN-SMOTE, 클래스 가중치를 둔 Logistic 회귀분석과 본 연구에서 개발한 2-stage 알고리즘을 비교하여 데이터 불균형문제를 해결하였다. 2-stage 알고리즘은 XGboost, LGBoost, DNN을 사용하여 첫 번째 단계에서는 고장 및 정상을 분류하고, 두 번째 단계에서는 고장의 원인을 분류하는 알고리즘이다. 2-stage 알고리즘에서 LGBoost를 사용한 모델이 99.16%의 정확도로 가장 우수하였다. 본 연구는 데이터 불균형을 해결하기 위해 2-stage 알고리즘을 활용한 최종모델을 제안하며 이는 다른 산업에도 활용할 수 있을 것으로 사료된다.

데이터 불균형 개선에 따른 탁도 예측 앙상블 머신러닝 모형의 성능 특성 (Performance Characteristics of an Ensemble Machine Learning Model for Turbidity Prediction With Improved Data Imbalance)

  • 양현석;박정수
    • Ecology and Resilient Infrastructure
    • /
    • 제10권4호
    • /
    • pp.107-115
    • /
    • 2023
  • 고 탁도의 원수는 정수장 운영 및 수 생태 환경에 부정적인 영향을 줄 수 있어 관리가 필요한 수질 인자이며, 하천의 탁도 예측을 통해 고 탁도의 원수의 효율적 관리를 수행하기 위해 관련분야에 대한 연구가 지속되고 있다. 본 연구에서는 대표적인 앙상블 머신러닝 알고리즘 중 하나인 LightGBM (light gradient boosting machine)을 이용하여 탁도를 예측하는 다중 분류 모형을 구축하였다. 모형의 구축을 위해 입력자료를 탁도값에 따라 탁도가 낮은 경우부터 높은 경우까지 4개의 class로 구분하였으며, class 1 - 4에 속하는 자료수는 각각 945개, 763개, 95개, 25개로 분류되었다. 구축한 모형의 class 1 - 4에 대한 정밀도 (Precision) 각각 0.85, 0.71, 0.26, 0.30 재현율 (Recall)은 각각 0.82, 0.76, 0.19, 0.60로 데이터 수가 적은 소수 class에서 상대적으로 모형이 성능이 낮은 경향을 보였다. 데이터 불균형을 해소하기 위해 over-sampling알고리즘 중 SMOTE를 적용한 결과 개선된 모형의 class 1 - 4에 대한 정밀도 및 재현율은 각각 0.88, 0.71, 0.26, 0.25 및 0.79, 0.76, 0.38, 0.60으로 데이터 불균형 해소를 통해 모형의 재현율이 크게 개선되는 것을 확인할 수 있었다. 또한 데이터 구성비율이 모형성능에 미치는 영향에 대한 확인을 위하여 입력자료의 구성비를 다양하게 하고 각각의 자료로 구축된 모형의 결과를 비교하여 입력자료 구성비에 따른 모형성능의 차이를 분석하였으며, 모형 입력자료의 구성비의 적정한 산정을 통해 모형의 성능을 향상시킬 수 있음을 확인하였다.

딥러닝을 이용한 광학적 프린지 패턴의 생성 (Generation of optical fringe patterns using deep learning)

  • 강지원;김동욱;서영호
    • 한국정보통신학회논문지
    • /
    • 제24권12호
    • /
    • pp.1588-1594
    • /
    • 2020
  • 본 논문에서는 심층신경망(deep neural network, DNN)을 이용하여 디지털 홀로그램을 생성하는 신경망의 학습을 위한 데이터 균형 조정 방법에 대하여 논의 한다. 심층신경망은 딥러닝(deep learning, DL) 기술에 기반을 두고 있고, 생성형 적대적 네트워크(generative adversarial network, GAN)계열을 이용한다. 심층 신경망을 통하여 생성 하고자하는 홀로그램의 기본 단위인 프린지 패턴은 홀로그램 평면과 객체의 위치에 따라 데이터의 형태가 매우 다르다. 하지만 데이터의 분류 기준이 명확하지 않기 때문에 학습 데이터의 불균형이 생길 수 있다. 학습 데이터의 불균형은 곧 학습의 불안정 요소로 작용한다. 따라서 분류 기준이 명확하지 않은 데이터를 분류하고 균형을 맞추는 방법을 제시한다. 그리고 이를 통하여 학습이 안정화됨을 보인다.

반작용휠의 미소진동 측정법에 관한 실험적 연구 (An Experimental Study on Micro-vibration Measurement Methods of a Reaction Wheel)

  • 김대관;오시환;이선호;용기력
    • 한국소음진동공학회논문집
    • /
    • 제21권9호
    • /
    • pp.828-833
    • /
    • 2011
  • A reaction wheel assembly(RWA) is the largest disturbance source that can induce high frequency micro-vibration on an optical payload of satellites. To ensure a tight pointing-stability budget of satellites, the RWA disturbance effect on spacecraft should be accurately analyzed and evaluated for whole design phases. For this purpose, the micro-vibration disturbance of RWA should be precisely measured. In the present study, two measurement methods on RWA micro-vibration disturbances are compared and investigated. One is a free run-down speed test and the other is a constant speed test. The micro-vibration data measured by the two methods are analyzed in terms of spectrum characteristics, static and dynamic imbalance values, and root sum square(RSS) values. The analysis results show that both methods can measure very similar results in time and frequency domains and that the free run-down speed method is more adequate in respects to wheel friction modeling, noise rejection of imbalance and RSS peak evaluation.