• 제목/요약/키워드: Oversampling method

Search Result 58, Processing Time 0.025 seconds

저 SNR을 갖는 채널에서 효율적인 인식 알고리즘 (An Efficient Identification Algorithm in a Low SNR Channel)

  • 황지원;조주필
    • 한국정보통신학회논문지
    • /
    • 제18권4호
    • /
    • pp.790-796
    • /
    • 2014
  • 통신채널의 인식문제는 현재 이론적 부분과 실제 관점 부분의 문제점을 가지고 있다. 최근에 이 문제를 해결키 위해 제안된 기법들은 안테나 구조와 시간 오버샘플링에 의해 유도된 다이버시티를 이용하고 있다. 이 방법은 선형 제한조건을 가진 적응필터를 이용하고 있다. 본 논문에서는 값 분할에 근거한 기법이 제안되었다. 수신신호 상관행렬의 최소 단일값에 의한 단일벡터는 채널 임펄스 응답을 포함하며 상기 문제를 해결키 위한 적응 알고리즘을 보인다. 제안된 기법은 기존 기법의 성능보다 우수함을 알 수 있다.

Malaria Epidemic Prediction Model by Using Twitter Data and Precipitation Volume in Nigeria

  • Nduwayezu, Maurice;Satyabrata, Aicha;Han, Suk Young;Kim, Jung Eon;Kim, Hoon;Park, Junseok;Hwang, Won-Joo
    • 한국멀티미디어학회논문지
    • /
    • 제22권5호
    • /
    • pp.588-600
    • /
    • 2019
  • Each year Malaria affects over 200 million people worldwide. Particularly, African continent is highly hit by this disease. According to many researches, this continent is ideal for Anopheles mosquitoes which transmit Malaria parasites to thrive. Rainfall volume is one of the major factor favoring the development of these Anopheles in the tropical Sub-Sahara Africa (SSA). However, the surveillance, monitoring and reporting of this epidemic is still poor and bureaucratic only. In our paper, we proposed a method to fast monitor and report Malaria instances by using Social Network Systems (SNS) and precipitation volume in Nigeria. We used Twitter search Application Programming Interface (API) to live-stream Twitter messages mentioning Malaria, preprocessed those Tweets and classified them into Malaria cases in Nigeria by using Support Vector Machine (SVM) classification algorithm and compared those Malaria cases with average precipitation volume. The comparison yielded a correlation of 0.75 between Malaria cases recorded by using Twitter and average precipitations in Nigeria. To ensure the certainty of our classification algorithm, we used an oversampling technique and eliminated the imbalance in our training Tweets.

Experimental Analysis of Bankruptcy Prediction with SHAP framework on Polish Companies

  • Tuguldur Enkhtuya;Dae-Ki Kang
    • International journal of advanced smart convergence
    • /
    • 제12권1호
    • /
    • pp.53-58
    • /
    • 2023
  • With the fast development of artificial intelligence day by day, users are demanding explanations about the results of algorithms and want to know what parameters influence the results. In this paper, we propose a model for bankruptcy prediction with interpretability using the SHAP framework. SHAP (SHAPley Additive exPlanations) is framework that gives a visualized result that can be used for explanation and interpretation of machine learning models. As a result, we can describe which features are important for the result of our deep learning model. SHAP framework Force plot result gives us top features which are mainly reflecting overall model score. Even though Fully Connected Neural Networks are a "black box" model, Shapley values help us to alleviate the "black box" problem. FCNNs perform well with complex dataset with more than 60 financial ratios. Combined with SHAP framework, we create an effective model with understandable interpretation. Bankruptcy is a rare event, then we avoid imbalanced dataset problem with the help of SMOTE. SMOTE is one of the oversampling technique that resulting synthetic samples are generated for the minority class. It uses K-nearest neighbors algorithm for line connecting method in order to producing examples. We expect our model results assist financial analysts who are interested in forecasting bankruptcy prediction of companies in detail.

불균형자료를 위한 판별분석에서 HDBSCAN의 활용 (Discriminant analysis for unbalanced data using HDBSCAN)

  • 이보희;김태헌;최용석
    • 응용통계연구
    • /
    • 제34권4호
    • /
    • pp.599-609
    • /
    • 2021
  • 군집간의 개체 수의 차이가 큰 자료들을 불균형자료라고 한다. 불균형자료의 판별분석에서 다수 범주의 개체를 잘 분류하는 것 보다 소수 범주의 개체를 잘 분류하는 것이 더 중요하다. 그러나 개체 수가 상대적으로 작은 소수 범주의 개체를 개체 수가 상대적으로 많은 다수 범주의 개체로 오분류하는 경우가 많다. 본 연구에서는 이를 해결하기 위해 HDBSCAN과 SMOTE를 결합한 방법을 제안한다. HDBSCAN을 이용하여 소수 범주의 노이즈와 다수 범주의 노이즈를 제거하고 SMOTE를 적용하여 새로운 자료를 만들어낸다. 기존의 방법들과 성능을 비교하기 위하여 AUC와 F1 점수를 이용하였고 그 결과 대부분의 경우에 HDBSCAN과 SMOTE를 결합한 방법이 높은 성능 지표를 보였고, 불균형자료를 분류하는데 있어 뛰어난 방법으로 나타났다.

CycleGAN을 활용한 항공영상 학습 데이터 셋 보완 기법에 관한 연구 (A Study on the Complementary Method of Aerial Image Learning Dataset Using Cycle Generative Adversarial Network)

  • 최형욱;이승현;김형훈;서용철
    • 한국측량학회지
    • /
    • 제38권6호
    • /
    • pp.499-509
    • /
    • 2020
  • 본 연구에서는 최근 영상판독 분야에서 활발히 연구되고, 활용성이 발전하고 있는 인공지능 기반 객체분류 학습 데이터 구축에 관한 내용을 다룬다. 영상판독분야에서 인공지능을 활용하여 정확도 높은 객체를 인식, 추출하기 위해서는 알고리즘에 적용할 많은 양의 학습데이터가 필수적으로 요구된다. 하지만, 현재 공동활용 가능한 데이터 셋이 부족할 뿐만 아니라 데이터 생성을 위해서는 많은 시간과 인력 및 고비용을 필요로 하는 것이 현실이다. 따라서 본 연구에서는 소량의 초기 항공영상 학습데이터를 GAN (Generative Adversarial Network) 기반의 생성기 신경망을 활용하여 오버샘플 영상 학습데이터를 구축하고, 품질을 평가함으로써 추가적 학습 데이터 셋으로 활용하기 위한 실험을 진행하였다. GAN을 이용하여 오버샘플 학습데이터를 생성하는 기법은 딥러닝 성능에 매우 중요한 영향을 미치는 학습데이터의 양을 획기적으로 보완할 수 있으므로 초기 데이터가 부족한 경우에 효과적으로 활용될 수 있을 것으로 기대한다.

딥러닝을 이용한 광학적 프린지 패턴의 생성 (Generation of optical fringe patterns using deep learning)

  • 강지원;김동욱;서영호
    • 한국정보통신학회논문지
    • /
    • 제24권12호
    • /
    • pp.1588-1594
    • /
    • 2020
  • 본 논문에서는 심층신경망(deep neural network, DNN)을 이용하여 디지털 홀로그램을 생성하는 신경망의 학습을 위한 데이터 균형 조정 방법에 대하여 논의 한다. 심층신경망은 딥러닝(deep learning, DL) 기술에 기반을 두고 있고, 생성형 적대적 네트워크(generative adversarial network, GAN)계열을 이용한다. 심층 신경망을 통하여 생성 하고자하는 홀로그램의 기본 단위인 프린지 패턴은 홀로그램 평면과 객체의 위치에 따라 데이터의 형태가 매우 다르다. 하지만 데이터의 분류 기준이 명확하지 않기 때문에 학습 데이터의 불균형이 생길 수 있다. 학습 데이터의 불균형은 곧 학습의 불안정 요소로 작용한다. 따라서 분류 기준이 명확하지 않은 데이터를 분류하고 균형을 맞추는 방법을 제시한다. 그리고 이를 통하여 학습이 안정화됨을 보인다.

GAN 오버샘플링 기법과 CNN-BLSTM 결합 모델을 이용한 부정맥 분류 (Arrhythmia Classification using GAN-based Over-Sampling Method and Combination Model of CNN-BLSTM)

  • 조익성;권혁숭
    • 한국정보통신학회논문지
    • /
    • 제26권10호
    • /
    • pp.1490-1499
    • /
    • 2022
  • 부정맥이란 심장이 불규칙한 리듬이나 비정상적인 심박동수를 갖는 것을 말하며, 뇌졸중, 심정지 등을 유발하거나 사망에도 이를 수 있는 만큼, 조기 진단과 관리가 무엇보다 중요하다. 본 연구에서는 심전도 신호의 QRS 특징 추출에 적합한 CNN과 기존 LSTM의 직전 패턴의 수렴 한계를 해결할 수 있는 BLSTM을 연결한 CNN-BLSTM 결합 모델을 이용한 부정맥 분류 방법을 제안한다. 이를 위해 먼저 전처리 과정을 통해 잡음을 제거한 심전도 신호에서 QRS 특징점을 검출하고 단일 비트 세그먼트를 추출하였다. 이때 데이터의 불균형 문제를 해결하기 위해 GAN 오버샘플링 기법을 적용하였다. 이 후 합성곱 계층을 통해 부정맥 신호의 패턴을 정밀하게 추출하도록 구성하고 이를 BLSTM의 입력으로 사용한 후 매개변수를 학습시키고 검증 데이터로 학습 모델을 평가한 후 부정맥 분류의 정확도를 확인하였다. 제안한 방법의 우수성을 입증하기 위해 MIT-BIH 부정맥 데이터베이스를 이용하여 분류의 정확도, 정밀도, 재현율, F1-score를 비교하였다. 성능평가 결과 각각 99.30%, 98.70%, 97.50%, 98.06%로 우수한 분류율을 나타내는 것을 확인할 수 있었다.

메탈부쉬 누락예방을 위한 데이터마이닝 기법의 적용 및 비교 (Application and Comparison of Data Mining Technique to Prevent Metal-Bush Omission)

  • 고상현;이동주
    • 산업경영시스템학회지
    • /
    • 제46권3호
    • /
    • pp.139-147
    • /
    • 2023
  • The metal bush assembling process is a process of inserting and compressing a metal bush that serves to reduce the occurrence of noise and stable compression in the rotating section. In the metal bush assembly process, the head diameter defect and placement defect of the metal bush occur due to metal bush omission, non-pressing, and poor press-fitting. Among these causes of defects, it is intended to prevent defects due to omission of the metal bush by using signals from sensors attached to the facility. In particular, a metal bush omission is predicted through various data mining techniques using left load cell value, right load cell value, current, and voltage as independent variables. In the case of metal bush omission defect, it is difficult to get defect data, resulting in data imbalance. Data imbalance refers to a case where there is a large difference in the number of data belonging to each class, which can be a problem when performing classification prediction. In order to solve the problem caused by data imbalance, oversampling and composite sampling techniques were applied in this study. In addition, simulated annealing was applied for optimization of parameters related to sampling and hyper-parameters of data mining techniques used for bush omission prediction. In this study, the metal bush omission was predicted using the actual data of M manufacturing company, and the classification performance was examined. All applied techniques showed excellent results, and in particular, the proposed methods, the method of mixing Random Forest and SA, and the method of mixing MLP and SA, showed better results.

데이터 전송을 위한 최적 FIR 필터 설계 (Design of Optimal FIR Filters for Data Transmission)

  • 이상욱;이용환
    • 한국통신학회논문지
    • /
    • 제18권8호
    • /
    • pp.1226-1237
    • /
    • 1993
  • 제한된 주파수 대역폭을 이용하여 신호를 전송하기 위해서는 여러종류의 특성을 갖는 필터들이 필요하다. 이 논문에서는 이러한 필터들을 효율적으로 설계하기위한 두가지 방식을 제시하였다. 특히 fractionally-spaced(FS) 구조가 사용될때 더욱 효율적으로 필터를 설계할 수 있다. FS 구조의 특성을 최소자승 오차 방식과 결합하여, 출력오차에 영향을 주지않고, 적절한 주파수 특성을 갖는 SF 필터 설계 방식을 제시하였다. 예로, noise 신호들을 적절히 이용하면, 한개의 SF 필터가, QAM 복조에 필요한 phase splitter, 수신 필터 그리고 등화기 기능까지 갖도록 설계할 수 있다. 두번째로 임의의 주파수 특성이 요구되는 필터의 설계 방식을 제시하였다. weighting factor를 이용한 최소자숭법을 iterative하게 사용하여 최적설계를 얻는다. 이를위해 weighting factor를 효율적으로 update하기 위한 새로운 알고리듬을 이용하였다. 마지막으로, 더욱 복잡한 조건을 갖는 필터를, 이 두가지 방식을 같이 이용하여, 효율적으로 설계할 수 있는것을 보였다.

  • PDF

A Study on Fraud Detection in the C2C Used Trade Market Using Doc2vec

  • Lim, Do Hyun;Ahn, Hyunchul
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권3호
    • /
    • pp.173-182
    • /
    • 2022
  • 본 논문에서는 사기 거래를 사전에 예방하고 XAI 접근 방식을 사용하여 해석할 수 있는 기계학습 모델을 제안한다. 실험을 위해 국내 주요 온라인 C2C 재판매 거래 플랫폼인 중고나라에서 휴대폰 판매 게시물 1만2,258개에 대한 실제 데이터셋을 수집했다. 게시물 본문에 해당하는 텍스트를 Doc2vec을 이용해 특성을 추출했고 PCA를 통해 차원축소를 했으며, 이전 연구를 바탕으로 다양한 파생변수가 만들어졌다. 전처리 단계에서 데이터 불균형 문제를 해결하기 위해 오버샘플링과 언더샘플링을 결합한 복합샘플링 방법이 적용되었다. 이러한 특성을 기반으로 사기성 게시물을 탐지하는 기계학습 모델들이 학습되었다. 분석 결과 LightGBM이 다른 기계학습 모델에 비해 가장 우수한 성능을 보였다. 그리고, SHAP을 이용한 분석 결과, 시세에 비해 터무니없게 가격이 쌀수록, 거래지역 표기가 없을수록, 가격이 높을수록, 안전거래를 하지 않을수록, 택배거래를 할수록, 가격 중 0의 비율이 많을수록 사기 게시글일 확률이 높았다.