• Title/Summary/Keyword: 오버 샘플링

Search Result 46, Processing Time 0.03 seconds

A Data Sampling Technique for Secure Dataset Using Weight VAE Oversampling(W-VAE) (가중치 VAE 오버샘플링(W-VAE)을 이용한 보안데이터셋 샘플링 기법 연구)

  • Kang, Hanbada;Lee, Jaewoo
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.26 no.12
    • /
    • pp.1872-1879
    • /
    • 2022
  • Recently, with the development of artificial intelligence technology, research to use artificial intelligence to detect hacking attacks is being actively conducted. However, the fact that security data is a representative imbalanced data is recognized as a major obstacle in composing the learning data, which is the key to the development of artificial intelligence models. Therefore, in this paper, we propose a W-VAE oversampling technique that applies VAE, a deep learning generation model, to data extraction for oversampling, and sets the number of oversampling for each class through weight calculation using K-NN for sampling. In this paper, a total of five oversampling techniques such as ROS, SMOTE, and ADASYN were applied through NSL-KDD, an open network security dataset. The oversampling method proposed in this paper proved to be the most effective sampling method compared to the existing oversampling method through the F1-Score evaluation index.

A Study on Calculating Over-sampling Ratio using Classification Complexity (분류 복잡도를 활용한 오버 샘플링 비율 산출 알고리즘 개발)

  • Lee, Do-Hyeon;Kim, Kyoungok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.591-594
    • /
    • 2020
  • 불균형 데이터는 범주에 따른 데이터의 분포가 불균형한 데이터를 의미한다. 이런 데이터를 활용해 기존 분류 알고리즘으로 분류기를 학습하면 성능이 저하되는 문제가 발생한다. 오버 샘플링은 이를 해결하기 위한 기법 중 하나로 수가 적은 범주[이하 소수 범주]에 속한 데이터 수를 임의로 증가시킨다. 기존 연구들에서는 수가 많은 범주[이하 다수 범주]에 속한 데이터 수와 동일한 크기만큼 증가시키는 경우가 많다. 이는 증가시키는 샘플의 수를 결정할 때 범주 간 데이터 수 비율만 고려한 것이다. 그런데 데이터가 동일한 수준의 불균형 정도를 갖더라도 범주별 데이터 분포에 따라서 분류 복잡도가 다르며, 경우에 따라 데이터 분포에서 존재하는 불균형 정도를 완전히 해소하지 않아도 된다. 이에 본 논문은 분류 복잡도를 활용해 데이터 셋 별 적정 오버 샘플링 비율을 산출하는 알고리즘을 제안한다.

Non-synchronized Sampling Techniques for DMT-based xDSL Modems (DMT 기반의 xDSL 모뎀의 비동기식 샘플링 방식)

  • 이미현;김재권;백종호;유영환;조진웅;조용수
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.25 no.12B
    • /
    • pp.2141-2153
    • /
    • 2000
  • 본 논문에서는 DMT 기반의 xDSL 시스템의 수신단에서 발생하는 샘플링 위상 옵셋과 샘플링 주파수 옵셋에 의한 타이밍 오류를 분석한 후, 디지털 수신기에서 이를 보상하기 위한 비동기식 샘플링(full digital PLL) 방식을 제안한다. 기존의 논문에서는 DMT 방식의 xDSL 시스템에서 샘플링 위상 옵셋을 delay-rotor 특성을 이용한 주파수영역 위상 회전기로 보상하는 비동기식 샘플링 방식을 제안한 바 있다. 그러나 수신단에서 샘플링 시 존재하는 타이밍 오류로 인해 저역통과 필터링된 수신신호는 더 이상 delay-rotor 특성이 성립하지 않아 성능이 크게 저하된다. 본 논문에서는 샘플링 위상 옵셋을 완벽하게 보상할 수 있는 데이터 구간의 환형 컨벌루션화(circular convolution) 방식을 제안한다. 또한 샘플링 위상 옵셋과 샘플링 주파수 옵셋이 동시에 존재하는 경우 이를 보상할 수 있는 개선된 시간/주파수 혼성영역 보상방식을 제안한다. 또한 추가의 오버헤드를 사용하지 않고 샘플링 위상 옵셋과 샘플링 주파수 옵셋을 보상할 수 있는 시간영역 보상방식을 제안한다. 마지막으로 DMT 방식의 ADSL 시스템에 본 논문에서 제안된 비동기식 샘플링 방식들을 적용하여 모의실험을 통해 성능을 분석하고 기존의 방식과 비교하여 성능의 우수성을 확인한다.

  • PDF

Over-Sampling Rate for Accurate Evaluation of MLFMM Transfer Function (MLFMM의 Transfer 함수의 정확한 계산을 위한 오버샘플링 비율)

  • Lee, Hyunsoo;Rim, Jae-Won;Koh, Il-Suek
    • The Journal of Korean Institute of Electromagnetic Engineering and Science
    • /
    • v.29 no.10
    • /
    • pp.811-816
    • /
    • 2018
  • When applying the MLFMM algorithm to a large scattering problem, the accuracy of the calculation of the transfer function has a crucial effect on the final simulation results. The numerical accuracy for the double integral on the unit sphere is strongly dependent on the sampling number. With an increasing the sampling points, the overall required memory and running time of the MLFMM simulation also increases. Hence, an optimal over-sampling rate for the number of the sampling points is numerically obtained, which is verified for a real large scattering problem.

Performance of Asynchronous MAC with an Efficient Preamble Sampling Scheme for Wireless Sensor Networks (무선 센서 네트워크를 위한 효율적인 프리엠블 샘플링 기법을 사용하는 비동기 MAC의 성능 분석)

  • Byun, Kang-Ho;Yoon, Chong-Ho;Kim, Se-Han
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.45 no.1
    • /
    • pp.70-77
    • /
    • 2008
  • On the wireless sensor network MAC protocols, one of main issues is energy enciency. Since several asynchronous wireless sensor network MAC protocols with short preamble sampling scheme can be operated without setting the timing synchronization among neighbor nodes, it consumes a little energy for maintaining protocols. However, each node encounters either preamble or data overhearing problem, because each node wakes up in a different time and must check whether the frame is being sent to itself or not. To solve this overhearing problem, we newly propose B-MAC++ that can reduce the overhearing energy consumption by using short preambles with destination address and payload length. from simulation results, we show that the proposed B-MAC++ has advantageous in terms of power consumption efficiency over other asynchronous wireless sensor network MAC protocols.

Sampling based Network Flooding Attack Detection/Prevention System for SDN (SDN을 위한 샘플링 기반 네트워크 플러딩 공격 탐지/방어 시스템)

  • Lee, Yungee;Kim, Seung-uk;Vu Duc, Tiep;Kim, Kyungbaek
    • Smart Media Journal
    • /
    • v.4 no.4
    • /
    • pp.24-32
    • /
    • 2015
  • Recently, SDN is actively used as datacenter networks and gradually increase its applied areas. Along with this change of networking environment, research of deploying network security systems on SDN becomes highlighted. Especially, systems for detecting network flooding attacks by monitoring every packets through ports of OpenFlow switches have been proposed. However, because of the centralized management of a SDN controller which manage multiple switches, it may be substantial overhead that the attack detection system continuously monitors all the flows. In this paper, a sampling based network flooding attack detection and prevention system is proposed to reduce the overhead of monitoring packets and to achieve reasonable functionality of attack detection and prevention. The proposed system periodically takes sample packets of network flows with the given sampling conditions, analyzes the sampled packets to detect network flooding attacks, and block the attack flows actively by managing the flow entries in OpenFlow switches. As network traffic sampler, sFlow agent is used, and snort, an opensource IDS, is used to detect network flooding attack from the sampled packets. For active prevention of the detected attacks, an OpenDaylight application is developed and applied. The proposed system is evaluated on the local testbed composed with multiple OVSes (Open Virtual Switch), and the performance and overhead of the proposed system under various sampling condition is analyzed.

On sampling algorithms for imbalanced binary data: performance comparison and some caveats (불균형적인 이항 자료 분석을 위한 샘플링 알고리즘들: 성능비교 및 주의점)

  • Kim, HanYong;Lee, Woojoo
    • The Korean Journal of Applied Statistics
    • /
    • v.30 no.5
    • /
    • pp.681-690
    • /
    • 2017
  • Various imbalanced binary classification problems exist such as fraud detection in banking operations, detecting spam mail and predicting defective products. Several sampling methods such as over sampling, under sampling, SMOTE have been developed to overcome the poor prediction performance of binary classifiers when the proportion of one group is dominant. In order to overcome this problem, several sampling methods such as over-sampling, under-sampling, SMOTE have been developed. In this study, we investigate prediction performance of logistic regression, Lasso, random forest, boosting and support vector machine in combination with the sampling methods for binary imbalanced data. Four real data sets are analyzed to see if there is a substantial improvement in prediction performance. We also emphasize some precautions when the sampling methods are implemented.

Optimal Ratio of Data Oversampling Based on a Genetic Algorithm for Overcoming Data Imbalance (데이터 불균형 해소를 위한 유전알고리즘 기반 최적의 오버샘플링 비율)

  • Shin, Seung-Soo;Cho, Hwi-Yeon;Kim, Yong-Hyuk
    • Journal of the Korea Convergence Society
    • /
    • v.12 no.1
    • /
    • pp.49-55
    • /
    • 2021
  • Recently, with the development of database, it is possible to store a lot of data generated in finance, security, and networks. These data are being analyzed through classifiers based on machine learning. The main problem at this time is data imbalance. When we train imbalanced data, it may happen that classification accuracy is degraded due to over-fitting with majority class data. To overcome the problem of data imbalance, oversampling strategy that increases the quantity of data of minority class data is widely used. It requires to tuning process about suitable method and parameters for data distribution. To improve the process, In this study, we propose a strategy to explore and optimize oversampling combinations and ratio based on various methods such as synthetic minority oversampling technique and generative adversarial networks through genetic algorithms. After sampling credit card fraud detection which is a representative case of data imbalance, with the proposed strategy and single oversampling strategies, we compare the performance of trained classifiers with each data. As a result, a strategy that is optimized by exploring for ratio of each method with genetic algorithms was superior to previous strategies.

Data Sampling Using Oversampling Technique for Estimating Two-Dimensional Dispersion Coefficients (2차원 분산계수 경험식 산정을 위한 오버샘플링 기법 활용 데이터 샘플링)

  • Lee, Sun Mi;Park, In Hwan
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.449-449
    • /
    • 2021
  • 하천 내 오염물질 유입원은 하수처리장과 같이 농도를 예측 가능한 점오염원이 일반적이지만, 수질오염사고와 같이 다량의 유해물질이 일시에 하천에 유입되는 경우도 발생하곤 한다. 특히 오염물질 유입지점과 취수장이 인접한 경우, 오염물질 혼합해석에 대한 이해가 오염사고 대응 및 수질 관리 측면에서 매우 중요하다. 자연하천에서는 사행에 따른 유속 구조의 불균일성 등으로 인하여 오염물질의 이송 및 분산 과정은 매우 복잡하게 나타난다. 이러한 하천의 지형적, 수리학적 특성이 오염물질의 혼합 거동에 미치는 영향을 정확하게 모의하기 위해서는 3차원 수치모형을 적용해야 한다. 그러나 대부분의 하천은 하폭 대 수심비가 매우 크기 때문에 2차원 이송-분산 방정식을 지배방정식으로 채택하는 2차원 수치 모형이 널리 사용되어왔다. 2차원 이송-분산 방정식의 해석결과는 입력된 종, 횡 분산계수의 값에 따라 변화하기 때문에 정확한 혼합해석을 위해 분산계수의 결정이 매우 중요하다. 과거 연구에서는 횡 분산계수의 결정을 위해 기본 수리량을 이용한 경험식을 활용하여 계산한 바 있다. 종 분산계수의 경우에는 경험식의 산정에 필요한 충분한 실험 자료가 축적되어 있지 않아 이상적 흐름 상태를 가정하여 유도된 Elder의 이론식(Elder, 1959)을 사용해왔다. 하지만 많은 연구에서 이러한 Elder의 이론식이 종 분산계수를 과소산정 할 우려가 있다고 제시했다. 따라서 하천의 전단류 분산특성을 나타낼 수 있는 데이터 확보를 통해 종 분산계수의 경험식 산정 및 횡 분산계수의 정확도 향상이 필요한 상황이다. 본 연구에서는 기존 선행 연구에서 수행된 2차원 추적자실험 데이터의 확장을 위해 오버샘플링 기법을 적용하였으며, 이를 통한 머신러닝을 통한 분산계수 산정 가능성을 분석하고자 한다. 부족한 추적자 실험 데이터를 확장하기 위해 오버샘플링 기법 중 SMOTE 기법을 활용했다. 오버샘플링 기법을 이용하여 생산된 데이터의 신뢰성을 검증하였으며, 추후 머신러닝을 이용한 2차원 종, 횡 분산계수 산정에 대한 활용 가능성을 분석했다.

  • PDF

A Study on the MRPID parameter tuning method (MRPID 제어기의 튜닝 방법연구)

  • Lyu, Hyun-June
    • Journal of the Institute of Electronics Engineers of Korea SC
    • /
    • v.44 no.6
    • /
    • pp.21-28
    • /
    • 2007
  • Using multi-resolution, the mutiresolution proportional-integral-derivative(MRPID) controller functions as a filter to eliminate noise and disturbance which are included in error signals. If the sampling frequency is high, the response time will be delayed because of the remaining high frequency component although the overshoot is removed. However, if the sampling frequency is low, the response time will be enhanced by getting rid of signal components while the overshoot is increased. In this paper, the sampling frequency tuning method is used the response of the proportional integral derivative(PID) controller and the MRPID controller, and the parameter tuning method is considered the characteristic of the MRPID controller. The proposal method is verified by computer simulations.