• 제목/요약/키워드: 오버 샘플링

검색결과 46건 처리시간 0.043초

가중치 VAE 오버샘플링(W-VAE)을 이용한 보안데이터셋 샘플링 기법 연구 (A Data Sampling Technique for Secure Dataset Using Weight VAE Oversampling(W-VAE))

  • 강한바다;이재우
    • 한국정보통신학회논문지
    • /
    • 제26권12호
    • /
    • pp.1872-1879
    • /
    • 2022
  • 최근 인공지능 기술이 발전하면서 해킹 공격을 탐지하기 위해 인공지능을 이용하려는 연구가 활발히 진행되고 있다. 하지만, 인공지능 모델 개발에 핵심인 학습데이터를 구성하는데 있어서 보안데이터가 대표적인 불균형 데이터라는 점이 큰 장애물로 인식되고 있다. 이에 본 눈문에서는 오버샘플링을 위한 데이터 추출에 딥러닝 생성 모델인 VAE를 적용하고 K-NN을 이용한 가중치 계산을 통해 클래스별 오버샘플링 개수를 설정하여 샘플링을 하는 W-VAE 오버샘플링 기법을 제안한다. 본 논문에서는 공개 네트워크 보안 데이터셋인 NSL-KDD를 통해 ROS, SMOTE, ADASYN 등 총 5가지 오버샘플링 기법을 적용하였으며 본 논문에서 제안한 오버샘플링 기법이 F1-Score 평가지표를 통해 기존 오버샘플링 기법과 비교하여 가장 효과적인 샘플링 기법임을 증명하였다.

분류 복잡도를 활용한 오버 샘플링 비율 산출 알고리즘 개발 (A Study on Calculating Over-sampling Ratio using Classification Complexity)

  • 이도현;김경옥
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.591-594
    • /
    • 2020
  • 불균형 데이터는 범주에 따른 데이터의 분포가 불균형한 데이터를 의미한다. 이런 데이터를 활용해 기존 분류 알고리즘으로 분류기를 학습하면 성능이 저하되는 문제가 발생한다. 오버 샘플링은 이를 해결하기 위한 기법 중 하나로 수가 적은 범주[이하 소수 범주]에 속한 데이터 수를 임의로 증가시킨다. 기존 연구들에서는 수가 많은 범주[이하 다수 범주]에 속한 데이터 수와 동일한 크기만큼 증가시키는 경우가 많다. 이는 증가시키는 샘플의 수를 결정할 때 범주 간 데이터 수 비율만 고려한 것이다. 그런데 데이터가 동일한 수준의 불균형 정도를 갖더라도 범주별 데이터 분포에 따라서 분류 복잡도가 다르며, 경우에 따라 데이터 분포에서 존재하는 불균형 정도를 완전히 해소하지 않아도 된다. 이에 본 논문은 분류 복잡도를 활용해 데이터 셋 별 적정 오버 샘플링 비율을 산출하는 알고리즘을 제안한다.

DMT 기반의 xDSL 모뎀의 비동기식 샘플링 방식 (Non-synchronized Sampling Techniques for DMT-based xDSL Modems)

  • 이미현;김재권;백종호;유영환;조진웅;조용수
    • 한국통신학회논문지
    • /
    • 제25권12B호
    • /
    • pp.2141-2153
    • /
    • 2000
  • 본 논문에서는 DMT 기반의 xDSL 시스템의 수신단에서 발생하는 샘플링 위상 옵셋과 샘플링 주파수 옵셋에 의한 타이밍 오류를 분석한 후, 디지털 수신기에서 이를 보상하기 위한 비동기식 샘플링(full digital PLL) 방식을 제안한다. 기존의 논문에서는 DMT 방식의 xDSL 시스템에서 샘플링 위상 옵셋을 delay-rotor 특성을 이용한 주파수영역 위상 회전기로 보상하는 비동기식 샘플링 방식을 제안한 바 있다. 그러나 수신단에서 샘플링 시 존재하는 타이밍 오류로 인해 저역통과 필터링된 수신신호는 더 이상 delay-rotor 특성이 성립하지 않아 성능이 크게 저하된다. 본 논문에서는 샘플링 위상 옵셋을 완벽하게 보상할 수 있는 데이터 구간의 환형 컨벌루션화(circular convolution) 방식을 제안한다. 또한 샘플링 위상 옵셋과 샘플링 주파수 옵셋이 동시에 존재하는 경우 이를 보상할 수 있는 개선된 시간/주파수 혼성영역 보상방식을 제안한다. 또한 추가의 오버헤드를 사용하지 않고 샘플링 위상 옵셋과 샘플링 주파수 옵셋을 보상할 수 있는 시간영역 보상방식을 제안한다. 마지막으로 DMT 방식의 ADSL 시스템에 본 논문에서 제안된 비동기식 샘플링 방식들을 적용하여 모의실험을 통해 성능을 분석하고 기존의 방식과 비교하여 성능의 우수성을 확인한다.

  • PDF

MLFMM의 Transfer 함수의 정확한 계산을 위한 오버샘플링 비율 (Over-Sampling Rate for Accurate Evaluation of MLFMM Transfer Function)

  • 이현수;임재원;고일석
    • 한국전자파학회논문지
    • /
    • 제29권10호
    • /
    • pp.811-816
    • /
    • 2018
  • MLFMM 알고리듬을 큰 산란체 문제에 적용하는 경우, transfer 함수의 계산이 최종 결과의 정확도에 큰 영향을 준다. 수치 과정 중 단위원 위에서 계산되는 적분의 정확도는 샘플링 수에 영향을 크게 받는다. 샘플링 수를 늘리면, 메모리와 계산시간도 같이 늘어나, 정확도가 유지되는 최소의 샘플링 수가 중요하다. 이는 산란체의 크기와 관련이 있어, 수치적으로 최적의 샘플링 수에 관한 오버샘플링 비율을 구하고, 대규모 산란체에서 검증한다.

무선 센서 네트워크를 위한 효율적인 프리엠블 샘플링 기법을 사용하는 비동기 MAC의 성능 분석 (Performance of Asynchronous MAC with an Efficient Preamble Sampling Scheme for Wireless Sensor Networks)

  • 변강호;윤종호;김세한
    • 전자공학회논문지CI
    • /
    • 제45권1호
    • /
    • pp.70-77
    • /
    • 2008
  • 무선 센서 네트워크 MAC 프로토콜에서 에너지 효율성은 가장 중요한 이슈들 중 하나이다. 프리엠블 샘플링 기법을 사용하는 비동기 방식의 무선 센서 네트워크 MAC 프로토콜은 동기를 맞추기 위한 프로토콜 절차가 없기 때문에 프로토콜을 유지하기 위하여 사용하는 에너지 소모가 적다. 그러나 프리엠블 샘플링 기법을 사용하는 노드들은 동기를 맞추지 않고 각각 다른 시간에 깨어나서 자신에게 전송되는 데이터가 있는지 확인하기 때문에, 프리엠블 오버히어링이나 데이터 오버히어링이 발생하기 쉽다. 본 논문에서는 이와 같은 문제점을 해결하기 위하여, 수신노드식별자와 페이로드의 길이정보를 수납한 짧은 프리앰블을 사용함으로써 주변노드의 오버히어링을 감소시킨 B-MAC++를 제안하였다. 그리고 기존의 프리엠블 샘플링 기법을 사용하는 비동기 방식의 무선 센서 네트워크 MAC 프로토콜들과 제안한 B-MAC++를 모의실험을 통하여 에너지소모 관점에서 평가 비교분석 하였다.

SDN을 위한 샘플링 기반 네트워크 플러딩 공격 탐지/방어 시스템 (Sampling based Network Flooding Attack Detection/Prevention System for SDN)

  • 이윤기;김승욱;부 둑 티엡;김경백
    • 스마트미디어저널
    • /
    • 제4권4호
    • /
    • pp.24-32
    • /
    • 2015
  • 최근 SDN은 데이터센터 네트워크로 활발히 사용되고 있으며, 그 사용범위를 점진적으로 늘려나가고 있다. 이러한 새로운 네트워크 환경 변화와 함께, 네트워크 보안시스템을 SDN 환경 상에서 구축하는 연구들이 진행되고 있다. 특히 OpenFlow Switch의 포트를 통과하는 패킷들을 지속적으로 관찰함으로써 네트워크 플러딩 공격 등을 탐지하기 위한 시스템들이 제안되었다. 하지만 다수의 스위치를 중앙집중형 컨트롤러에서 관리하는 SDN의 특성상 지속적인 네트워크 트래픽 관찰은 상당한 오버헤드로 작용할 수 있다. 이 논문에서는 이러한 지속적인 네트워크 트래픽 관찰에 따른 오버헤드를 줄이면서도 네트워크 플러딩 공격을 효과적으로 탐지 및 방어 할 수 있는, 샘플링 기반 네트워크 플러딩 공격 탐지 및 방어 시스템을 제안한다. 제안된 시스템은 네트워크 트래픽을 주어진 샘플링 조건에 맞추어 주기적으로 관찰하고, 샘플링 패킷들을 분석하여 네트워크 플러딩 공격을 탐지하며, 탐지된 공격을 OpenFlow Switch의 플로우 엔트리관리를 통해 능동적으로 차단하다. 네트워크 트래픽 샘플링을 위해 sFlow agent를 활용하고, 샘플링된 패킷 정보를 소프트웨어적으로 분석하여 공격을 탐지하기 위해 오픈소스 기반 IDS인 snort을 사용하였다. 탐지된 공격의 자동화된 방어 기작의 구현을 위해 OpenDaylight SDN 컨트롤러용 어플리케이션을 개발하여 적용하였다. 제안된 시스템은 OVS (Open Virtual Switch)를 활용한 로컬 테스트베드 상에서 그 동작을 검증하였고, 다양한 샘플링 조건에 따른 제안된 시스템의 성능 및 오버헤드를 분석하였다.

불균형적인 이항 자료 분석을 위한 샘플링 알고리즘들: 성능비교 및 주의점 (On sampling algorithms for imbalanced binary data: performance comparison and some caveats)

  • 김한용;이우주
    • 응용통계연구
    • /
    • 제30권5호
    • /
    • pp.681-690
    • /
    • 2017
  • 파산감지, 스팸메일 감지, 불량품 감지 등 일상생활에서 불균형적인 이항 분류 문제를 다양하게 접할 수 있다. 반응변수의 클래스의 비율이 상당히 불균형한 경우 이항 분류 모형의 예측 성능이 좋지 않다는 점은 이미 잘 알려진 사실이다. 이러한 문제점을 해결하기 위해 그 동안 오버 샘플링, 언더 샘플링, SMOTE와 같은 여러 샘플링 기법이 개발되어 왔다. 본 연구에서는 분류 모형으로 많이 사용되는 기계학습모형으로 로지스틱 회귀모형, Lasso, 랜덤포레스트, 부스팅, 서포트 벡터 머신을 위의 샘플링 기법들과 결합하여 사용했을 때의 예측 성능을 살펴보았다. 실질적인 예측 성능의 개선 여부를 확인하기 위해 네 개의 실제 자료를 분석하였다. 이와 더불어, 샘플링 방법이 사용될 때 주의해야 할 점에 대해서 강조하였다.

데이터 불균형 해소를 위한 유전알고리즘 기반 최적의 오버샘플링 비율 (Optimal Ratio of Data Oversampling Based on a Genetic Algorithm for Overcoming Data Imbalance)

  • 신승수;조휘연;김용혁
    • 한국융합학회논문지
    • /
    • 제12권1호
    • /
    • pp.49-55
    • /
    • 2021
  • 최근에는 데이터베이스의 발달로 금융, 보안, 네트워크 등에서 생성된 많은 데이터가 저장 가능하며, 기계학습 기반 분류기를 통해 분석이 이루어지고 있다. 이 때 주로 야기되는 문제는 데이터 불균형으로, 학습 시 다수 범주의 데이터들로 과적합이 되어 분류 정확도가 떨어지는 경우가 발생한다. 이를 해결하기 위해 소수 범주의 데이터 수를 증가시키는 오버샘플링 전략이 주로 사용되며, 데이터 분포에 적합한 기법과 인자들을 다양하게 조절하는 과정이 필요하다. 이러한 과정의 개선을 위해 본 연구에서는 스모트와 생성적 적대 신경망 등 다양한 기법 기반의 오버샘플링 조합과 비율을 유전알고리즘을 통해 탐색하고 최적화 하는 전략을 제안한다. 제안된 전략과 단일 오버샘플링 기법으로 신용카드 사기 탐지 데이터를 샘플링 한 뒤, 각각의 데이터들로 학습한 분류기의 성능을 비교한다. 그 결과 유전알고리즘으로 기법별 비율을 탐색하여 최적화 한 전략의 성능이 기존 전략들 보다 우수했다.

2차원 분산계수 경험식 산정을 위한 오버샘플링 기법 활용 데이터 샘플링 (Data Sampling Using Oversampling Technique for Estimating Two-Dimensional Dispersion Coefficients)

  • 이선미;박인환
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.449-449
    • /
    • 2021
  • 하천 내 오염물질 유입원은 하수처리장과 같이 농도를 예측 가능한 점오염원이 일반적이지만, 수질오염사고와 같이 다량의 유해물질이 일시에 하천에 유입되는 경우도 발생하곤 한다. 특히 오염물질 유입지점과 취수장이 인접한 경우, 오염물질 혼합해석에 대한 이해가 오염사고 대응 및 수질 관리 측면에서 매우 중요하다. 자연하천에서는 사행에 따른 유속 구조의 불균일성 등으로 인하여 오염물질의 이송 및 분산 과정은 매우 복잡하게 나타난다. 이러한 하천의 지형적, 수리학적 특성이 오염물질의 혼합 거동에 미치는 영향을 정확하게 모의하기 위해서는 3차원 수치모형을 적용해야 한다. 그러나 대부분의 하천은 하폭 대 수심비가 매우 크기 때문에 2차원 이송-분산 방정식을 지배방정식으로 채택하는 2차원 수치 모형이 널리 사용되어왔다. 2차원 이송-분산 방정식의 해석결과는 입력된 종, 횡 분산계수의 값에 따라 변화하기 때문에 정확한 혼합해석을 위해 분산계수의 결정이 매우 중요하다. 과거 연구에서는 횡 분산계수의 결정을 위해 기본 수리량을 이용한 경험식을 활용하여 계산한 바 있다. 종 분산계수의 경우에는 경험식의 산정에 필요한 충분한 실험 자료가 축적되어 있지 않아 이상적 흐름 상태를 가정하여 유도된 Elder의 이론식(Elder, 1959)을 사용해왔다. 하지만 많은 연구에서 이러한 Elder의 이론식이 종 분산계수를 과소산정 할 우려가 있다고 제시했다. 따라서 하천의 전단류 분산특성을 나타낼 수 있는 데이터 확보를 통해 종 분산계수의 경험식 산정 및 횡 분산계수의 정확도 향상이 필요한 상황이다. 본 연구에서는 기존 선행 연구에서 수행된 2차원 추적자실험 데이터의 확장을 위해 오버샘플링 기법을 적용하였으며, 이를 통한 머신러닝을 통한 분산계수 산정 가능성을 분석하고자 한다. 부족한 추적자 실험 데이터를 확장하기 위해 오버샘플링 기법 중 SMOTE 기법을 활용했다. 오버샘플링 기법을 이용하여 생산된 데이터의 신뢰성을 검증하였으며, 추후 머신러닝을 이용한 2차원 종, 횡 분산계수 산정에 대한 활용 가능성을 분석했다.

  • PDF

MRPID 제어기의 튜닝 방법연구 (A Study on the MRPID parameter tuning method)

  • 류현준
    • 전자공학회논문지SC
    • /
    • 제44권6호
    • /
    • pp.21-28
    • /
    • 2007
  • Mutiresolution proportional-integral-derivative(MRPID) 제어기는 웨이브렛 기반의 다해상도 응답을 이용해서 에러 신호에 포함되어 있는 잡음과 외란을 제거하는 필터 역할을 해준다. 다해상도 응답의 특징상 샘플링 주파수가 높을 경우 상대적으로 고주파성분이 남아있음으로 인해 응답속도가 떨어지는 대신에 오버슈트가 제거되고, 낮을 경우 신호 성분이 제거되므로 인해 응답속도가 향상되지만 오버슈트가 증가 되는 결과를 보였다. 본 논문에서는 proportional-integral-derivative(PID) 제어기와 MRPID 제어기의 응답을 이용한 샘플링 주파수를 설정하는 기법과, MRPID 제어기의 특성을 고려한 파라미터 설정기법을 제안한다. 모의실험을 통해서 제안된 기법의 타당성을 검증하였다.