• Title/Summary/Keyword: 데이터 샘플링

Search Result 510, Processing Time 0.04 seconds

An Efficient Sensor Monitoring Technique based on Adaptive Sampling (적응적 샘플링에 기반한 효율적인 센서 모니터링 기법)

  • Kim, Min-kee;Min, Jun-Ki
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.04a
    • /
    • pp.286-289
    • /
    • 2009
  • 센서 네트워크 구조에서는 많은 수의 센서 노드들이 지속적으로 센서 데이터를 베이스 스테이션(Base Station)으로 전송한다. 각 노드의 샘플링 주기는 베이스 스테이션으로 전송되는 길목의 네트워크 자원인 대역폭, 계산 비용 등에 지대한 영향을 끼친다. 본 논문에서는 샘플링 대상의 스트림 데이터 특성에 따른 각 노드의 샘플링 주기에 관련된 새로운 적응적 샘플링 기법을 제안한다. 본 논문에서는 KF(Kalman-Filter) 에 기반을 둔 예측 기법을 사용하였다. 이는 각 노드는 KF의 예측값과 실측값의 차를 사용하여 허용된 범위 안에서 자동적으로 샘플링 주기를 조정하는 방식이다. 따라서, 우리는 샘플링 대상의 데이터 특성에 따른 우선순위에 기반 네트워크 자원을 효과적으로 사용하고 Dual Kalman Filter(DKF) 기법과 결합하여 센서 네트워크에서의 가장 큰 문제 중 하나인 에너지 소비의 최소화하면서 효과적으로 근사 데이터 전송하도록 하여 에너지 소비량을 줄였다.

A New Statistical Sampling Method for Reducing Computing time of Machine Learning Algorithms (기계학습 알고리즘의 컴퓨팅시간 단축을 위한 새로운 통계적 샘플링 기법)

  • Jun, Sung-Hae
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.21 no.2
    • /
    • pp.171-177
    • /
    • 2011
  • Accuracy and computing time are considerable issues in machine learning. In general, the computing time for data analysis is increased in proportion to the size of given data. So, we need a sampling approach to reduce the size of training data. But, the accuracy of constructed model is decreased by going down the data size simultaneously. To solve this problem, we propose a new statistical sampling method having similar performance to the total data. We suggest a rule to select optimal sampling techniques according to given data structure. This paper shows a sampling method for reducing computing time with keeping the most of accuracy using cluster sampling, stratified sampling, and systematic sampling. We verify improved performance of proposed method by accuracy and computing time between sample data and total data using objective machine learning data sets.

Dynamic Sampling Scheduler for Unbalanced Data Classification (불균형 범주 분류를 위한 동적 샘플링 스케줄러)

  • Seong, Su-Jin;Park, Won-Joo;Lee, Yong-Tae;Cha, Jeong-Won
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.221-226
    • /
    • 2021
  • 우리는 범주 불균형 분류 문제를 해결하기 위해 학습 과정 중 범주 크기 기반 배치 샘플링 방법 전환을 위한 스케줄링 방법을 제안한다. 범주별 샘플링 확률로 범주 크기의 역수(LWRS-Reciporcal)와 범주 비율의 반수(LWRS-Ratio)를 적용하여 각각 실험을 진행하였고, LWRS-Reciporcal 방법이 F1 성능 개선에 더 효과적인 것을 확인하였다. 더하여 고정된 샘플링 확률값으로 인해 발생할 수 있는 또 다른 편향 문제를 완화하기 위해 학습 과정 중 샘플링 방법을 전환하는 스케줄링 방법을 설계하였다. 결과적으로 검증 성능의 갱신 유무로 샘플링 방법을 전환하였을 때 naver shopping 데이터셋과 KLUE-TC에 대하여 f1 score와 accuracy의 성능 합이 베이스라인보다 각각 0.7%, 0.8% 향상된 가장 이상적인 성능을 보임을 확인하였다.

  • PDF

The Study on Effect of sEMG Sampling Frequency on Learning Performance in CNN based Finger Number Recognition (CNN 기반 한국 숫자지화 인식 응용에서 표면근전도 샘플링 주파수가 학습 성능에 미치는 영향에 관한 연구)

  • Gerelbat BatGerel;Chun-Ki Kwon
    • Journal of the Institute of Convergence Signal Processing
    • /
    • v.24 no.1
    • /
    • pp.51-56
    • /
    • 2023
  • This study investigates the effect of sEMG sampling frequency on CNN learning performance at Korean finger number recognition application. Since the bigger sampling frequency of sEMG signals generates bigger size of input data and takes longer CNN's learning time. It makes making real-time system implementation more difficult and more costly. Thus, there might be appropriate sampling frequency when collecting sEMG signals. To this end, this work choose five different sampling frequencies which are 1,024Hz, 512Hz, 256Hz, 128Hz and 64Hz and investigates CNN learning performance with sEMG data taken at each sampling frequency. The comparative study shows that all CNN recognized Korean finger number one to five at the accuracy of 100% and CNN with sEMG signals collected at 256Hz sampling frequency takes the shortest learning time to reach the epoch at which korean finger number gestures are recognized at the accuracy of 100%.

A Clustering-based Undersampling Method to Prevent Information Loss from Text Data (텍스트 데이터의 정보 손실을 방지하기 위한 군집화 기반 언더샘플링 기법)

  • Jong-Hwi Kim;Saim Shin;Jin Yea Jang
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.251-256
    • /
    • 2022
  • 범주 불균형은 분류 모델이 다수 범주에 편향되게 학습되어 소수 범주에 대한 분류 성능을 떨어뜨리는 문제를 야기한다. 언더 샘플링 기법은 다수 범주 데이터의 수를 줄여 소수 범주와 균형을 이루게하는 대표적인 불균형 해결 방법으로, 텍스트 도메인에서의 기존 언더 샘플링 연구에서는 단어 임베딩과 랜덤 샘플링과 같은 비교적 간단한 기법만이 적용되었다. 본 논문에서는 트랜스포머 기반 문장 임베딩과 군집화 기반 샘플링 방법을 통해 텍스트 데이터의 정보 손실을 최소화하는 언더샘플링 방법을 제안한다. 제안 방법의 검증을 위해, 감성 분석 실험에서 제안 방법과 랜덤 샘플링으로 추출한 훈련 세트로 모델을 학습하고 성능을 비교 평가하였다. 제안 방법을 활용한 모델이 랜덤 샘플링을 활용한 모델에 비해 적게는 0.2%, 많게는 2.0% 높은 분류 정확도를 보였고, 이를 통해 제안하는 군집화 기반 언더 샘플링 기법의 효과를 확인하였다.

  • PDF

Load Shedding Method based on Grid Hash to Improve Accuracy of Spatial Sliding Window Aggregate Queries (공간 슬라이딩 윈도우 집계질의의 정확도 향상을 위한 그리드 해쉬 기반의 부하제한 기법)

  • Baek, Sung-Ha;Lee, Dong-Wook;Kim, Gyoung-Bae;Chung, Weon-Il;Bae, Hae-Young
    • Journal of Korea Spatial Information System Society
    • /
    • v.11 no.2
    • /
    • pp.89-98
    • /
    • 2009
  • As data stream is entered into system continuously and the memory space is limited, the data exceeding the memory size cannot be processed. In order to solve the problem, load shedding methods which drop a part of data to prevent exceeding the storage space have been researched. Generally, a traditional load shedding method uses random sampling with optimized rate according to data deviation. The method samples data not to distinguish those used in spatial query because the method uses only a random sampling with optimized rate according to data deviation. Therefore, the accuracy of query was reduced in u-GIS environment including spatial query. In this paper, we researched a new load shedding method improving accuracy of the query in u-GIS environment which runs spatial query and aspatial query simultaneously. The method uses a new sampling method that samples data having low probability used in query. Therefore proposed method improves spatial query accuracy and query processing speed as applying spatial filtering operation to sampling operator.

  • PDF

A Study on Calculating Over-sampling Ratio using Classification Complexity (분류 복잡도를 활용한 오버 샘플링 비율 산출 알고리즘 개발)

  • Lee, Do-Hyeon;Kim, Kyoungok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.591-594
    • /
    • 2020
  • 불균형 데이터는 범주에 따른 데이터의 분포가 불균형한 데이터를 의미한다. 이런 데이터를 활용해 기존 분류 알고리즘으로 분류기를 학습하면 성능이 저하되는 문제가 발생한다. 오버 샘플링은 이를 해결하기 위한 기법 중 하나로 수가 적은 범주[이하 소수 범주]에 속한 데이터 수를 임의로 증가시킨다. 기존 연구들에서는 수가 많은 범주[이하 다수 범주]에 속한 데이터 수와 동일한 크기만큼 증가시키는 경우가 많다. 이는 증가시키는 샘플의 수를 결정할 때 범주 간 데이터 수 비율만 고려한 것이다. 그런데 데이터가 동일한 수준의 불균형 정도를 갖더라도 범주별 데이터 분포에 따라서 분류 복잡도가 다르며, 경우에 따라 데이터 분포에서 존재하는 불균형 정도를 완전히 해소하지 않아도 된다. 이에 본 논문은 분류 복잡도를 활용해 데이터 셋 별 적정 오버 샘플링 비율을 산출하는 알고리즘을 제안한다.

RGB 3 채널에 대한 컬러 수차가 없는 논호겔 라이트필드 기반 컴퓨터 생성 홀로그램 합성

  • Min, Da-Bin;Min, Gyo-Sik;Park, Jae-Hyeong
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • fall
    • /
    • pp.45-48
    • /
    • 2021
  • 본 논문은 RGB 컬러 3 채널에 대해 공유되는 홀로그램 픽셀 피치를 사용하여 3 차원 장면의 라이트 필드 데이터에서 비호겔 기반 컴퓨터 생성 홀로그램(CGH)을 합성하는 방법을 제안한다. 비호겔 기반 CGH 기술은 라이트 필드의 광선 각도를 평면 파면의 공간 주파수로 해석하여 주어진 라이트 필드 데이터에서 임의의 반송파로 연속 파면을 생성한다. 그러나 광선 각도와 공간 주파수 관계는 파장에 따라 달라지므로 라이트 필드 데이터에서 공간 주파수 샘플링 그리드가 달라져서 홀로그램 재구성에서 색 수차가 발생한다. 제안하는 방법은 가장 작은 청색 회절각이 라이트 필드의 시야를 커버하도록 모든 색상 채널에 공통적인 홀로그램 픽셀 피치를 설정한다. 그런 다음 라이트 필드를 파란색 파장의 공간 주파수 범위와 빨간색 파장의 샘플링 간격으로 보간하여 모든 색상 채널에 공통적인 공간 주파수 샘플링 그리드를 설정한다. 공통 홀로그램 픽셀 피치 및 라이트 필드 공간 주파수 샘플링 그리드는 홀로그램 재구성에서 색상 수차 또는 라이트 필드에 포함된 정보 손실 없이 컬러 홀로그램 합성을 보장한다. 제안된 방법은 다양한 테스트와 리얼 3D 장면의 컬러 라이트 필드 데이터를 사용하여 검증되었다.

  • PDF

Analysis of Burst Detection Based on Adjustable Sampling Interval (가변적 샘플링 기반한 누수탐지 분석)

  • Kim, Seong Won;Jeong, An Chul;Jung, Kwan Sue
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2015.05a
    • /
    • pp.292-292
    • /
    • 2015
  • 최근 상수관망의 물 공급 과정에서 여러 가지 원인으로 인해 물의 손실에 따른 비용손실이 발생하고 있다. 급수시스템의 경우에는 파열 및 누수발생과 관련되어 사용되는 비용은 분실되는 물의 직적비용, 급수시스템 수리에 따른 공사비용, 공급중지와 관련된 사회적 비용이 있다. 파열 및 누수를 신속하게 감지하는 것은 물 손실에 의해 발생하는 직접 및 간접비용을 줄일 수 있다. 그러나 국내의 경우 정기적으로 매년 1회 시행되는 상수관로에 대한 누수탐지작업으로 신속한 감지 및 즉각적인 대처를 할 수 없는 실정이다. 본 연구에서는 수도관에서 발생되는 파열 및 누수를 탐지하기 위하여 블록 유입부에 설치된 유량계의 샘플링 간격의 영향에 대한 연구를 실시하였다. 적응칼만필터 알고리즘을 이용한 가변 샘플링 간격은 최대 최소 샘플링 간격과 정규화된 잔차의 상한값과 하한값 도입하여 제시하였다. 샘플링 간격의 효과를 강조하기 위해 사인 곡선, 사다리꼴 파열, 불규칙 잡음으로 구성된 가상의 유량 데이터로 알고리즘에 대한 검증실험을 진행하였고 실험 결과 샘플링 간격이 길수록 긴 시간 동안 누수 및 파열에 대한 작은 잔차를 발생시켰다. 모의실험결과 샘플링 주기를 변경함으로써 분석에 필요한 유량 데이터의 샘플수를 크게 줄일 수 있었다.

  • PDF

An Efficient Topographical Classification Scheme Using Ti1e-based Sampling from Airborne LiDAR Data (항공 라이다 데이터로부터 타일 단위의 샘플링을 이용한 효율적인 지형 분류 기법)

  • Lee, Sung-Gyu;Sung, Chul-Woong;Park, Chang-Hoo;Lee, Ho-Jun;Kim, Yoo-Sung
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2010.09a
    • /
    • pp.119-125
    • /
    • 2010
  • 본 연구에서는 항공 라이다 데이터로부터 지표의 유형을 분류하는 과정에서 필요한 처리시간을 감소시켜 보다 효율적인 지형 분류가 가능하도록 타일 단위의 샘플링을 이용한 지형 분류 기법을 제안하였다. 또한 실험을 통하여 샘플링 정도에 따라 정확도와 시간효율을 비교분석하여 최적의 샘플링 정도를 제시하였다. 본 연구에서 제안한 타일 단위의 샘플링을 이용한 지형 분류기법을 이용해 자연재해내 도시 구조 변화 등의 지형정보의 변화를 탐지하기 위한 모니터링 목적으로 활용할 경우에 지형분류의 정확도 손실을 최소화하면서 빠른 처리가 가능하기 때문에 실시간 서비스가 가능해 질 수 있다.

  • PDF