• 제목/요약/키워드: 데이터 샘플링

검색결과 510건 처리시간 0.026초

적응적 샘플링에 기반한 효율적인 센서 모니터링 기법 (An Efficient Sensor Monitoring Technique based on Adaptive Sampling)

  • 김민기;민준기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.286-289
    • /
    • 2009
  • 센서 네트워크 구조에서는 많은 수의 센서 노드들이 지속적으로 센서 데이터를 베이스 스테이션(Base Station)으로 전송한다. 각 노드의 샘플링 주기는 베이스 스테이션으로 전송되는 길목의 네트워크 자원인 대역폭, 계산 비용 등에 지대한 영향을 끼친다. 본 논문에서는 샘플링 대상의 스트림 데이터 특성에 따른 각 노드의 샘플링 주기에 관련된 새로운 적응적 샘플링 기법을 제안한다. 본 논문에서는 KF(Kalman-Filter) 에 기반을 둔 예측 기법을 사용하였다. 이는 각 노드는 KF의 예측값과 실측값의 차를 사용하여 허용된 범위 안에서 자동적으로 샘플링 주기를 조정하는 방식이다. 따라서, 우리는 샘플링 대상의 데이터 특성에 따른 우선순위에 기반 네트워크 자원을 효과적으로 사용하고 Dual Kalman Filter(DKF) 기법과 결합하여 센서 네트워크에서의 가장 큰 문제 중 하나인 에너지 소비의 최소화하면서 효과적으로 근사 데이터 전송하도록 하여 에너지 소비량을 줄였다.

기계학습 알고리즘의 컴퓨팅시간 단축을 위한 새로운 통계적 샘플링 기법 (A New Statistical Sampling Method for Reducing Computing time of Machine Learning Algorithms)

  • 전성해
    • 한국지능시스템학회논문지
    • /
    • 제21권2호
    • /
    • pp.171-177
    • /
    • 2011
  • 기계학습에서 모형의 정확도와 컴퓨팅시간은 중요하게 다루어지는 부분이다. 일반적으로 모형을 구축하는 데 사용되는 컴퓨팅시간은 분석에 사용되는 데이터의 크기에 비례하여 커진다. 따라서 컴퓨팅시간 단축을 위하여 분석에 사용되는 데이터의 크기를 줄이는 샘플링전략이 필요하다. 하지만 학습데이터의 크기가 작게 되면 구축된 모형의 정확도도 함께 떨어지게 된다. 본 논문에서는 이와 같은 문제를 해결하기 위하여 전체데이터를 분석하지 않아도 전체를 분석할 때와 비슷한 모형성능을 유지할 수 있는 새로운 통계적 샘플링방법을 제안한다. 주어진 데이터의 구조에 따라 최선의 통계적 샘플링기법을 선택할 수 있는 기준을 제시한다. 군집, 층화, 계통추출에 의한 통계적 샘플링기법을 사용하여 정확도를 최대한 유지하면서 컴퓨팅시간을 단축할 수 있는 방법을 보인다. 제안방법의 성능을 평가하기 위하여 객관적인 기계학습 데이터를 이용하여 전체데이터와 샘플데이터 간의 정확도와 컴퓨팅시간을 비교하였다.

불균형 범주 분류를 위한 동적 샘플링 스케줄러 (Dynamic Sampling Scheduler for Unbalanced Data Classification)

  • 성수진;박원주;이용태;차정원
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.221-226
    • /
    • 2021
  • 우리는 범주 불균형 분류 문제를 해결하기 위해 학습 과정 중 범주 크기 기반 배치 샘플링 방법 전환을 위한 스케줄링 방법을 제안한다. 범주별 샘플링 확률로 범주 크기의 역수(LWRS-Reciporcal)와 범주 비율의 반수(LWRS-Ratio)를 적용하여 각각 실험을 진행하였고, LWRS-Reciporcal 방법이 F1 성능 개선에 더 효과적인 것을 확인하였다. 더하여 고정된 샘플링 확률값으로 인해 발생할 수 있는 또 다른 편향 문제를 완화하기 위해 학습 과정 중 샘플링 방법을 전환하는 스케줄링 방법을 설계하였다. 결과적으로 검증 성능의 갱신 유무로 샘플링 방법을 전환하였을 때 naver shopping 데이터셋과 KLUE-TC에 대하여 f1 score와 accuracy의 성능 합이 베이스라인보다 각각 0.7%, 0.8% 향상된 가장 이상적인 성능을 보임을 확인하였다.

  • PDF

CNN 기반 한국 숫자지화 인식 응용에서 표면근전도 샘플링 주파수가 학습 성능에 미치는 영향에 관한 연구 (The Study on Effect of sEMG Sampling Frequency on Learning Performance in CNN based Finger Number Recognition)

  • 게렐바트;권춘기
    • 융합신호처리학회논문지
    • /
    • 제24권1호
    • /
    • pp.51-56
    • /
    • 2023
  • 본 연구는 CNN에 기반한 한국 숫자지화 인식 시스템의 입력데이터인 표면 근전도 신호에 대한 샘플링 주파수가 CNN의 학습 성능에 미치는 영향을 검토하였다. 표면 근전도의 샘플링 주파수가 크면 수집한 많은 양의 입력데이터에 대한 학습 시간이 길어지므로 실시간 시스템의 구현이 어려움이 발생하고 고가의 표면 근전도 측정장비를 필요로 하므로 표면근전도 신호의 샘플링 주파수 선정에서 적정선이 요구된다. 이를 위해 본 연구에서는 1,024Hz, 512Hz, 256Hz, 128Hz 그리고 64Hz의 샘플링 주파수를 선정하고 선정된 샘플링 주파수로 측정한 표면근전도 신호를 입력으로 CNN 학습 성능을 비교하였다. 비교 연구 결과는 선정된 모든 샘플링 주파수로 획득한 표면근전도 신호를 입력데이터를 활용한 CNN 학습 모두가 한국 숫자지화 일부터 다섯을 100% 인식하였으며, 그중에서도 256Hz의 샘플링 주파수로 획득한 표면근전도 신호를 입력데이터로 활용한 CNN 학습이 가장 짧은 시간 안에 이루어졌다.

텍스트 데이터의 정보 손실을 방지하기 위한 군집화 기반 언더샘플링 기법 (A Clustering-based Undersampling Method to Prevent Information Loss from Text Data)

  • 김종휘;신사임;장진예
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.251-256
    • /
    • 2022
  • 범주 불균형은 분류 모델이 다수 범주에 편향되게 학습되어 소수 범주에 대한 분류 성능을 떨어뜨리는 문제를 야기한다. 언더 샘플링 기법은 다수 범주 데이터의 수를 줄여 소수 범주와 균형을 이루게하는 대표적인 불균형 해결 방법으로, 텍스트 도메인에서의 기존 언더 샘플링 연구에서는 단어 임베딩과 랜덤 샘플링과 같은 비교적 간단한 기법만이 적용되었다. 본 논문에서는 트랜스포머 기반 문장 임베딩과 군집화 기반 샘플링 방법을 통해 텍스트 데이터의 정보 손실을 최소화하는 언더샘플링 방법을 제안한다. 제안 방법의 검증을 위해, 감성 분석 실험에서 제안 방법과 랜덤 샘플링으로 추출한 훈련 세트로 모델을 학습하고 성능을 비교 평가하였다. 제안 방법을 활용한 모델이 랜덤 샘플링을 활용한 모델에 비해 적게는 0.2%, 많게는 2.0% 높은 분류 정확도를 보였고, 이를 통해 제안하는 군집화 기반 언더 샘플링 기법의 효과를 확인하였다.

  • PDF

공간 슬라이딩 윈도우 집계질의의 정확도 향상을 위한 그리드 해쉬 기반의 부하제한 기법 (Load Shedding Method based on Grid Hash to Improve Accuracy of Spatial Sliding Window Aggregate Queries)

  • 백성하;이동욱;김경배;정원일;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.89-98
    • /
    • 2009
  • 데이터 스트림은 다양한 입력속도로 끊임없이 입력되고 데이터 스트림을 저장하는 메모리상의 저장공간은 유한하기 때문에 때때로 저장공간을 초과하는 데이터가 입력되는 경우가 발생한다. 이 문제를 해결하기 위해 초과되는 데이터의 일부를 버려 메모리 초과를 방지하는 부하제한 기법이 연구되었다. 기존의 부하제한 기법은 데이터의 편차에 따른 최적의 샘플링 비율을 갖는 랜덤 샘플링을 사용한다. 그러나 이 기법은 공간적 특성을 고려하지 않기 때문에 공간 질의에 사용되는 데이터와 사용되지 않는 데이터를 구분하지 않고 샘플링 한다. 그래서 공간 질의가 포함되는 u-GIS 환경에서는 질의 정확도가 감소하는 문제가 발생하였다. 본 논문에서는 공간 질의와 비공간 질의가 동시에 발생하는 u-GIS 환경에서 질의 정확도를 보다 향상 시키는 부하제한 기법을 연구하였다. 이 기법은 동시에 실행되는 공간 질의의 공간적 이용도에 따라 차등적으로 샘플링을 하여, 질의에 이용될 확률이 낮은 데이터를 샘플링을 한다. 제안된 부하제한 기법은 공간질의가 존재하는 경우 질의 정확도를 크게 향상 시켰고, 샘플링 중 공간 필터링 연산을 적용하여 질의처리 속도도 일부 향상 시켰다.

  • PDF

분류 복잡도를 활용한 오버 샘플링 비율 산출 알고리즘 개발 (A Study on Calculating Over-sampling Ratio using Classification Complexity)

  • 이도현;김경옥
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.591-594
    • /
    • 2020
  • 불균형 데이터는 범주에 따른 데이터의 분포가 불균형한 데이터를 의미한다. 이런 데이터를 활용해 기존 분류 알고리즘으로 분류기를 학습하면 성능이 저하되는 문제가 발생한다. 오버 샘플링은 이를 해결하기 위한 기법 중 하나로 수가 적은 범주[이하 소수 범주]에 속한 데이터 수를 임의로 증가시킨다. 기존 연구들에서는 수가 많은 범주[이하 다수 범주]에 속한 데이터 수와 동일한 크기만큼 증가시키는 경우가 많다. 이는 증가시키는 샘플의 수를 결정할 때 범주 간 데이터 수 비율만 고려한 것이다. 그런데 데이터가 동일한 수준의 불균형 정도를 갖더라도 범주별 데이터 분포에 따라서 분류 복잡도가 다르며, 경우에 따라 데이터 분포에서 존재하는 불균형 정도를 완전히 해소하지 않아도 된다. 이에 본 논문은 분류 복잡도를 활용해 데이터 셋 별 적정 오버 샘플링 비율을 산출하는 알고리즘을 제안한다.

RGB 3 채널에 대한 컬러 수차가 없는 논호겔 라이트필드 기반 컴퓨터 생성 홀로그램 합성

  • 민다빈;민교식;박재형
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2021년도 추계학술대회
    • /
    • pp.45-48
    • /
    • 2021
  • 본 논문은 RGB 컬러 3 채널에 대해 공유되는 홀로그램 픽셀 피치를 사용하여 3 차원 장면의 라이트 필드 데이터에서 비호겔 기반 컴퓨터 생성 홀로그램(CGH)을 합성하는 방법을 제안한다. 비호겔 기반 CGH 기술은 라이트 필드의 광선 각도를 평면 파면의 공간 주파수로 해석하여 주어진 라이트 필드 데이터에서 임의의 반송파로 연속 파면을 생성한다. 그러나 광선 각도와 공간 주파수 관계는 파장에 따라 달라지므로 라이트 필드 데이터에서 공간 주파수 샘플링 그리드가 달라져서 홀로그램 재구성에서 색 수차가 발생한다. 제안하는 방법은 가장 작은 청색 회절각이 라이트 필드의 시야를 커버하도록 모든 색상 채널에 공통적인 홀로그램 픽셀 피치를 설정한다. 그런 다음 라이트 필드를 파란색 파장의 공간 주파수 범위와 빨간색 파장의 샘플링 간격으로 보간하여 모든 색상 채널에 공통적인 공간 주파수 샘플링 그리드를 설정한다. 공통 홀로그램 픽셀 피치 및 라이트 필드 공간 주파수 샘플링 그리드는 홀로그램 재구성에서 색상 수차 또는 라이트 필드에 포함된 정보 손실 없이 컬러 홀로그램 합성을 보장한다. 제안된 방법은 다양한 테스트와 리얼 3D 장면의 컬러 라이트 필드 데이터를 사용하여 검증되었다.

  • PDF

가변적 샘플링 기반한 누수탐지 분석 (Analysis of Burst Detection Based on Adjustable Sampling Interval)

  • 김성원;정안철;정관수
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2015년도 학술발표회
    • /
    • pp.292-292
    • /
    • 2015
  • 최근 상수관망의 물 공급 과정에서 여러 가지 원인으로 인해 물의 손실에 따른 비용손실이 발생하고 있다. 급수시스템의 경우에는 파열 및 누수발생과 관련되어 사용되는 비용은 분실되는 물의 직적비용, 급수시스템 수리에 따른 공사비용, 공급중지와 관련된 사회적 비용이 있다. 파열 및 누수를 신속하게 감지하는 것은 물 손실에 의해 발생하는 직접 및 간접비용을 줄일 수 있다. 그러나 국내의 경우 정기적으로 매년 1회 시행되는 상수관로에 대한 누수탐지작업으로 신속한 감지 및 즉각적인 대처를 할 수 없는 실정이다. 본 연구에서는 수도관에서 발생되는 파열 및 누수를 탐지하기 위하여 블록 유입부에 설치된 유량계의 샘플링 간격의 영향에 대한 연구를 실시하였다. 적응칼만필터 알고리즘을 이용한 가변 샘플링 간격은 최대 최소 샘플링 간격과 정규화된 잔차의 상한값과 하한값 도입하여 제시하였다. 샘플링 간격의 효과를 강조하기 위해 사인 곡선, 사다리꼴 파열, 불규칙 잡음으로 구성된 가상의 유량 데이터로 알고리즘에 대한 검증실험을 진행하였고 실험 결과 샘플링 간격이 길수록 긴 시간 동안 누수 및 파열에 대한 작은 잔차를 발생시켰다. 모의실험결과 샘플링 주기를 변경함으로써 분석에 필요한 유량 데이터의 샘플수를 크게 줄일 수 있었다.

  • PDF

항공 라이다 데이터로부터 타일 단위의 샘플링을 이용한 효율적인 지형 분류 기법 (An Efficient Topographical Classification Scheme Using Ti1e-based Sampling from Airborne LiDAR Data)

  • 이성규;성철웅;박창후;이호준;김유성
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2010년도 추계학술대회
    • /
    • pp.119-125
    • /
    • 2010
  • 본 연구에서는 항공 라이다 데이터로부터 지표의 유형을 분류하는 과정에서 필요한 처리시간을 감소시켜 보다 효율적인 지형 분류가 가능하도록 타일 단위의 샘플링을 이용한 지형 분류 기법을 제안하였다. 또한 실험을 통하여 샘플링 정도에 따라 정확도와 시간효율을 비교분석하여 최적의 샘플링 정도를 제시하였다. 본 연구에서 제안한 타일 단위의 샘플링을 이용한 지형 분류기법을 이용해 자연재해내 도시 구조 변화 등의 지형정보의 변화를 탐지하기 위한 모니터링 목적으로 활용할 경우에 지형분류의 정확도 손실을 최소화하면서 빠른 처리가 가능하기 때문에 실시간 서비스가 가능해 질 수 있다.

  • PDF