• 제목/요약/키워드: 선택적샘플링

검색결과 109건 처리시간 0.028초

변수 선택 및 샘플링 기법을 적용한 조류 경보 단계 예측 모델의 정확도 개선 (Environmental variable selection and synthetic sampling methods for improving the accuracy of algal alert level prediction model)

  • 김진휘;이한규;변서현;신재기;박용은
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.517-517
    • /
    • 2023
  • 현재 우리나라에서는 4대강 및 주요 호소 29지점을 대상으로 조류경보제가 시행되고 있으며 조류 경보 단계는 실시간 모니터링지점에서 측정되는 유해 조류의 셀농도를 기반으로 발령 단계가 결정된다. 상수원 구간은 관심, 경계, 조류 대발생, 해제 또는 미발생 총 4구간으로 구성되며, 친수 활동 구간의 경우 조류 대발생을 제외한 3구간으로 구성된다. 현재 시행되는 조류 경보제의 목적은 유해 조류 발생 시 사후 대응 방안 마련에 보다 초점이 맞춰져 있으며 특히, 모니터링 주기 확대 여부, 오염원 관리 방안 마련, 조류 제거 여부 등의 의사 결정 수단으로 사용되고 있다. 하지만 조류 경보 단계에 대한 사전 예측이 가능한 경우 유해 조류의 성장을 억제할 수 있으며 이를 통해 안전하고 깨끗한 수자원을 확보할 수 있다. 본 연구에서는 조류 경보 단계의 사전적 예측을 위해 국가 실시간 측정망에서 제공하는 전국 보 모니터링 종합 정보 자료, 기상측정망 자료, 실시간 보 현황 자료를 활용하여 예측 모델을 구축하였다. 또한, 단계 예측의 정확도를 개선하기 위해 변수 선택 기법을 활용하여 조류 경보 단계에 영향을 미치는 환경변수를 선정하였으며 자료의 불균형으로 인해 모델 학습 과정에서 발생하는 예측 오류를 최소화하기 위해 다양한 샘플링 기법을 적용하여 모델의 성능을 평가하였다. 변수 선택 및 샘플링 기법을 고려하지 않은 원자료를 사용하여 예측 모델을 구축한 결과 관심 단계(Level-1) 및 경보 단계(Level-2)에 대해 각각 50%, 62.5%의 예측 정확도를 보인 반면 비선형 변수 선택 기법 및 Synthetic Minority Over-sampling Technique-Edited Nearrest Neighbor(SMOTE-ENN) 샘플링 기법을 적용하여 구축한 모델에서는 Level-1은 85.7%, Level-2는 75.0%의 예측 정확도를 보였다.

  • PDF

유클리드norm에 기반한 최적 비정규 리사이징 알고리즘 ($L_2$-Norm Based Optimal Nonuniform Resampling)

  • 엄지윤;이학무;강문기
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2002년도 정기총회 및 학술대회
    • /
    • pp.71-76
    • /
    • 2002
  • 보간법은 기본적으로 원래의 영상을 연속적인 함수 모형으로 나타내고 이 함수로부터 다시 샘플링을 하여 원하는 영상을 얻는 방식으로 접근한다. 본 논문에서는 다른 연속 함수모델보다 진동이 적고 필터 계수가 적은 B-spline 함수를 사용한다. 된 논문의 최적 보간 방법은 원래의 신호와 얻고자 하는 신호를 각각 spline함수로 나타내고, 이 둘의 차이가 가장 작은 것을 선택하는 것이다. 그러기 위해서는 여러 개의 spline계수 중에서 원래 신호와의 L$_2$-norm이 가장 작은 것을 선택해야 한다 이러한 최적 보간법을 일반화하기 위해서 spline 함수로 표현된 신호를 다시 샘플링 하여 신호를 얻고, 그 신호를 공간에 따라 변화하는 spline함수의 합으로 나타낸다. 그리고 이렇게 나타낸 함수들 중에서 원래의 함수와 가장 가까운 것을 선택하도록 함으로써 일반화될 수 있다. 이러한 최적화 된 비정규점 리사이징 알고리즘은 다른 알고리즘에 비해서 더 적은 오차를 나타냄을 확인할 수 있다.

  • PDF

Random Forest 기법을 이용한 산사태 취약성 평가 시 훈련 데이터 선택이 결과 정확도에 미치는 영향 (Study on the Effect of Training Data Sampling Strategy on the Accuracy of the Landslide Susceptibility Analysis Using Random Forest Method)

  • 강경희;박혁진
    • 자원환경지질
    • /
    • 제52권2호
    • /
    • pp.199-212
    • /
    • 2019
  • 머신러닝 기법을 활용한 분석에서 훈련 데이터의 샘플링 전략은 예측 정확도 뿐 만 아니라 일반화 능력에도 많은 영향을 미친다. 특히, 산사태 취약성 분석의 경우, 산사태 발생부에 대한 정보에 비해 산사태 미발생부에 대한 정보가 과도하게 많은 데이터 불균형 현상이 발생하며, 이에 따라 분석 모델의 훈련 데이터 설계 시 데이터 샘플링 과정이 필수적이다. 그러나 기존의 연구들은 대부분 산사태 미발생부 선택 시 발생부 데이터와 1:1의 비율을 갖도록 무작위로 선택하는 방법을 적용하였을 뿐, 특정한 선택 기준에 따라 분석을 수행하지 않았다. 따라서 본 연구에서는 훈련 데이터의 샘플링 전략이 모델의 예측 성능에 미치는 결과를 확인하기 위하여 산사태 발생부와 미발생부의 샘플링 전략기준에 따라 서로 다른 6개의 시나리오를 만들어 Random Forest 모델의 훈련에 사용하였다. 또한 Random Forest의 결과 중 하나인 변수 중요도를 각 산사태 유발인자들에 가중치로 곱하여 줌으로써 산사태 취약지수 값을 산정하였으며, 취약지수 값을 이용해 산사태 취약성도를 제작하고 각 결과 지도의 정확도를 비교 분석하였다. 분석 결과, 훈련데이터의 샘플링 방법에 상관없이 두 지역의 산사태 취약성 분석 결과는 모두 70~80%의 정확도를 보였다. 이를 통해 Random Forest 기법의 산사태 취약성 분석기법으로서의 적용 가능성을 확인하였으며, Random Forest 모델이 제공하는 입력변수의 중요도를 산사태 유발인자 가중치로 활용할 수 있음을 확인하였다. 또한 훈련 시나리오 간의 정확도를 비교한 결과, 특정한 기준에 의해 훈련 데이터를 설계하는 것이 기존의 랜덤 선택 방법보다 높은 예측 정확도를 기대할 수 있음을 확인하였다.

표면정보 기반 영상정합에서의 대표점 추출기법 비교 연구 (Comparison of Representative Point Sampling Methods in Surface Based Image Registration)

  • 박지영;최유주;김명희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (상)
    • /
    • pp.347-350
    • /
    • 2003
  • 표면정보 기반 영상정합기법은 대상기관에서 추출된 표면정보를 기반으로 변환을 추정하여 서로 다른 영상의 전체적 형태의 유사성 정도를 최대화함으로써 정합을 수행하는 방법이다. 정합 수행에 있어 전체 객체를 가장 잘 대표하는 특정 개수의 표면점을 추출하고, 이 대표점으로부터 변환 값을 계산하는 것이 영상정합의 합리적인 최적화 단계를 위해 필수적이다. 대표점 추출결과에 따라 전체 정합의 결과가 달라지게 되므로 정합의 변환요소 값을 정확하게 구해낼 수 있는 대표점을 추출하기 위해 적절한 샘플링 기법의 선택이 요구된다. 본 연구에서는 효율적인 표면정보 기반 다중 모달리티 영상정합을 위해 계통추출법 기반 샘플링 기법과 특징점 탐지 기법 기반 샘플링 기법의 성능을 비교 분석하였다.

  • PDF

대역폭 제한 그래프신호를 위한 저 복잡도 샘플링 집합 선택 알고리즘 (Low-complexity Sampling Set Selection for Bandlimited Graph Signals)

  • 김윤학
    • 한국정보통신학회논문지
    • /
    • 제24권12호
    • /
    • pp.1682-1687
    • /
    • 2020
  • 대역폭 제한 그래프신호의 신호복원을 위해서 최대의 정보를 제공하기 위한 그래프 상의 노드를 선택하는 샘플링 집합 선택 알고리즘에 대해 연구한다. 저 복잡도 선택알고리즘을 구현하기 위해 직접적인 비용함수인 신호 복원오차를 최소화 하는 대신, 신호 복원오차의 최대값을 최소화하는 방법에 대해 집중한다, 이를 위해, 추가적인 복잡도 개선을 위해 유용한 근사화공식을 적용하여 성능손실을 최소화하면서 복잡도를 개선한 저 복잡도 탐욕알고리즘을 제안한다. 다양한 그래프신호에 대한 폭넓은 실험을 통해, 기존 저 복잡도 방식과 신호복원성능 및 복잡도를 평가 비교하여 기존방식대비 신호복원 및 복잡도면에서 모두 성능 개선이 있음을 보였으며, 이는 실시간 응용분야에서 실용적인 해결방식으로써 경쟁력 있는 대안을 제시한다.

중첩 클러스터를 이용한 피드백 문서의 재샘플링 기법 (Resampling Feedback Documents Using Overlapping Clusters)

  • 이경순
    • 정보처리학회논문지B
    • /
    • 제16B권3호
    • /
    • pp.247-256
    • /
    • 2009
  • 대부분의 잠정적 적합피드백기법들은 질의에 대해 검색된 상위검색문서들이 적합하다고 가정하고, 그 문서들을 질의 확장을 위한 피드백 문서로 이용하고 있다. 그러나 초기검색결과에는 상당한 양의 부적합 문서를 포함하고 있는 것이 현실이다. 이 논문에서는 보다 좋은 피드백 문서를 선택하기 위해서 중첩클러스터를 이용한 피드백문서의 재샘플링 기법을 제안한다. 주요 아이디어는 질의 중심적인 초기검색문서집합에 대해서 중첩이 허용된 문서클러스터를 이용하여 문서들 사이의 관계를 반영하여 질의에 핵심역할을 하는 지배적 문서를 찾고, 이 문서들을 반복적으로 피드백 하여 질의가 내포하는 핵심 주제를 강조하는 것이다. 대규모 실험집합인 TREC GOV2와 WT10g에 대한 실험비교에서, 최근 잠정적 적합피드백 기법들 중에서 가장 좋은 성능을 보이고 있는 적합모델보다 재샘플링기법이 우수한 성능향상을 보였다. 제안기법에 대한 검증을 위해서 피드백문서에 포함된 적합문서의 정도를 나타내는 적합밀도를 측정하였다. 재샘플링 기법이 TREC 실험집합에 대해서 적합모델에 비해 높은 적합밀도를 보였고, 이 결과 적합피드백에서 검색성능을 향상시키게 되었다. 이는 제안 기법이 잠정적 적합피드백에서 유효한 방법임을 알 수 있다.

다층퍼셉트론 기반 리 샘플링 방법 비교를 위한 마이크로어레이 분류 예측 에러 추정 시스템 (Classification Prediction Error Estimation System of Microarray for a Comparison of Resampling Methods Based on Multi-Layer Perceptron)

  • 박수영;정채영
    • 한국정보통신학회논문지
    • /
    • 제14권2호
    • /
    • pp.534-539
    • /
    • 2010
  • 게놈 연구에서 수천 개의 특징들은 비교적 작은 샘플들로부터 모아진다. 게놈 연구의 목적은 미래 관찰들의 결과를 예측하는 분류기를 만드는 것이다. 분류기를 만들기 위해서는 특징 선택, 모델 선택 그리고 예측 평가 등의 3단계 과정을 거친다. 본 논문은 예측 평가에 초점을 맞추고 모든 슬라이드의 사분위수를 똑같게 맞추는 quantilenormalization 적용하여 마이크로어레이 데이터를 표준화 한 후 특징 선택에 앞서 예측 모델의 '진짜' 예측 에러를 평가하기 위해 몇 개의 방법들을 비교하는 시스템을 고안하고 방법들의 예측 에러를 비교 분석 하였다. LOOCV는 전체적으로 작은 MSE와 bias를 나타내었고, 크기가 작은 샘플에서 split 방법과 2-fold CV는 매우 좋지 않는 결과를 보였다. 계산적으로 번거로운 분석에 대해서는 10-fold CV가 LOOCV보다 오히려 더 낳은 경향을 보였다.

하향변환된 인접 IF신호간의 보호대역을 고려한 최소 대역통과 샘플링 주파수 선택 알고리즘 (An Algorithm of Minimum Bandpass Sampling Selection with Guard-band Between Down-converted Adjacent IF signals)

  • 배정화;조재완;고용채;;박진우
    • 한국통신학회논문지
    • /
    • 제32권12A호
    • /
    • pp.1286-1295
    • /
    • 2007
  • 본 논문은 SDR(software-defined radio) 시스템에 적용할 수 있는 기술로서, 대역통과 샘플링(bandpass sampling)이론을 사용하여 N개 RF 신호를 하나의 통신기기에서 직접 하향변환(down-conversion)할 때 요구되는 유효 샘플링 주파수 영역(valid sampling frequency range) 및 최소 샘플링 주파수를 찾는 방법을 제안하였다. 이 방식은 IF단의 신호배치에 대한 모든 순열을 고려하면서도 기존의 방식보다 효율적이며 복잡성이 낮은 방식을 새롭게 고안하여 N개의 신호에 대하여 수식을 유도하고 일반화 하였으며 컴퓨터 모의실험(simulation)을 통해 이 수식들을 증명하였다. 그리고 제안한 알고리즘은 샘플링 주파수를 결정할 때 인접 IF(intermediate frequency) 신호간의 보호대역(guard-band)이 고려되어 실제적인 하드웨어 설계 측면에 도움이 되도록 하였다. 또한 기존의 방식과의 비교를 통해 그 복잡성(complexity)및 정확성에서도 우수한 성능을 보여주었다.

MCMC를 이용한 비동질적 포아송과정에서 일반화 순서통계량 모형의 연구

  • 최기헌;김희철
    • Communications for Statistical Applications and Methods
    • /
    • 제4권3호
    • /
    • pp.753-763
    • /
    • 1997
  • 컴퓨터의 발전에 따른 MCMC를 비동질적 포아송 과정에 이용하였다. 베이지안 추론에서 조건부 분포를 가지고 사후분포를 결정하는데 있어서의 계산 문제를 고려하였다. 특히 분포가 이중지수, 곰페르츠, 랄리, 감마, 그리고 검벨인 일반 순서통계량 모형에 대하여 깁스 샘플링과 메트로폴리스 알고리즘을 활용한 베이지안 계산과 모형선택을 제시하였다.

  • PDF

데이터 샘플링 기반 프루닝 기법을 도입한 효율적인 각도 기반 공간 분할 병렬 스카이라인 질의 처리 기법 (An Efficient Angular Space Partitioning Based Skyline Query Processing Using Sampling-Based Pruning)

  • 최우성;김민석;;정재화;정순영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권1호
    • /
    • pp.1-8
    • /
    • 2017
  • 다기준 의사결정 시 활용할 수 있는 스카이라인 질의는 다수의 선택지 중에서 사용자가 '선호하지 않을 만한'(uninteresting) 선택지를 제거함으로써 사용자가 검토해야 하는 선택지의 수를 대폭 감소시키기 때문에 대용량 데이터 분석 시 매우 유용하게 활용될 수 있다. 이러한 배경에서 대용량 데이터에 대한 스카이라인 질의를 분산 병렬 처리하는 기법이 각광을 받고 있으며, 특히 맵리듀스(MapReduce) 기반의 분산 병렬 처리 기법 연구가 활발히 진행되어 왔다. 맵리듀스 기반 알고리즘의 병렬성 제고를 위해서는 부하 불균등 문제 중복 계산 문제 과다한 네트워크 비용 발생 문제를 해소해야 한다. 본 논문에서는 부하 불균등 문제와 중복 계산 문제를 해소하면서도 데이터 샘플링 기반 프루닝을 통해 네트워크 비용 절감 시킬 수 있는 맵리듀스 기반 병렬 스카이라인 질의 처리 기법인 MR-SEAP(MapReduce sample Skyline object Equality Angular Partitioning)을 소개한다. 또한 다양한 관점에서의 실험 평가함으로써 제안 기법의 효용성을 다방면으로 검증했다.