• 제목/요약/키워드: 결측치

검색결과 98건 처리시간 0.03초

SCS 단위도에 의한 소하천의 유량 결측치 보완 (Estimation of Missing Flow Data for Small Watershed by SCS Unit Hydrograph)

  • 맹승진;정세웅;김진민;이현규
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2007년도 학술발표회 논문집
    • /
    • pp.731-735
    • /
    • 2007
  • 수자원의 관리를 위해서 해당 유역에 대한 유량 산정은 반드시 필요하다. 우리나라는 대하천을 대상으로 하는 유량 산정은 국가적인 차원에서 이루어지고 있는 실정이나 대부분의 소하천에서는 그렇지 못한 실정이다. 본 연구에서는 특정 연구를 목적으로 남양호 상류의 5개 소하천 지점을 선정하고 평갈수기 및 홍수기 유량측정을 실시하여 각 지점별로 수위-유량 곡선식을 산정하였다. 특히 홍수기 유량측정시 수문곡선을 도시하기 위해 연속된 유출량 자료가 필요하나 각 지점별로 홍수로 인한 접근도로의 차단과 범람으로 연속된 유량자료를 획득하는데에는 많은 어려움이 있었다. 따라서 이러한 문제를 해결하기 위해 SCS 무차원 단위 유량도를 사용하여 기 측정된 자료를 근거로 미관측된 구간의 유량을 산정하였고 해당 홍수의 유량 산정을 통해 홍수기 유량 산정의 신뢰성을 높이고자 하였다.

  • PDF

연관 사용자 군집과 베이지안 분류를 이용한 사용자 선호도 예측 방법 (User Preference Prediction Method Using Associative User Clustering and Bayesian Classification)

  • 정경용;김진현;이정현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.109-111
    • /
    • 2001
  • 기존의 협력적 필터링 기술을 이용한 사용자 선호도 예측 방법에서는 아이템에 대한 사용자의 선호도를 기반으로 이웃 선정 방법(Nearest-Neighborhood Method)을 사용하고, 피어슨 상관 계수에 의해 사용자의 유사도를 구하므로 아이템에 대한 내용을 반영하지 못할 뿐만 아니라 희박성 문제를 해결하지 못하였다. 본 논문에서는 기존의 사용자 선호도 예측 방법의 문제점을 보완하기 위하여 연관 사용자 군집과 베이지안 분류를 이음한 사용자 선호도 예측 방법을 제안한다. 제안한 방법에서는 협력적 필터링 시스템에서의 희박성(Sparsity)문제를 해결하기 위하여 ARHP 알고리즘을 사용하여 사용자를 장르별로 군집하며 새로운 사용자는 Naive Bayes 분류자에 의해 이들 장르 중 하나로 분류된다. 또한, 분류된 장르 내에 속한 사용자들과 새로운 사용자의 유사도출 구하기 위해 Naive Bayes 학습을 통해 사용자가 평가한 아이템에 추정치를 달리 부여한다. 추정치가 부여된 선호도를 기존의 피어슨 상관 관계에 적용할 경우 결측치(Missing Value)로 인한 예측의 오류를 적게 하여 예측의 정확도를 높일 수 있다. 제안된 방법의 성능을 평가하기 위해서 기존의 협력적 필터링 기술과 비교 평가하였다.

  • PDF

다지점 추계학적 기상모형의 적용 (A Study on the Spatial Weather Generator)

  • 김남원;이정은
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2010년도 학술발표회
    • /
    • pp.1425-1428
    • /
    • 2010
  • 추계학적 기상모형(Stochastic weather generator)은 기상자료의 결측치 보완, 장기간의 기상 시계열 자료 생성, 지역적 기후변화 시나리오의 통계학적 다운스케일링에 적용되어 왔다. 이러한 추계학적 기상모형은 수자원, 농업, 환경, 생태 등의 분야에 적용되어, 수자원 설계, 점/비점오염 거동, 생태 및 수문학적 영향 평가의 중요한 도구로 이용되어 오고 있다. 또한, 최근 가장 큰 이슈가 되고 있는 기후변화의 영향을 평가하는데 필수불가결한 분야이다. 이 분야의 중요한 변화는 과거에는 지점별로 각각 기상자료를 생성하였으나, 최근에는 지점간의 상관성을 고려한 다지점 해석이 계속적으로 연구되어지고 있다. 본 연구에서는 유역규모에 적용하기 타당한 기상자료생성을 위하여 관측지점간의 상관성, 강수장(rainfall field)의 생성, 호우이동(storm movement)을 고려한 추계학적 기상모형을 제안하고, 충주댐 유역을 대상으로 그 적용성을 평가하였다.

  • PDF

상호정보량 기법과 인공신경망을 이용한 실시간 강우 자료 보정 (Calibration of Real Time Rainfall Data Using Mutual Information and Artificial Neural Network)

  • 성경민;구여주;김태순;허준행
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2010년도 학술발표회
    • /
    • pp.1269-1273
    • /
    • 2010
  • 이러한 강우자료의 결측값이나 오자료를 보정하는 것은 그 유역의 정확한 수문학적 특성 파악 및 안전한 수공구조물의 설계에 영향을 미치게 되므로 매우 중요하다고 할 수 있다. 최근 이러한 강우자료를 비선형적 모델인 인공신경망(Artificial Neural Network)을 이용하여 보정하는 연구가 활발히 진행되고 있다(오재우 등, 2008). 그러나 이러한 인공신경망을 적용하는 경우, 선택한 신경망 구조의 형태와 학습(training)을 위해 사용되는 자료가 전체 자료의 특성을 반영하고 있는 정도에 따라 정확도에 차이를 보인다(한광희 등, 2010). 따라서 자료보정을 위한 입력 자료의 선택은 인공신경망을 이용한 결측치 보정의 중요한 과정이다. 본 연구에서는 이러한 입력 자료의 선택을 위한 여러 가지 기법 중 입력 변수간의 상호정보량 (Mutual Information)을 이용한 방법을 적용하여 대상 결측 지점을 보정할 강우지점을 선별한 후 선택된 지점만으로 인공신경망을 구성하여 강우자료를 보정하고 주변 자료를 모두 이용한 결과와 상관성분석으로 얻어진 결과와 비교하였다.

  • PDF

Frequency Matrix 기법을 이용한 결측치 자료로부터의 개인신용예측 (Predicting Personal Credit Rating with Incomplete Data Sets Using Frequency Matrix technique)

  • 배재권;김진화;황국재
    • Journal of Information Technology Applications and Management
    • /
    • 제13권4호
    • /
    • pp.273-290
    • /
    • 2006
  • This study suggests a frequency matrix technique to predict personal credit rate more efficiently using incomplete data sets. At first this study test on multiple discriminant analysis and logistic regression analysis for predicting personal credit rate with incomplete data sets. Missing values are predicted with mean imputation method and regression imputation method here. An artificial neural network and frequency matrix technique are also tested on their performance in predicting personal credit rating. A data set of 8,234 customers in 2004 on personal credit information of Bank A are collected for the test. The performance of frequency matrix technique is compared with that of other methods. The results from the experiments show that the performance of frequency matrix technique is superior to that of all other models such as MDA-mean, Logit-mean, MDA-regression, Logit-regression, and artificial neural networks.

  • PDF

국가 수문자료 품질관리시스템 운영성과 (Assessment of National Quality Control System for the Hydrological Data)

  • 김형섭;조창훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2012년도 학술발표회
    • /
    • pp.634-634
    • /
    • 2012
  • 국가 차원에서 일관된 수문자료 품질관리기준을 제시하고, 현업에서 활용 가능한 시스템을 구축하기 위해 개발된 국가 수문자료 품질관리시스템은 2007년부터 한강, 낙동강, 금강, 영산강홍수통제소에서 적극 활용하여 수문자료 신뢰도 향상에 기여하고 있다. 본 연구에서는 기 구축된 국가 수문자료 품질관리시스템을 한강, 낙동강, 금강, 영산강홍수통제소에서 관할하는 수문관측소 및 수문자료에 적용, 운영 실적을 지속적으로 분석하고 수문자료의 이상률, 결측률 등의 통계분석을 통해 수문자료 품질 및 신뢰도를 정량적, 정성적으로 나타내고 품질관리 업무 실시 후의 개선 효과를 제시하였다. 이를 통해 국가 수자원을 적극적으로 관리하여 신뢰성 있는 수문자료를 확보하고 품질 수준 향상을 위한 개선작업을 꾸준히 수행함으로써 수문자료의 신뢰도 제고와 국가 수문자료 관리업무의 효율성을 증대시키고자 한다.

  • PDF

이형 데이터 기반의 예측 모델 생성을 위한 데이터 정제 방법론 (A Practical Methodology of Preparing Data for Generating Prediction Model using Heterogeneous Data Sources)

  • 이은경;유연택;이건수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.674-677
    • /
    • 2019
  • 예측 모델은 어떤 상황이 주어졌을 때, 다음 상황에 대한 예측을 수행하는 시스템으로, 현재 상황을 올바르게 인지하고, 그 인지된 상황을 토대로 미래를 예측할 수 있는 지능을 갖고 있어야 한다. 이러한 예측 모델이 올바르게 동작하기 위해서는 상황을 올바르게 인지하는 기능이 우선되어야 하지만, 원시 데이터로부터 상황을 인지하기 위해서는 원시 데이터를 올바르게 해석하기 위한 데이터 정제 과정이 필요하다. 이에 본 연구에서는 다양한 형태의 원시 데이터를 예측 모델의 유효한 입력 값으로 변환시키기 위한 데이터 정제 방법을 제안한다. 본 방법은 윈시 데이터의 형태 정의, 데이터 정규화, 속성 관계 검증, 결측치 보정, 그리고 신뢰도 적용의 5단계로 구성되어 있다.

다중 융합 네트워크 기반 이동 객체 행동 인식 (Behavior Recognition of Moving Object based on Multi-Fusion Network)

  • 김진아;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.641-642
    • /
    • 2022
  • 단일 데이터로부터의 이동 객체에 대한 행동 인식 연구는 데이터 수집 과정에서 발생하는 노이즈의 영향을 크게 받는다. 본 논문은 영상 데이터와 센서 데이터를 이용하여 다중 융합 네트워크 기반 이동 객체 행동 인식 방법을 제안한다. 영상으로부터 객체가 감지된 영역의 추출과 센서 데이터의 이상치 제거 및 결측치 보간을 통해 전처리된 데이터들을 융합하여 시퀀스를 생성한다. 생성된 시퀀스는 CNN(Convolutional Neural Networks)과 LSTM(Long Short Term Memory)기반 다중 융합 네트워크 모델을 통해 시계열에 따른 행동 특징들을 추출하고, 깊은 FC(Fully Connected) 계층을 통해 특징들을 융합하여 행동을 예측한다. 본 연구에서 제시된 방법은 사람을 포함한 동물, 로봇 등의 다양한 객체에 적용될 수 있다.

센서 데이터 합성을 통한 반려동물 행동 감지 (Pet Behavior Detection through Sensor Data Synthesis)

  • 김형주;박찬;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.606-608
    • /
    • 2022
  • 센서 데이터를 활용한 행동 감지 연구는 인간 행동 인식을 선행연구로 진행되었으며, 인식의 정확도를 높이기 위해 전처리, 보간, 증강 등을 통한 연구가 활발히 진행되고 있다. 이에 본 논문에서는 시계열 센서 데이터 증강을 통하여 반려동물의 행동 감지를 제안한다. ODROID 단일 보드 컴퓨터와 6축 센서(가속도, 자이로) 데이터를 탑재한 소형 디바이스를 사용하여 블루투스 통신을 통해 웹 서버 DB에 저장한다. 저장된 데이터는 이상치, 결측치 처리 후 정규화를 통해 시퀀스를 구성하는 전처리 과정을 거친다. 이후 GAN을 기반으로 한 시계열 데이터 증강을 진행한다. 이때, 데이터 증강은 입력된 텍스트에 따라 센서 데이터로 변환하여 데이터를 증강한다. 학습된 딥러닝 모델을 바탕으로 행동을 감지 후 평가 지표에 따라 모델 성능을 검증한다.

K-nn을 이용한 Hot Deck 기반의 결측치 대체 (Imputation of Missing Data Based on Hot Deck Method Using K-nn)

  • 권순창
    • 한국IT서비스학회지
    • /
    • 제13권4호
    • /
    • pp.359-375
    • /
    • 2014
  • Researchers cannot avoid missing data in collecting data, because some respondents arbitrarily or non-arbitrarily do not answer questions in studies and experiments. Missing data not only increase and distort standard deviations, but also impair the convenience of estimating parameters and the reliability of research results. Despite widespread use of hot deck, researchers have not been interested in it, since it handles missing data in ambiguous ways. Hot deck can be complemented using K-nn, a method of machine learning, which can organize donor groups closest to properties of missing data. Interested in the role of k-nn, this study was conducted to impute missing data based on the hot deck method using k-nn. After setting up imputation of missing data based on hot deck using k-nn as a study objective, deletion of listwise, mean, mode, linear regression, and svm imputation were compared and verified regarding nominal and ratio data types and then, data closest to original values were obtained reasonably. Simulations using different neighboring numbers and the distance measuring method were carried out and better performance of k-nn was accomplished. In this study, imputation of hot deck was re-discovered which has failed to attract the attention of researchers. As a result, this study shall be able to help select non-parametric methods which are less likely to be affected by the structure of missing data and its causes.