• 제목/요약/키워드: 결측치

검색결과 98건 처리시간 0.028초

무선통신기반 교통정보수집체계하에서의 차량주행궤적정보 결측치 보정방안 (A Comprehensive Method to Impute Vehicle Trajectory Data Collected in Wireless Traffic Surveillance Environments)

  • 연지윤;김현미;오철;김원규
    • 대한교통학회지
    • /
    • 제27권4호
    • /
    • pp.175-181
    • /
    • 2009
  • 지능형교통체계(ITS : Intelligent Transportation Systems)는 도로이용자들로 하여금 다양한 교통환경에서 도로를 좀 더 효율적으로 이용하게 해 주었다. 기존의 지점검지체계 기반의 교통정보 수집 및 제공시스템에서 오는 한계점을 극복하기 위해 최근 들어서는 차량-차량간 및 차량-인프라간 통신기술을 바탕으로 하는 교통자료 수집 및 제공에 관한 연구가 다양하게 진행되고 있다. 그러나 차량간 및 차량과 인프라간 통신은 무선으로 이루어지기 때문에 주변 환경의 영향(건물, 날씨, 대형차량 등)으로 인해 통신 실패가 빈번히 발생하여 교통정보수집의 신뢰성을 저하시키고 있다. 본 연구에서는 무선통신기반 교통정보수집시 통신 실패로 인한 차량의 주행궤적정보가 결측되었을 경우 이를 보정할 수 있는 방법론을 개발하였다. 먼저 차량의 주행궤적자료 결측 보정을 위한 기존의방법들 및 무선통신기반 교통자료수집을 위한 요구조건들을 검토하였다. 다음으로 AIMSUN을 이용하여 차량의 주행궤적자료를 수집하였고, 이를 바탕으로 임의의 결측치를 생성하였다. 결측된 자료는 기존의 교통자료 결측치 보정 방법과 본 연구에서 수정된 방법을 적용하여 보정한 후 비교 분석해 보았다. 분석결과 무선통신기반 교통수집체계하에서 통신 단절로 인한 결측치는 기존의 방법보다는 차량의 주행궤적 특성을 고려해서 수정된 방법으로 보정했을 경우 좀 더 정확한 교통정보를 수집할 수 있었다.

협력적 여과(Collaborative Filtering)에서 결측치(Missing Value) 예측에 관한 연구 (The Research fur Prediction of Missing Value in Collaborative Filtering)

  • 황철현;박영길;박용준
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2000년도 추계정기학술대회:지능형기술과 CRM
    • /
    • pp.333-337
    • /
    • 2000
  • 성공적인 사이트를 위한 필수적인 요소로 각광받고 있는 collaborative filtering 기술은 정보의 과부하를 줄일 수 있고 고객에 대한 충성도를 높여주는 효과로 인해 많은 사이트에 적용되어 운용되고 있다. 이 논문에서는 collaborative filtering 적용 포기에 발생하는 정보의 부족으로 인한 정확도 저하를 막기 위해 상품간 연관성을 이용한 결측티 예측 방안을 제안한다.

  • PDF

도시하천 소배수구역의 결측 강우량 산정 방법 비교 (Comparison of Estimation Methods for the Missing Rainfall data in a Urban Sub-drainage Area)

  • 김충수;김형섭
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2006년도 학술발표회 논문집
    • /
    • pp.701-705
    • /
    • 2006
  • 강우자료는 수문 모델링 작업에서 가장 기초적인 수문학적 입력자료로 시간과 공간에 따른 변동성이 크므로 규명하기 복잡한 수문현상 중의 하나이다. 산악지역이 많은 우리나라의 지형학적 특성과 태풍, 장마 및 특히, 최근의 게릴라성 집중호우 등으로 인하여 이러한 변동성이 더욱 커지고 있는 실정이다. 장기간 실측된 수문기상 기초 자료가 부족한 우리나라의 실정상 홍수예보 및 수공구조물 설계를 위해 정확한 강우량 자료의 취득이 선행돼야 한다. 따라서 적절한 장소에 수문관측소 설치 및 관리를 통해 양호한 강우량 자료를 획득해야 하지만, 현장 여건상 등의 이유로 미계측 및 결측, 이상자료가 발생하고 있다. 따라서 이러한 미계측 혹은 결측지점의 우량을 추정할 수 있는 방법을 비교, 분석하여 적절한 보정과정을 수행할 필요가 있다. 그간의 연구에서는 미계측 지점 혹은 산악지역에서의 점 강우량 보정방법에 대한 연구가 진행되었지만, 본 연구에서는 '도시홍수재해관리기술연구사업단'에서 운영 중인 도시하천 유역 특히 소배수구역에서의 결측 자료에 대해 여러 추정 방법을 비교, 분석하여 적절한 방안을 찾고자 한다. 이를 위하여 중랑천 유역의 3개 소배수 구역(월계1 배수구역, 군자 배수구역, 어린이대공원 배수구역)에 설치된 3개 우량관측소와 건설교통부 관할 우량관측소 2개소의 우량자료를 사용하였다. 본 연구에서는 결측치 보간을 위하여 널리 이용되고 있는 산술평균법(Arithmetic Average method), 역거리법(Reciprocal Distance Squared method), 거리고도비율법(Ratio of Distance and Elevation method), 인근관측소와의 관계식 이용, 크리깅방법(Simple Kriging method)을 비교, 검토 적용하였다. 중랑천 유역의 소배수구역을 대상으로 연중 발생하는 큰 호우사상에 대해 임의의 강우관측소를 결측지점으로 가정하고 주변의 강우관측소로부터 각각의 방법을 이용해 가중치들을 산정하여 결측지점의 강우량 값을 보정하고자 하였다. 또한 각각의 방법을 이용하여 얻어진 결과에 대해 실측값과 보정값의 오차정도를 평균절대오차법(Mean Absolute Error)과 제곱평균제곱근오차법(Root Mean Squared Error)에 의해 산정하여 보정 방법간의 효율성을 검토하고자 하였다.

  • PDF

한강 하구부에서 결측된 탁도 자료의 보완 (Filling Analysis for Missing Turbidity Data in Han River Estuary)

  • 백경오;조홍연;이삼희
    • 한국수자원학회논문집
    • /
    • 제39권4호
    • /
    • pp.289-298
    • /
    • 2006
  • 한강 하구부의 3개 지점에서 수중 계류방식으로 약 5개월에 걸쳐 탁도를 관측하였다. 이 과정에서 관측기기의 한계로 인해 탁도 자료의 결측치가 발생하였고, 이를 효율적으로 보완하기 위해 본 연구에서는 새로운 결측치 보완기법을 개발하였다. 개발된 기법은 시계열 자료가 단일주기와 상이한 진폭을 갖는다는 가정하에, 각 사이클의 면적비율을 통해 결측치를 보완하는 방법이다. 이 기법을 결측되지 않은 정상적인 자료로 검증해 보면, 첨두치가 약간 과소 산정되는 경향이 있으나 총 면적은 보완 전, 후에 거의 차이가 없었다. 따라서 새로운 기법을 바탕으로 한강 하구부에서 관측된 탁도자료의 결측치를 합리적으로 보완할 수 있었다.

기상 데이터에서 대기 오염도 요소의 결측치 보완 기법 제안 (Proposal to Supplement the Missing Values of Air Pollution Levels in Meteorological Dataset)

  • 조동철;한희일
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권1호
    • /
    • pp.181-187
    • /
    • 2021
  • 최근 들어 대기오염으로 인한 피해를 줄이기 위하여 다양한 대기오염 요소를 측정, 분석하고 있다. 이 과정에서 다양한 원인으로 인하여 적지 않은 결측치가 발생한다. 이를 보완하기 위해서는 방대한 크기의 학습 데이터를 필요로 한다. 본 논문에서는 적은 양의 학습 데이터를 이용하여 오존, 이산화탄소, 초미세먼지 등을 측정하는 과정에서 발생하는 결측치를 효과적으로 보완하는 통계적 기법을 제안한다. 제안 알고리즘은 우선 기상데이터와 대기오염도 요소 간의 상관관계, p-값 등의 통계정보 분석을 통해 결측치 보완에 긍정적인 영향을 줄 것이라 예상되는 기상데이터 그룹을 추출한 다음, 이들을 분석하여 효율적이고 효과적으로 결측치를 보완하는 기법이다. 제안 알고리즘의 성능을 확인하기 위하여 다양한 실험을 통하여 널리 알려진 대표적인 알고리즘들과 그 특성을 비교분석한다.

영화 데이터를 위한 쌍별 규합 접근방식의 군집화 기법 (Pairwise fusion approach to cluster analysis with applications to movie data)

  • 김희진;박세영
    • 응용통계연구
    • /
    • 제35권2호
    • /
    • pp.265-283
    • /
    • 2022
  • 사용자들의 영화정보를 기록한 MovieLens 데이터는 추천 시스템 연구에서 아이디어를 탐색하고 검증하는데 상당한 가치가 있는 데이터로, 기존 데이터 분할 및 군집화 알고리즘을 사용하여 사용자 평점 데이터를 기반으로 항목 집합을 분할하는 연구 등에 사용되는 데이터이다. 본 논문에서는 기존 연구에서 대표적으로 사용되었던 영화 평점 데이터와 영화 장르 데이터를 통해 사용자의 장르 선호도를 예측하여 선호도 패턴을 기반으로 사용자를 군집화(clustering)하고, 유의미한 정보를 얻는 연구를 진행하였다. MovieLens 데이터는 영화의 전체 개수에 비해 사용자별 평균 영화 평점 수가 낮아 결측 비율이 높다. 이러한 이유로 기존의 군집화 방법을 적용하는 데 한계가 존재한다. 본 논문에서는 MovieLens 데이터 특성에 모티브를 얻어 쌍별 규합 벌점함수(pairwise fused penalty)를 활용한 볼록 군집화(convex clustering) 기반의 방법을 제안한다. 특히 결측치 대체(missing imputation)도 동시에 해결하는 최적화 문제를 통해 기존의 군집화 분석과 차별화하였다. 군집화는 반복 알고리즘인 ADMM을 통해 제안하는 최적화 문제를 풀어 진행한다. 또한 시뮬레이션과 MovieLens 데이터 적용을 통해 제안하는 군집화 방법이 기존의 방법보다 노이즈 및 이상치에 상대적으로 민감하지 않은 것으로 보인다.

적응형 뉴로-퍼지 기법을 이용한 수문자료 결측치 추정에 관한 연구 (A Study on the Estimation of Missing Hydrological Data Using Adaptive Network-based Fuzzy Inference System(ANFIS))

  • 신희재;이태희
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.264-264
    • /
    • 2020
  • 최근 기후변화로 우리나라는 과거에 비해 태풍이나 국지성 집중호우 및 가뭄 등 극심한 수문현상이 빈번하게 발생하고 그 피해가 더욱 커지고 있는 추세이다. 특히 우리나라의 경우 산지가 많으며 대부분의 하천이 유역면적이 작고 유로연장이 짧아 단시간에 유출이 발생하며 수문학적 특성이 연중 큰 편차를 보이고 있다. 이러한 이상기후에 따른 수문현상 파악 및 피해 경감을 위해 신뢰성 있는 수문자료는 매우 중요하다. 따라서 수문자료에 대한 품질관리는 필수적이지만 자료 결측 및 오측에 대한 신뢰성 높은 품질관리가 이뤄지지 못하고 있는 실정이다. 현재 수위자료의 결측이 발생한 경우 해당 관측소의 수위 자료를 사용해 선형보간 및 운형자법으로 수정하거나 상·하류 관측소의 관계를 이용하여 회귀분석을 통해 자료 결측의 수정 및 보완을 수행하는 등 담당자의 주관적 판단에 의존하고 있다. 본 논문에서는 신뢰성 높은 수문자료의 결측치 보완 및 예측을 위한 방안을 제시하고자 상류의 관측소의 수문자료를 이용한 하류의 단시간 수문 자료예측에 관한 연구를 수행하였다. 이를 위해 자료지향형 모델인 적응형 뉴로-퍼지 기법(Adaptive Network-based Fuzzy Inference System, ANFIS)을 이용한 모형을 적용하였다. 기존의 연구에서 가장 일반적으로 사용되는 물리적 모형은 수문자료를 활용하여 수위 및 유출을 산정함에 있어 매개변수의 결정이 어렵고 많은 오차들을 내포하고 있다. 본 연구에서 사용한 ANFIS는 입력자료와 출력자료만을 고려하여 구축할 수 있기 때문에 자료 수집단계에서 유역의 물리적 자료 및 지형 자료와 같은 방대한 양의 자료 수집이 필요가 없다. 이후 모형이 구축이 된다면 입·출력 자료만을 이용하여 신뢰성 높은 결과를 획득할 수 있지만 입력 자료의 품질에 따라 결과가 좌우되기 때문에 자료의 구성이 매우 중요하다. 본 연구에서는 ANFIS를 통해 무주남대천 유역의 무주군(여의교) 관측소의 수위자료를 입력자료를 사용하여 하류에 위치한 무주군(취수장) 관측소의 수문자료의 결측 보완 및 예측하는 모형을 구축하고 모형의 구조 변화를 통해 가장 정확도 높은 모형을 결정하였다.

  • PDF

분류 성능 향상을 위한 지역적 선형 재구축 기반 결측치 대치 (Missing Value Imputation based on Locally Linear Reconstruction for Improving Classification Performance)

  • 강필성
    • 대한산업공학회지
    • /
    • 제38권4호
    • /
    • pp.276-284
    • /
    • 2012
  • Classification algorithms generally assume that the data is complete. However, missing values are common in real data sets due to various reasons. In this paper, we propose to use locally linear reconstruction (LLR) for missing value imputation to improve the classification performance when missing values exist. We first investigate how much missing values degenerate the classification performance with regard to various missing ratios. Then, we compare the proposed missing value imputation (LLR) with three well-known single imputation methods over three different classifiers using eight data sets. The experimental results showed that (1) any imputation methods, although some of them are very simple, helped to improve the classification accuracy; (2) among the imputation methods, the proposed LLR imputation was the most effective over all missing ratios, and (3) when the missing ratio is relatively high, LLR was outstanding and its classification accuracy was as high as the classification accuracy derived from the compete data set.

무응답을 포함하는 범주형 자료의 분석 (Analysis of categorical data with nonresponses)

  • 박태성;이승연
    • 응용통계연구
    • /
    • 제11권1호
    • /
    • pp.83-95
    • /
    • 1998
  • 본 논문에서는 여론조사를 비롯한 표본조사에서 얻어지는 범주형 자료에서 결측치(missing observation)나 무응답(nonresponse)이 발생했을 때 이러한 자료를 적절하게 처리하여 분석할 수 있는 통계모형을 소개하고 실제 사례로서 1948년도에 미국에서 실시한 대통령 선거에 대한 여론조사 자료를 분석하였다. 당시 미국 여론조사 기관에서는 Dewey 후보가 압승을 거둘 것으로 예상을 했지만 실제 선거에서는 Truman 후보가 승리했었다.

  • PDF

혼합물 실험계획에서 실험점의 확장, 결측치, 이상치의 영향을 평가할 수 있는 그래픽 방법 (A graphical method for evaluating the effect of design augmentation, missing observation, and outlier in mixture experiments)

  • 장대흥;박상현
    • 품질경영학회지
    • /
    • 제24권4호
    • /
    • pp.156-167
    • /
    • 1996
  • D-optimality is used often in design augmentation of mixture experiments. Although such alphabetic criteria provide a valuable foundation for generating designs, they often fail to convey the true nature of the design's support of the fitted model in terms of prediction variance over a region of interest. Thus, a graphical method is proposed to evaluate augmented designs in mixture experiments. This method can be used to evaluate the effect of missing observation and outlier in mixture experiments.

  • PDF