• Title/Summary/Keyword: 이상치

Search Result 5,463, Processing Time 0.033 seconds

강우센서에서 생성된 강우정보를 이용한 선형회귀분석과 대역 통과 필터링 분석간의 정확도 비교

  • Kim, Yeong-Gon;Lee, Seok-Ho;Kim, Byeong-Sik
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2017.05a
    • /
    • pp.172-172
    • /
    • 2017
  • 본 연구는 차량의 AW(AutoWiping) 기능을 위해 장착된 강우센서를 이용하여 강우정보를 생산하는 기술을 개발하고자 하였다. AW(AutoWiping) 기능이란 차량 앞창(Windshield)에 빗방울이 맺히게 되면 광신호의 산란으로 인해 수광부에 들어오는 감소되는 광신호의 정도에 따라 차량 와이퍼의 속도를 결정해 주는 기능이다. 빗방울이 많이 맺힐수록 광신호는 감소되며 와이퍼는 더 빠른 속도로 작동을 하게 된다. 여기서 강우센서가 강우량이 많으면 감소된 광신호 데이터를 표출하는 현상을 이용하여 강우정보를 생산한다. 강우센서는 총 8개의 채널로 이루어져있고, 초당 250개의 광신호 데이터를 수집하며, 10분이면 약 120만 개의 데이터가 생산되게 된다. 이 대량의 데이터에서 정확한 강우량을 산출하기 위해 강우센서의 초기값과 와이퍼 이동시 발생하는 순간 이상치를 제거해야 한다. 하지만 일일이 수백만 개 이상의 데이터에서 모든 이상치를 제거하는 작업은 불가능하다. 따라서 이상치를 포함한 회귀 분석 방법을 연구하였고, 인공강우 발생기를 이용하여 광신호를 강우량으로 환산하는 2가지 회귀식이 유도되었다. 이들은 각각 이상치를 모두 포함시켜 독립변수(광신호)에 따라 종속변수(강우량)의 값이 변화하는 관계를 나타내는 선형회귀분석(model 1), 임계치를 정하여 일정 이상치가 제거된 신호만 통과시키는 대역통과 필터링 분석(model 2)으로 유도된 회귀식을 실강우에 회귀식을 적용하여 정확도를 분석하였다.

  • PDF

Development of Statistical System for Checking Multivariate Normality and Outliers (다변량 정규성과 이상치 검정을 위한 통계 시스템 개발)

  • 최용석;김종건;강명래
    • The Korean Journal of Applied Statistics
    • /
    • v.14 no.2
    • /
    • pp.223-231
    • /
    • 2001
  • 다변량분석 기법을 위해서는 자료가 정규성(normality)가정을 만족해야한다. 본 연구에서는 GUI환경에서 일변량 및 다변량자료의 정규성검정, 이상치제거 및 변수변환을 하는 시스템을 Visual Basic 언어로서 구축하여 사용자들이 보다 편리하게 사용할 수 있음을 소개 하고자 한다.

  • PDF

A study of a new statistic for detection of outliers and/or influential observations in regression diagnostics (회귀진단에서 이상치와 영향관측치를 동시에 발견하는 새로운 통계량에 관한 연구)

  • 강은미
    • The Korean Journal of Applied Statistics
    • /
    • v.6 no.1
    • /
    • pp.67-78
    • /
    • 1993
  • A new diagnostic statistic for detecting outliers and influential observations in linear models is suggested and studied in this paper. The proposed statistic is a weighted sum of two measures; one is for detecting outliers and the other is for detecting influential observations. The merit of this statistic is that it is possible to distinguish outliers from influential observations. We have done some Monte-Carlo Simulation to find the probability distribution of this statistic.

  • PDF

Quantitative characterization of historical drought events in Korea -focusing on outlier analysis of precipitation- (우리나라 과거 가뭄사상의 정량적 특성 분석 -강수량의 이상치 분석을 중심으로-)

  • Jang, Ho-Won;Cho, Hyeong-Won;Kim, Tae-Woong;Lee, Joo-Heon
    • Journal of Korea Water Resources Association
    • /
    • v.49 no.2
    • /
    • pp.145-153
    • /
    • 2016
  • Using monthly rainfalls, this study investigated outliers of annual and/or seasonal rainfall for quantitative assessment of historical droughts in Korea. Based on the analysis of annual rainfall, Icheon, Geochang, Jeongeup, Suncheon and Jangheung gaging stations were selected to represent the major river basins, because they had most frequent dry years. The overall results indicated that the years of 1988 and 1994 were the worst dry years. Although the 2001 drought was not severe, it resulted in typical agricultural drought damage mainly in Seomjin and Yeongsan river basin due to the lack of agricultural water. On the other hand, the droughts of 1981-1982 and 1994-1995 were long term nation wide droughts that lasted more than two years resulting in extensive drought damages to parts of the country.

Performance Evaluation of Battery Remaining Time Estimation Methods According to Outlier Data Processing Policies in Mobile Devices (모바일 기기에서 이상치 데이터 처리 정책에 따른 배터리 잔여 시간 예측 기법의 평가)

  • Tak, Sungwoo
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.26 no.7
    • /
    • pp.1078-1090
    • /
    • 2022
  • The distribution patterns of battery usage time data per battery level are able to affect the performance of estimating battery remaining time in mobile devices. Outliers may mainly affect the estimation performance of statistical regression methods. In this paper, we propose a software framework that detects and processes outliers to improve the estimation performance of statistical regression methods. The proposed framework first detects outliers that degrade the estimation performance. The proposed framework replaces outliers with smoothed data. The difference between an outlier and its replaced data will be properly distributed into individual data. Finally, individual data are reinforced to improve the estimation performance. The numerical results obtained by experimenting the proposed framework confirmed that it yielded good performance of estimating battery remaining time.

Effective Classification Method of Hierarchical CNN for Multi-Class Outlier Detection (다중 클래스 이상치 탐지를 위한 계층 CNN의 효과적인 클래스 분할 방법)

  • Kim, Jee-Hyun;Lee, Seyoung;Kim, Yerim;Ahn, Seo-Yeong;Park, Saerom
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.07a
    • /
    • pp.81-84
    • /
    • 2022
  • 제조 산업에서의 이상치 검출은 생산품의 품질과 운영비용을 절감하기 위한 중요한 요소로 최근 딥러닝을 사용하여 자동화되고 있다. 이상치 검출을 위한 딥러닝 기법에는 CNN이 있으며, CNN을 계층적으로 구성할 경우 단일 CNN 모델에 비해 상대적으로 성능의 향상을 보일 수 있다는 것이 많은 선행 연구에서 나타났다. 이에 MVTec-AD 데이터셋을 이용하여 계층 CNN이 다중 클래스 이상치 판별 문제에 대해 효과적인지를 탐구하고자 하였다. 실험 결과 단일 CNN의 정확도는 0.7715, 계층 CNN의 정확도는 0.7838로 다중 클래스 이상치 판별 문제에 있어 계층 CNN 방식 접근이 다중 클래스 이상치 탐지 문제에서 알고리즘의 성능을 향상할 수 있음을 확인할 수 있었다. 계층 CNN은 모델과 파라미터의 개수와 리소스의 사용이 단일 CNN에 비하여 기하급수적으로 증가한다는 단점이 존재한다. 이에 계층 CNN의 장점을 유지하며 사용 리소스를 절약하고자 하였고 K-means, GMM, 계층적 클러스터링 알고리즘을 통해 제작한 새로운 클래스를 이용해 계층 CNN을 구성하여 각각 정확도 0.7930, 0.7891, 0.7936의 결과를 얻을 수 있었다. 이를 통해 Clustering 알고리즘을 사용하여 적절히 물체를 분류할 경우 물체에 따른 개별 상태 판단 모델을 제작하는 것과 비슷하거나 더 좋은 성능을 내며 리소스 사용을 줄일 수 있음을 확인할 수 있었다.

  • PDF

Estimation of Probability Rainfall considering Test for Outliers in Korea (이상치검정을 고려한 국내 확률강우량 산정)

  • Lee, Jung Sik;Shin, Chang Dong;Kang, Mi Soon
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2016.05a
    • /
    • pp.309-314
    • /
    • 2016
  • 본 연구에서는 확률강우량 산정을 위한 빈도해석 시 보다 타당하고, 신뢰도 높은 강우자료를 선정하여 수공구조물 설계 및 재난방재계획에 합리적인 기준을 제시하고자 이상치 적용에 따른 확률강우량을 산정 비교하였다. 이상치검정의 비교를 위하여 Grubbs and Beck 방법과 미국 수자원평의회 방법을 적용하였으며, 적용결과에 따라 강우자료를 조정하여 확률강우량을 산정 비교하여 타당성을 검토하였다. 본 연구의 수행으로 이상치검정에 따라 강우자료 년수에 변화가 있었으며, 기존의 방법과 확률강우량을 비교하였을 때, 증감이 나타났다.

  • PDF

Development of Removal Techniques for PRC Outlier & Noise to Improve NDGPS Accuracy (국토해양부 NDGPS 정확도 향상을 위한 의사거리 보정치의 이상점 및 노이즈 제거기법 개발)

  • Kim, Koon-Tack;Kim, Hye-In;Park, Kwan-Dong
    • Journal of Korean Society for Geospatial Information Science
    • /
    • v.19 no.2
    • /
    • pp.63-73
    • /
    • 2011
  • The Pseudorange Corrections (PRC), which are used in DGPS as calibration messages, can contain outliers, noise, and anomalies, and these abnormal events are unpredictable. When those irregular PRC are used, the positioning error gets higher. In this paper, we propose a strategy of detecting and correcting outliers, noise, and anomalies by modeling the changing pattern of PRC through polynomial curve fitting techniques. To validate our strategy, we compared positioning errors obtained without PRC calibation with those with PRC calibration. As a result, we found that our algorithm performs very well; the horizontal RMS error was 3.84 m before the correction and 1.49 m after the correction.

The Outlier-Filtering Algorithm for National Highway Continuous Traffic Counts Data (일반국도 상시조사 교통량 자료의 이상치 판정 알고리즘 개발)

  • Shin, Jae Myong;Lee, Sang Hyup;Kim, Hyun Suk
    • KSCE Journal of Civil and Environmental Engineering Research
    • /
    • v.33 no.2
    • /
    • pp.691-702
    • /
    • 2013
  • In this study the quantitative outlier-filtering algorithm has been developed using the smoothing method based on the day-of-the-week traffic volume variation pattern and then, in order to test the effectiveness of the algorithm, it has been used to identify outliers from the traffic volume data collected at 14 continuous traffic counts sites on the national highways in the year 2010. The test results are satisfactory since the filtering rate is 98.2% for normal days and the mis-filtering rate is 8.0% for abnormal days. Therefore, the algorithm will be able to be used for roughly-but-quickly filtering outliers from the collected traffic volume data.

Robust Response Transformation Using Outlier Detection in Regression Model (회귀모형에서 이상치 검색을 이용한 로버스트 변수변환방법)

  • Seo, Han-Son;Lee, Ga-Yoen;Yoon, Min
    • The Korean Journal of Applied Statistics
    • /
    • v.25 no.1
    • /
    • pp.205-213
    • /
    • 2012
  • Transforming response variable is a general tool to adapt data to a linear regression model. However, it is well known that response transformations in linear regression are very sensitive to one or a few outliers. Many methods have been suggested to develop transformations that will not be influenced by potential outliers. Recently Cheng (2005) suggested to using a trimmed likelihood estimator based on the idea of the least trimmed squares estimator(LTS). However, the method requires presetting the number of outliers and needs many computations. A new method is proposed, that can solve the problems addressed and improve the robustness of the estimates. The method uses a stepwise procedure, suggested by Hadi and Simonoff (1993), to detect outliers that determine response transformations.