• 한국멀티미디어학회논문지
• /
• 제25권2호
• /
• pp.257-268
• /
• 2022

When there is a missing value in the raw data, if ignore the missing values and proceed with the analysis, the accuracy decrease due to the decrease in the number of sample. The method of imputation and analyzing patterns and significant values can compensate for the problem of lower analysis quality and analysis accuracy as a result of bias rather than simply removing missing values. In this study, we proposed to study irregular data patterns and missing processing methods of data using machine learning techniques for the study of correction of missing values. we would like to propose a plan to replace the missing with data from a similar past point in time by finding the situation at the time when the missing data occurred. Unlike previous studies, data correction techniques present new algorithms using DNN and KNN-MLE techniques. As a result of the performance evaluation, the ANAE measurement value compared to the existing missing section correction algorithm confirmed a performance improvement of about 0.041 to 0.321.

• Journal of information and communication convergence engineering
• /
• 제1권3호
• /
• pp.150-156
• /
• 2003

This paper explored the use of an algorithm for the data mining and method in handling missing data which had generated enhanced association patterns observed using the data illustrated here. The evaluations showed that more association patterns are generated in the second analysis which suggests more meaningful rules than in the first situation. It showed that the model offer more precise and important association rules that is more valuable when applied for business decision making. With the discovery of accurate association rules or business patterns, strategies could be efficiently planned out and implemented to improve marketing schemes. This investigation gives rise to a number of interesting issues that could be explored further like the effect of outliers and missing data for detecting fraud and devious database entries.

• 인터넷정보학회논문지
• /
• 제11권2호
• /
• pp.129-142
• /
• 2010

무선선서네트워크의 주요 응용분야 중 하나가 유비쿼터스 헬스케어 시스템이다. 하지만 무선센서네트워크가 가지고 있는 과제중의 하나는 데이터 중에 나타나는 높은 손실 율이다. 바이오 센서로부터 들어오는 데이터는 기지국에 도착되지 않을 수 있으며, 이 값은 손실 값(missing value)이 된다. 본 논문은 기지국에서 데이터를 수집하고, 손실 값을 처리한 후, 증상 패턴에 따라 건강상태를 분류하여, 비상시에 적절한 행동을 취할 수 있도록 하는 헬스케어 모니터 에이전트(HMA)를 제안한다. 이 에이전트는 유비쿼터스 헬스케어 환경에 적용되며, 건강상태를 인지하기 위한 증상패턴으로 바이오 센서 및 환자의 가족력으로 부터 생성된 데이터를 사용한다. 손실 값이 나타나면 HMA는 분류하기 전에 증상패턴의 손실 값을 채우기 위한 예측 알고리즘을 수행한다. 시뮬레이션 결과 HMA를 사용한 예측알고리즘이 다른 방법들에 비해 더 정확하게 증상패턴을 분류함을 보여주었다.

• 한국해안·해양공학회논문집
• /
• 제23권6호
• /
• pp.496-501
• /
• 2011

우리나라 연안 조위자료의 결측양상을 분석 제시하였다. 결측구간은 결측정보지시행렬을 이용하여 전체적인 결측양상을 파악할 수 있도록 도시하였으며, 시간적 공간적인 결측비율도 분석하여 제시하였다. 전반적으로 조위의 결측비율은 낮은 수준이나, 결측이 특정 조위관측소에 집중되는 경향을 보이고 있다. 또한 연속적인 결측자료 발생간격에 대한 자기상관함수를 분석한 결과, 조위자료의 결측은 무작위적으로 발생하고 있는 것으로는 파악되었다.

• 응용통계연구
• /
• 제29권3호
• /
• pp.539-547
• /
• 2016

임상시험에서 흔히 발생하는 결측치 중 이분형 결측치에 대한 논의를 하였다. 본 논문에서는 결측치가 발생하는 기재를 논의하고 기존의 여러 이분형 결측치 대체 방법과 수정된 결측치 대체방법을 소개하였다. 이후 각 결측치 대체 방법을 실제 자료에 적용하여 모의 실험을 진행하였다. 실제 자료의 성격 및 결측률의 변화에 따른 결측치 대체 방법들의 성능비교를 통해 진행하였다. 마지막으로 각 결측치 대체 방법에 대한 모의 실험 결과를 요약하고 토의하였다.

• 대한교통학회지
• /
• 제25권1호
• /
• pp.121-132
• /
• 2007

일반국도의 상시조사 자료는 교통량 조사 장비를 통해 수집되며, 수집된 자료가 누락되거나 불량일 경우 통계자료의 객관성을 유지하기 위해서 보정을 해야 한다. 교통량 결측 자료의 보정을 통계적인 방법으로 접근하여 신뢰성을 높이고자 본 연구에서는 보정 대상 시간과 동일시간의 자료를 적용할 수 있는 자기회귀분석과 보정 대상 지점과 동일 지점의 자료를 적용할 수 있는 계절 시계열 분석을 이용하여 보정하는 방안을 제시하였다. 계절 시계열 분석을 적용하여 결측 자료를 보정한 결과, 결측 기간이 길어질수록 오차가 커지는 것으로 분석되었다. 이것은 단기예측의 경우 실제자료를 이용하여 예측 값을 제시하지만, 장기예측의 경우 예측된 자료를 이용하여 예측값을 제시하기 때문에 신뢰성이 떨어지기 때문이라 판단된다. 자기회귀분석을 적용하여 결측 자료를 보정한 결과, 시계열분석에 비해서 오차가 적은 것으로 분석되었다. 이것은 교통량자료는 과거 패턴보다 현재 시점의 영향을 더 많이 받는 것이기 때문이라 판단된다 하지만 자기회귀분석은 인근에 패턴이 유사한 지점이 있어야 가능하며, 인근에 유사한 지점이 있더라도 그 지점의 자료가 불량일 경우 보정이 불가능하다는 단점이 있다. 이러한 경우에는 과거자료를 이용해서 보정할 수밖에 없으며, 단기 결측의 경우에는 시계열분석을 이용할 수 있다.

• 응용통계연구
• /
• 제21권6호
• /
• pp.1109-1116
• /
• 2008

Biplots are the multivariate analogue of scatter plots. They are useful for giving a graphical description of the data matrix, for detecting patterns and for displaying results found by more formal methods of analysis. Nevertheless, when some values are missing in data matrix, most biplots are not directly applicable. In particular, we are interested in the shape variability of principal component biplot which is the most popular in biplots with missing values. For this, we estimate the missing data using the EM algorithm and mean imputation according to missing rates. Even though we estimate missing values of biplot of incomplete data, we have different shapes of biplots according to the imputation methods and missing rates. Therefore we propose a RMS(root mean square) for measuring and comparing the shape variability between the original biplots and the estimated biplots.

• Ocean and Polar Research
• /
• 제44권2호
• /
• pp.179-190
• /
• 2022

Data missing in optical satellite images caused by natural variations have been a crucial barrier in observing the status of marine surfaces. Although there have been many attempts to fill the gaps of non-observation, there is little research to analyze the ratio of missing grids to overall sea grids and their seasonal patterns. This report introduces the method of quantifying the distribution of missing points and then shows how the missing points have spatial correlation and seasonal trends. Both temporal and spatial integration methods are compared to assess the effectiveness of reducing missing data. The temporal integration shows more outstanding performance than the spatial integration. Moran's I and K-function with statistical hypothesis testing show that missing grids are clustered and there is a non-random distribution from daily integration. The result of the seasonality test for Moran's I through a periodogram shows dependency on full-year, half-year, and quarter-year periods respectively. These analysis results can be used to deduce appropriate integration periods with permissible estimation errors.

• International Journal of Contents
• /
• 제9권4호
• /
• pp.1-10
• /
• 2013

The electroencephalogram (EEG) time series is a measure of electrical activity received from multiple electrodes placed on the scalp of a human brain. It provides a direct measurement for characterizing the dynamic aspects of brain activities. These EEG signals are formed from a series of spatial and temporal data with multiple dimensions. Missing data could occur due to fault electrodes. These missing data can cause distortion, repudiation, and further, reduce the effectiveness of analyzing algorithms. Current methodologies for EEG analysis require a complete set of EEG data matrix as input. Therefore, an accurate and reliable imputation approach for missing values is necessary to avoid incomplete data sets for analyses and further improve the usage of performance techniques. This research proposes a new method to automatically recover random consecutive missing data from real world EEG data based on Linear Dynamical System. The proposed method aims to capture the optimal patterns based on two main characteristics in the coevolving EEG time series: namely, (i) dynamics via discovering temporal evolving behaviors, and (ii) correlations by identifying the relationships between multiple brain signals. From these exploits, the proposed method successfully identifies a few hidden variables and discovers their dynamics to impute missing values. The proposed method offers a robust and scalable approach with linear computation time over the size of sequences. A comparative study has been performed to assess the effectiveness of the proposed method against interpolation and missing values via Singular Value Decomposition (MSVD). The experimental simulations demonstrate that the proposed method provides better reconstruction performance up to 49% and 67% improvements over MSVD and interpolation approaches, respectively.

• 한국전기전자재료학회:학술대회논문집
• /
• 한국전기전자재료학회 2004년도 추계학술대회 논문집 Vol.17
• /
• pp.327-330
• /
• 2004

Because of its effectiveness for the PD(partial discharge) pattern recognition, PSA(Pulse Sequence Analysis) has been considered as a new analytic method instead of conventional PRPDA(Phase Resolved Partial Discharge Analysis). However, PSA has a big problem that can misanalyze patterns in case of data missing resulting from poor sensitivity because it analyses the correlation between sequential pulses, which leads to hesitate to apply it to on-site. Therefore, in this paper, the problems of PSA such as data missing and noise adding cases were investigated. For the purpose, PD data obtained from various defects including noise adding data were used and analysed, The result showed that both cases can cause fatal errors in recognizing PD patterns. In case of the data missing, the error depends on the kinds of defect and the degree of degradation. Also, it could be noticed that the error due to adding noises was larger than that due to some data missing.