DOI QR코드

DOI QR Code

Compound Outlier Assessment and Verification for Multiple Field Monitoring Data

다수 계측 데이터에 대한 복합 이상치 평가 및 검증

  • Jeon, Jesung (Department of Construction Information Engineering, Induk University)
  • Received : 2017.10.26
  • Accepted : 2017.12.01
  • Published : 2018.01.01

Abstract

All kinds of monitoring data in construction site could have outlier created from diverse cause. In this study generation technique of synthesis value, its regression, final outlier detection and assessment are conducted to distinct outlier data included in extensive time series dataset. Synthesis value having weight factor of correlation between a number of datasets consist of many monitoring data enable to detect outlier by increasing its correlation. Standard artificial dataset in which intentional outliers are inserted has been used for assessment of synthesis value technique. These results showed increase of detection accuracy for outlier and general tendency in case of having different time series models in common. Accuracy of outlier detection increased in case of using more dataset and showing similar time series pattern.

건설 현장에서 생산되는 각종 계측 데이터 내에는 다양한 원인에서 생성된 각종 이상 데이터가 포함되어 있다. 본 연구에서는 시계열 데이터 내에 포함된 이상 데이터의 효과적 판정을 위한 합성신호 생성 기법과 그를 이용한 회귀분석, 최종적인 이상 데이터 판단과 평가 등에 관한 연구를 수행하였다. 방대한 데이터로 구성된 다수 데이터셋에 대한 이상 데이터 평가 시 다수의 데이터셋 간의 상관성을 가중치로 한 합성신호는 특정 데이터셋 과의 상관성을 크게 향상 시키는 효과를 보였으며, 이를 통해 효과적인 이상 데이터 판정이 가능하였다. 인위적 이상 데이터가 포함된 인공 오류 데이터를 생성하고 이에 합성신호 기법을 적용한 결과, 이상 데이터 판정 정확도가 크게 증가 하였으며 이러한 결과는 이종 시계열 모델의 경우에서도 동일하게 확인되었다. 이상 데이터 판정의 정확도는 신호 합성에 이용되는 데이터셋 수가 많고 시계열 모델 특성이 유사할수록 크게 증가하였다.

Keywords

References

  1. Jeffery, S. R., Alonso, G., Franklin, M. J., Hong, W. and Widom, J. (2006), Declarative support for sensor data cleaning, Proc. of 4th International Conference on Pervasive Computing, Ireland, pp. 83-100.
  2. Jeon, J. S., Koo, J. K. and Park, C. M. (2015a), Outlier detection in time series monitoring datasets using rule based and correlation analysis method, Journal of the Korean Geo-Environmental Society, Vol. 16, No. 5, pp. 43-53 (in Korean). https://doi.org/10.14481/JKGES.2015.16.5.43
  3. Jeon, J. S., Shin, D. H. and Kim, K. Y. (2015b), Outlier detection in time series monitoring dataset by adaptive multiple synthesis method, KSCE 2015 Convention, Kunsan, Korea, pp. 27-28 (in Korean).
  4. Jeon, J. S. (2016), Development of outlier evaluation technique and operation system for monitoring data, KSCE 2016 Convention, Jeju, Korea, pp. 355-356 (in Korean).
  5. Kailath, T. (1975), Square-root algorithms for least-squares estimation, IEEE Trans. Automatic Control, Vol. 20, No. 4, pp. 487-497. https://doi.org/10.1109/TAC.1975.1100994
  6. Mourad, M. and Bertrand-Krajewski, J.-L. (2002), A method for automatic validation of long time series of data in urban hydrology, Water Science and Technology, Vol. 45, No. 4-5, pp. 263-270.
  7. Ni, k., Ramanathan, N., Chehade, M., Balzano, L., Nair, S., Zahedi, S., Pottie, G., Hansen, M. and Srivastava., M. (2009), Sensor network data fault types, ACM Transactions on Sensor Networks, Vol. 5, No. 3, Article 25, pp. 1-29.
  8. Park, C. M. and Jeon, J. S. (2015), Regression-based outlier detection of sensor measurement using independent variable synthesis, Journal of Korean Institute of Plant Engineering, Vol. 20, No. 3, pp. 87-93 (in Korean).
  9. Ramanathan, N., Balzano, L., Burt, M., Estrin, D., Kohler, E., Harmon, T., Harvey, C., Jay, J., Rothenberg, S. and Srivastava, M. (2006), Rapid deployment with confidence: calibration and fault detection in environmental sensor networks. Tech. Rep. 62, CENS, pp. 1-14.
  10. Sharma, A. B., Golubchik, L. and Govindan, R. (2010), Sensor faults: detection methods and prevalence in real-world datasets, ACM Transactions on Sensor Networks, Vol. 6, No. 3, Article 23, pp.1-39.
  11. Williams, G. J., Baxter, R. A., He, H. X., Hawkins, S. and Gu, L. (2002), A comparative study of RNN for outlier detection in data mining, IEEE International Conference on Data-mining (ICDM'02), Maebashi City, Japan, CSIRO Technical Report CMIS-02/102, pp. 1-709.