A Practical Methodology of Preparing Data for Generating Prediction Model using Heterogeneous Data Sources

이형 데이터 기반의 예측 모델 생성을 위한 데이터 정제 방법론

예측 모델은 어떤 상황이 주어졌을 때, 다음 상황에 대한 예측을 수행하는 시스템으로, 현재 상황을 올바르게 인지하고, 그 인지된 상황을 토대로 미래를 예측할 수 있는 지능을 갖고 있어야 한다. 이러한 예측 모델이 올바르게 동작하기 위해서는 상황을 올바르게 인지하는 기능이 우선되어야 하지만, 원시 데이터로부터 상황을 인지하기 위해서는 원시 데이터를 올바르게 해석하기 위한 데이터 정제 과정이 필요하다. 이에 본 연구에서는 다양한 형태의 원시 데이터를 예측 모델의 유효한 입력 값으로 변환시키기 위한 데이터 정제 방법을 제안한다. 본 방법은 윈시 데이터의 형태 정의, 데이터 정규화, 속성 관계 검증, 결측치 보정, 그리고 신뢰도 적용의 5단계로 구성되어 있다.