A Research for Imputation Method of Photovoltaic Power Missing Data to Apply Time Series Models

태양광 발전량 데이터의 시계열 모델 적용을 위한 결측치 보간 방법 연구

Abstract

This paper discusses missing data processing using simple moving average (SMA) and kalman filter. Also SMA and kalman predictive value are made a comparative study. Time series analysis is a generally method to deals with time series data in photovoltaic field. Photovoltaic system records data irregularly whenever the power value changes. Irregularly recorded data must be transferred into a consistent format to get accurate results. Missing data results from the process having same intervals. For the reason, it was imputed using SMA and kalman filter. The kalman filter has better performance to observed data than SMA. SMA graph is stepped line graph and kalman filter graph is a smoothing line graph. MAPE of SMA prediction is 0.00737%, MAPE of kalman prediction is 0.00078%. But time complexity of SMA is O(N) and time complexity of kalman filter is O(D²) about D-dimensional object. Accordingly we suggest that you pick the best way considering computational power.

1. 서론

본 논문은 태양광 발전량 데이터에 시계열 모델을 적용하기 위해 단순 이동 평균(simple moving average, SMA)과 칼만 필터(kalman filter)를 이용하여 데이터를 전처리하는 방법에 대한 연구이다. 현재 시계열 모형을 이용한 연구는 다양한 분야에서 진행되고 있다. 일례로 관광 레저 분야에서는 항공 수요를 예측하기 위해, 환경 분야에서는 미세먼지의 변화를 예측하기 위한 연구에 시계열 모형을 이용했다. 이처럼 시계열 모형을 이용한 분석은 인문학, 자연학, 공학 등 그 분야를 막론하고 시간에 따른 수치 변화를 관찰하거나 예측하기 위해 보편적으로 활용되는 연구 방법이다[1-2].

최근 신재생 에너지의 핵심 중 하나로 볼 수 있는 태양광 에너지 발전 분야에서도 시계열 모형을 이용한 연구가 진행되고 있다. 태양광 발전 시스템의 성능 손실 분석, 인버터 효율 분석, 태양광 패널의 오염예측 등 주로 발전 손실을 줄이고 효율을 개선하기 위한 연구들이 시계열 모형을 이용하여 진행되었다 [3-6].

시계열 모형은 데이터의 변동을 설명하는 설명 변수(explanatory variable) 사이의 관계를 측정하기 어려운 경우 특히 유용하다[7]. 일사량이나 태양광 패널의 출력과 같이 태양광 발전량에 영향을 주는 요소들의 예측은 스마트 그리드와 PV 시스템 간의 원활한 연계 측면에서도 중요하다[8-10]. 일사량이나 태양광 패널의 출력 외에도 태양광 발전량에 영향을 주는 요소들은 많고, 요소들 사이의 관계를 명확하게 규정하기 어렵다. 이런 경우 태양광 발전량을 예측하기 위한 연구에 시계열 모형이 유용하게 활용된다.

시계열 모형을 이용한 연구가 이루어지기 위해서는 데이터 전처리가 필수로 이루어져야 한다. 특히 결측치는 예측 모델에서 편향(bias)을 발생시키기도 한다[11]. 편향은 데이터 분석에서 왜곡된 결과를 초래한다. 정확한 분석 결과를 얻기 위해서는 결측치를 데이터의 특성을 고려하여 처리할 필요가 있다.

결측 메커니즘의 종류는 결측치 발생 확률과 다른 변수들의 관련성에 따라 3가지로 나뉜다. 결측치 발생 확률이 다른 변수들과 관계없는 독립 변수면 완전 무작위 결측(missing completely at random, MCAR), 관측치에만 의존을 하면 무작위 결측(missing at random, MAR), 결측치가 결측치에 영향을 주면 비무작위 결측(missing not at random, MNAR) 이라한다[12].

결측치들을 처리하는 방법은 값 무시, 삭제, 매개변수 추정 및 대치법이 있다[13]. 결측치 데이터를 삭제하는 방법은 누락된 데이터 자체를 삭제하는 방법과 결측치가 있는 열을 삭제하는 방법으로 나눌 수 있다. 결측치 삭제가 분석에 영향을 줄 수 있는지 고려해야 하고, 삭제한 후에도 결과 추정치가 편향되어 있을 가능성을 고려해야 한다. 그리고 결측값을 삭제하지 않는 경우엔 최대 우도(maximum like- lihood) 프로시저를 사용하여 매개 변수를 추정하는 방법과 평균이나 최빈값을 이용하여 결측값을 대치하는 방법이 있다[14-15]. 그 외에도 대기 오염물질 데이터의 결측치를 평균, 중간값, 최종값, 칼만 필터, 마르코프 연쇄를 이용하여 대치하거나, 불규칙한 시계열 패턴에 대해 머신 러닝 기법을 이용하여 과거 데이터와 유사 데이터로 대체하는 방안도 연구되었다[16-17]. 이처럼 데이터의 결측치 처리 방법은 여러 학자들에 의해 연구가 이루어지고 있다.

본 논문에서는 시계열 데이터의 결측치 처리 방법에 대하여 연구했다. 연구에서 사용된 데이터는 결측값으로 인해 일정하지 않은 시간 간격을 가지는 누적 태양광 발전량 데이터이다. 태양광 발전량 데이터 수집 장치에 데이터를 요청하는 주기는 일정하나, 회선의 일시적인 통신 두절, 장비나 물리적인 문제, 잡음으로 인한 데이터 오염 등의 이유로 결측값이 초래되었다. 데이터의 결측치는 관측치와 무관한 무작위 결측값이므로 완전 무작위 결측이라고 할 수 있다. 이 결측값에 대하여 단순 이동 평균과 칼만 필터를 이용하여 처리하고 두 방법의 성능을 비교한다. 따라 서시 계열 데이터의 추세를 반영한 결측치 처리 방법에 대해 제안하고, 각 결측치 처리 방법을 선택했을 때의 이점에 대한 정보를 제공하여 결측치 처리 환경에 적합한 방법을 선택할 수 있는 기준을 제시한다.

2. 관련 연구

2.1 단순 이동 평균

통계학에서 단순 이동 평균은 m개의 원소에 대한 비가 중 평균법을 이야기하며, 식 (1)과 같이 나타낼 수 있다.

\(S M A=\frac{x_{n}+x_{n-1}+\cdots+x_{n-(m-1)}}{m}=\frac{1}{m} \sum_{i=0}^{m-1} x_{n-i}\)       (1)

이동 평균은 시계열 데이터의 측정 오류나 이 상치와 같은 잡음을 제거하는 특성 때문에 이동 평균 평활(smoothing)이라고 한다. 이동 평균은 자기 회귀 누적 이동평균(autogressive integrated moving aver- age, ARIMA)분석법의 이동 평균 모델과는 다르다 [18]. 이동 평균은 과거 값들이 변화하는 추세를 추출하여 주기를 측정하기 위한 방법인 반면, 이동 평균 모델은 미랫값을 예측하기 위한 방법이다. 이동 평균을 이용하면 주기를 측정할 수 있다는 점 때문에 이동 평균은 주식 분야에서 많이 활용된다. 태양광 에너지 발전 분야에서는 2013년에 계층적 단순 이동평균을 이용한 태양광 데이터의 변동 완화를 위한 연구에 활용되었다[19]. 그러나 변화에 민감하지 않아 가중 이동 평균(weighted moving average, WMA) [20]나 조정 이동 평균(adaptive moving average, AMA)로 보완하고자 하는 연구가 진행되기도 했다. 그럼에도 단순 이동 평균과 보완책 간에 의미 있는 성능 차이가 없거나[21], 비용 절감 측면에서 이동평균이 더 나은 경우도 있어서 단순 이동 평균을 활용한 연구 역시 진행되고 있다.

2.2 칼만 필터

1960년에 R.E. Kalman은 이산 데이터를 선형으로 필터링하기 위한 재귀적인 해결책을 제시했다. 이 해결책은 칼만 필터라고 한다. 칼만 필터는 시계열 데이터에서 전 시간의 상태와 다음 시간의 상태가 선형적인 상태를 가지며 상태 값에 확률 오차가 포함된 경우 사용이 가능하다[22]. 또한 이전 값을 바탕으로 현재 값을 추정하거나 다음 값을 예측하기 위한 알고리즘으로 활용되고 있다.

칼만 필터 알고리즘은 예측 과정과 수정 과정의 두 단계로 나눈다. 예측 과정에서는 현재의 상태와 오차 공분산을 이용하여 다음 값의 상태와 오차 공분산을 예측한다. 칼만 필터는 다음과 같은 식으로 나타낸다[23].

\(x_{k+1}^{-}=A_{k} \widehat{x_{k}}+B r_{k}\)       (2)

\(P_{k+1}^{-}=A_{k} P_{k} A_{k}^{T}+Q_{k}\)       (3)

식 (2)는 현재 상태 \(\widehat{x_{k}}\)에 시간에 따른 상태 변화를 나타내는 A_k와 외압 Bu_k으로 다음 상태에 대한 예측값 \(\widehat{x_{k+1}}\)을 도출하는 식이다.

식 (3)은 현재 상태에 대한 공분산을 바탕으로 다음 공분산을 예측하기 위한 식이다. 현재 공분산 P_k에 상태 변화 A_k를 반영한 후 상태에 대한 오차 Q_k로 보정하여 다음 상태에 대한 예측 공분산 \(P_{k+1}^{-}\)을 도출한다.

수정 과정에서는 칼만 이득을 계산하여 예측값을 측정값으로 보정한다.

\(K_{k}=P_{k}^{-} H_{k}^{T}\left(H_{k} P_{k}^{-} H_{k}^{T}+R_{k}\right)^{-1}\)       (4)

\(\widehat{x_{k}}=\widehat{x_{k}^{-}}+K\left(z_{k}-H_{k} \overline{x_{k}}^{-}\right)\)       (5)

\(P_{k}=\left(1-K_{k} H_{k}\right) P_{k}^{-}\)       (6)

식 (4)는 식 (3)에서 계산한 공분산 예측값, 측정데이터와 상태 데이터와의 관계 H_k, 측정 데이터에 포함된 오차 R_k를 반영하여 칼만 이득을 계산하는 식이다. 식 (4)의 칼만 이득으로 식 (5)의 측정치에 상태 추정값을 보정하여 상태 값을 도출한다. 상태 값과 마찬가지로 식 (6)에서 공분산 예측값도 칼만 이득을 반영하여 다음 상태의 공분산을 도출한다. 이오 차 공분산 값은 추정값이 얼마나 정확한지 알려주는 척도로도 사용할 수 있다.

3. 결측치 분석 방법

3.1 데이터 전처리

논문에서 사용한 데이터는 전남 순천시에 설치된 태양광 발전 시스템이 수집한 상태 정보 데이터이다. 해당 시스템은 10kW 인버터로 구성되어 있으며, 2018년 1월부터 2018년 12월까지 1년간 수집된 데이터를 대상으로 분석을 진행하였다. Table 1은 수집데이터의 테이블 스키마이다.

Table 1. Photovoltaic system statement data table.

분석에 활용한 데이터는 누적 발전량(cumulative power) 데이터이다. 누적 발전량은 특정 시점의 관측값이 아닌 적산 값이며 이상치나 잡음이 보정된 값이므로 분석에 활용하기 적합하다. 누적 발전량은 외부적인 요인으로 인해 결측치를 가지고 있으며, 발전 시작부터 발전이 종료되기까지 기록되므로 하루당 수집되는 데이터의 개수도 다르다. 시계열 데이터의 계절성과 주기성 같은 특성을 관측하기 위해서 시간 간격과 기간별 데이터 수를 일정하게 맞추어야 한다.

하루 단위 발전량 데이터는 시간에 따라 증가했다가 최고점을 찍은 이후 감소하며 Fig. 1과 같은 종 모양 그래프를 그린다. 데이터의 표본 개수가 충분하지 않거나 외부적인 요인을 배제한다면 대체로 이와 같은 양상을 보인다. 그러므로 데이터 주기를 1일 기준으로 전처리를 진행했다. 데이터를 한 달 단위로 나누고, 그 데이터의 가장 이른 발전 시간부터 가장 늦은 발전 시간까지를 주기로 하는 1분 간격 빈 데이터 목록을 만들었다. 그 후 생성된 빈 리스트를 기존데이터와 병합한다. 하루를 기준으로 한 동주기를 가지는 결측치가 포함된 1분 단위 데이터 목록이 생성된다. 이 과정에서 생긴 결측치는 단순 이동 평균과 칼만 필터 방법으로 채워주었다.

Fig. 1. Power observation graph for seven days.

3.2 단순 이동 평균을 이용한 결측치 대치

단순 이동 평균은 최근의 변화와 과거의 변화 비중을 동일하게 적용한다. 과거에 급격한 변화가 있었을 경우 현재의 완만한 변화를 반영하지 못해 누적값임에도 과거의 값이 현재의 값보다 커지는 모순이 발생한다. 각 값은 과거 데이터들의 영향을 받기는 하지만 시간 간격이 커질수록 그 영향이 줄어들고, 오히려 기상 상황에 따른 직전의 순간 변화가 값에 큰 영향을 준다. 그러므로 변화의 추종을 높이는 방법으로 원소 개수가 2인 이동 평균을 적용하였다. 초반 데이터의 경우 이동 평균을 하기에는 데이터가 부족해 첫 데이터에 분당 발전량을 더해 발전 추세를 반영한 데이터를 임의로 생성했다. 이후부터는 해당 값을 이용하여 이동 평균을 도출하고 측정값이 존재하는 경우에는 측정값을 이용하여 이동 평균을 진행해 결측치를 대치했다.

3.3 칼만 필터를 이용한 결측치 대치

칼만 필터는 예측 단계와 갱신 단계, 두 단계를 거치며 상태 값을 보정한다. 예측 단계에서는 현재 가지고 있는 상태 변수와 오차 공분산으로 각각의 예측값을 도출한다. 상태 변수는 1분 단위 발전량 값과 분당 발전 변화량을 이용하였다. 상태 변수가 현재 상태에서 다음 상태를 가지기 위한 관계를 고려하여 상태 변수 시스템 모델을 설정하고, 기존에 보유하고 있는 데이터들의 변동 값들을 분석하여 오차 시스템 모델을 구성하였다.

발전이 일어나는 각 순간은 이전 순간의 영향을 받는다. 데이터는 연속해서 기록되며 발전 종료 시점의 추세가 이후 다음날 발전 시작 데이터에도 영향을 미친다. 따라서 다음날 발전이 시작될 때는 실제로 양의 추세를 가지나, 데이터 처리 과정에서 음의 추세를 가지는 것으로 잘못 처리된다. 그러므로 데이터를 날짜 기준으로 나누어 발전 시작 데이터를 추가로 보정하였다. 또한 발전이 시작되고 발전이 종료되기 전까지를 발전 시간으로 정의하고 그 외의 시간은 결측치로 인식되지 않도록 0으로 처리한 후 일별 데이터를 각각 칼만 필터를 이용한 예측값으로 대치했다.

4. 실험 결과 및 고찰

4.1 이동 평균을 이용한 예측값 도출

Fig. 2은 2018년 5월 23일의 실제 누적 발전량과 이동 평균 예측치로 보정한 누적 발전량 그래프이다. Fig. 2 그래프를 확대해 보면 예측값이 측정값과 값 차이를 보이다 측정값을 만나며 값이 보정되는 형태를 보인다. 측정값과 만났을 때 예측값이 보정되는 양상은 Fig. 3의 발전량의 이동 평균을 이용한 예측값, 측정값 그래프에서 더 잘 관찰할 수 있다.

Fig. 2. Cumulative power observation and estimate using simple moving average graph.

Fig. 3. Power observation and estimate using simple moving average graph. (a) stepped line parts and (b) convergence of predictaion to observed value.

Fig. 3는 발전량의 이동 평균 예측값과 측정값의 시간별 그래프이며, Fig. 3의 y축인 power는 분당 발전량을 나타낸다. Fig. 3의 (a)를 보면 이동 평균 예측값이 측정값을 반영하기 위해 값이 증가했다가 변화량의 중간값으로 수렴하는 계단 형태를 보인다. 최대한 순간 변화를 반영하기 위해 원소 개수를 2개로 설정했음에도 급격한 변화에 빠르게 대응하지 못함을 알 수 있다. Fig. 3의 (b)에서는 지속해서 유사한 값을 받아 예측값이 측정값에 가까워지는 모습을 관찰할 수 있다.

4.2 칼만 필터를 이용한 예측값 도출

Fig. 4은 2018년 5월 23일 데이터의 실제 누적 발전량과 칼만 필터 예측값으로 보정한 누적 발전량 그래프이다. 측정값의 변화에 비율과 유사하게 예측값들이 변화하고 있으며, 각 측정값 사이에 예측값들이 존재하고 있다.

Fig. 4. Cumulative power observation and estimate using kalman filter graph.

Fig. 5의 y축인 power는 분당 발전량을 나타낸다. 예측값들이 대체로 측정값들 사이에 존재하고 있다. Fig. 5의 (a)에서 관찰할 수 있는 것처럼 예측값이 직선에 가까운 모습으로 나타나다가 다음 측정값과 차이가 클 경우 예측값이 급격히 보정되는 모습을 보인다. 기록된 데이터의 시간 간격이 크고 이전 데이터가 감소 추세를 가질 경우 계속 감소한다. 이 감소 추세는 다음 값을 만날 때까지 계속되며, Fig. 5의 (b)처럼 0 미만으로 내려가기도 한다는 점에서 한계를 가지고 있다.

Fig. 5. Power observation and estimate using kalman filter graph. (a) compensated estimate line and (b) maintenance of decrease trend.

4.3 단순 이동 평균과 칼만 필터를 이용한 예측값들의 오차 비교

이동 평균을 이용한 예측값보다 칼만 필터로 예측한 값들의 오차가 더 작다는 것은 상대 오차로 확인할 수 있다. 이동 평균과 칼만 필터를 이용하여 예측한 값과 실제 값의 상대 오차는 다음과 같다.

Table 2는 측정값과 이동 평균을 이용한 예측값, 칼만 필터를 이용한 예측값의 상대 오차를 이용하여 기초 통계 분석한 표이다. 상대 오차는 측정값과 예측값 차의 절댓값에 예측값으로 나누어 계산했다. 실제값과 예측값이 유사할수록 상대 오차는 0에 가까워진다. 칼만 필터 예측값을 이용한 상대 오차의 중간값과 이동 평균 예측값을 이용한 상대 오차의 중간값의 차이는 6.47e-05이다. 각각의 상대 오차의 표준편차는 6.40e-06으로 근소한 차이를 보인다.

Table 2. Observation-estimate relative error basic statistics analysis table.

Fig. 6은 각 데이터의 상대 오차를 시각적으로 나타낸 그래프이다. 수치로 확인했던 것처럼 칼만 필터를 이용한 예측값의 오차들이 0에 더 가깝게 분포해있다.

Fig. 6. Observation-estimate relative error rate graph.

Fig. 7의 (a)는 이동 평균을 이용한 예측값과 측정값의 오차를 이용한 그래프이다. 0.4e-04부터 0.6e- 04 사이에서 최고점이 나타나는 좌경분포(skewed right)를 보인다. 이동 평균 예측값의 상대 오차는 0 에서 1.26e-04 사이에 분포해 있다. Fig. 7의 (b) 는칼만 필터를 이용한 예측값과 측정값의 오차를 이용한 그래프이다. 0부터 0.2e-04 사이에서 최고점이 나타나며 Fig. 7의 (a)와 마찬가지로 좌경분포를 보인다. 칼만 필터 예측값의 상대 오차는 0에서 1.18e-04 사이에 분포해 있다.

Fig. 7. Observation-estimate relative error rate graph. (a) result for simple moving average and (b) result for kalman filter.

Table 3은 이동 평균과 칼만 필터를 이용한 예측값과 측정값을 이용해 평균 제곱근 오차(root mean square error, RMSE)와 평균 절대비 오차(mean absolute percentage error, MAPE)를 계산한 표이다.

Table 3. RMSE and MAPE for observed data and estimate using simple moving average and kalman filter.

\(\text { RMSE }=\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(P_{p r e d}-P_{\text {meas }}\right)^{2}}\)       (7)

\(\mathrm{MAPE}=\frac{1}{n} \sum_{i=1}^{n}\left|\frac{P_{\text {pred }}-P_{\text {meas }}}{P_{\text {meas }}}\right| \cdot 100\)       (8)

식 (7)은 평균 제곱근 오차, 식 (8)은 평균 절대비오차 수식이다. P_pred는 예측값, P_means는 측정값을 의미한다. 평균 제곱근 오차는 예측값과 측정값과의 오차 제곱 합을 데이터 수로 나눈 값의 제곱을 구한다. 평균 절대비 오차는 측정값과 예측값의 차를 측정값으로 나눈 절댓값들의 합을 데이터 수로 나누어 100 을 곱한 값이다. 모두 예측값과 측정값의 차이를 나타내는 척도이다.

단순 이동 평균으로 도출한 예측값과 실제 값의 평균 제곱근 오차는 983.619, 칼만 필터 예측값과 실제 값의 평균 제곱은 오차는 213.438이다. 또한 실제값과 예측값의 평균 절대비 오차는 단순 이동 평균이 약 0.00737%, 칼만 필터가 약 0.00078%이다. 이를 통해 칼만 필터를 이용한 예측값이 단순 이동 평균을 이용한 예측값보다 오차가 더 작음을 확인할 수 있다.

4. 결론 및 향후 과제

본 논문에서 활용한 누적 태양광 발전량 데이터는 통신, 장비 등의 문제로 인해 일정하지 않은 시간 간격으로 기록되었다. 이를 이용하여 시계열 분석을 하기 위해서는 일정한 시간 간격으로 보정할 필요가 있다. 따라서 데이터의 시간 간격을 1분 단위로 맞춘 후 결측치를 처리하였다.

결측치는 단순 이동 평균과 칼만 필터로 대치하였고, 각 방법으로 도출된 예측값의 오차를 비교했다. 단순 이동 평균은 측정값의 변화는 잘 반영하지만, 시간 지연(lag) 현상을 보인다. 또한 측정값을 만나는 지점에서 급격한 변동을 보이는 점에서 한계가 있다. 반면 칼만 필터를 이용한 그래프는 시간 지연 없이 값의 변동을 반영하고 있고 예측값들도 측정값 사이에 분포한다.

각 방법을 이용한 누적 발전량 예측값과 측정값과의 상대 오차는 단순 이동 평균 예측치와의 상대 오차가 0부터 1.26e-04 사이에 분포하고, 칼만 필터는 0부터 1.18e-04로 0과 가깝게 분포한다. 이는 칼만 필터의 오차가 이동 평균보다 보편적으로 더 적음을 의미하지만, 그 차이는 매우 근소하다. 평균 절대비오차도 이동 평균 예측치와 측정값은 0.00737%, 칼만 필터는 0.00078%로 칼만 필터가 더 적게 나타났다. 이동 평균은 시간 복잡도가 O(N)이고, 칼만 필터는 차원 D에 대해 O(D²)이므로, 이 점을 고려하여 결측치를 처리하는 환경의 컴퓨팅 파워에 적합한 방법을 선택하면 될 것으로 생각된다.

본 논문에서는 시계열 데이터의 발전량 예측의 정확도 향상을 위해 데이터 결측치를 처리하는 방법에 대한 연구를 진행하였다. 이 연구 내용을 바탕으로 향후 ARIMA 모델을 적용하여 태양광 발전량을 예측하거나 태양광 발전의 효율 변화 관찰을 통해 태양광 발전설비의 유지보수에도 활용할 수 있을 것으로 사료된다.