Ⅰ. 서론
최근 ｢물관리기본법｣의 시행으로 지속가능한 물관리 체계를 확립하기 위한 법적 기반이 마련되었으며, 이러한 법적 근거를 토대로 수량과 수질을 통합 관리하는 통합 물관리 정책이 대두되었다. 특히, 농업용수 관련 통합 물관리 핵심 전략 중 하나로 물수요 관리를 고려한 공급 계획 수립이 있으며, 추진 방향으로는 농업용수의 체계적 모니터링 강화, 시설 운영 효율화 등이 있다 (Ryu et al., 2020; MLTMA, 2011). 이러한 농업용수 공급 계획 수립을 위해서는 농업용 저수지 및 수로부에서의 수위 및 유속 계측을 통한 유량 산정이 필수적이며, 신뢰성 있는 자료를 구축⋅제공하기 위한 품질관리가 선행되어야 한다.
한편 한국농어촌공사 (KRC, Korea Rural Community Corporation)에서는 공사관리 저수지 1,756개소와 그 시점부 용수로 1,434개소에 자동수위계측기를 설치⋅운영하고 있으며, 공급량 도출을 위한 수위 및 유량 자료를 구축하기 위해 현장 유량조사를 병행하고 있다 (Lee et al., 2020). 현재 농업용수 공급량 산정을 위한 자동수위계측기를 설치⋅확대하고 있으며, 동시에 과거 1시간 주기에서 10분 단위 데이터 축적으로 인한 데이터양의 급격한 증가로 품질관리의 적용성 및 신뢰도 확보의 필요성이 증가하고 있다 (Joo et al., 2022).
현재 수위 자료를 측정하기 위한 시스템으로는 영상정보를 이용한 방식, 압력식, 초음파식으로 구분할 수 있으며, 영상정보를 이용하는 방식의 경우 재해⋅재난 감시 목적에서 더욱 고도화된 지능형 CCTV를 통해 목자판 영상의 확인과 딥러닝 기술을 활용한 수위 인식 방법 등으로 신속한 유지⋅관리와 높은 신뢰성 확보의 이점이 있다. 하지만 영상 제어 및 이미지 처리 기술, CCTV의 성능과 비용, 서버 구축 비용 등으로 인해 한국농어촌공사 관리하에 있는 모든 농업용 저수지 및 수로부 시점부의 수위를 계측하기에는 어려움이 있다. 이러한 이유로 압력식 및 초음파식의 경우 퇴적 토사, 센서 오류, 환경에 따른 특성 등의 단점이 존재하지만, 비용적인 유리함으로 준용하고 있다 (Joo et al., 2023).
일단위 수위자료를 현장 검측을 통해 관리할 수 있는 농업용 저수지와는 다르게 수로부에서는 개별 저수지당 연결된 개소수가 많음과 동시에 현장의 위치가 분산되어 있어 검증자료를 생성하기에는 한계가 있다. 특히, 저수지의 관개방식(연속관개, 간단관개 등)에 따라 수위 자료의 형태가 매해 다르며, 저수지에 비해 토사, 수초, 강우의 영향 등에 더 민감하여 일반적인 수위 패턴을 가늠하기에 어려움이 존재한다(KRC, 2022).
Kim et al. (2021)은 기 축적된 농업용 저수지 수위 자료의 품질관리를 위해 결측치 및 이상치를 탐지하고, Gaussian filter, Savitzky-Golay filter, Hampel filter를 활용하여 이상치를 보정하였으며, 공인 수문자료와 비교하여 각 필터기법의 적용성을 평가한 바 있다. 또한 Joo et al. (2022)은 타 필터기법에 비해 일괄적인 적용성이 높은 Hampel 필터 기법을 대상으로 주요매개변수인 Window size를 최적화하는 연구를 수행한 바 있다. 본 연구에서는 기존 저수지 대상의 수위 품질관리에서 수로부 대상의 수위 품질관리를 수행하였으며, 각 필터 기법의 수로부에서의 적용성 평가와 적용성이 높은 필터 기법에 대한 매개변수 최적화를 수행하였다.
한편, 한국농어촌공사는 2010년을 기점으로 농업 수문자료 생성을 위해 농업용 저수지 및 수로부 시점부에 자동수위계측기를 설치하였으며, 이후 수집된 수위 자료를 활용한 다양한 관련 연구가 수행되고 있다. Bang et al. (2021)은 50만 m3 이상의 유효저수량을 가지는 173개소의 농업용 저수지를 대상으로 10분 단위 자동수위계측 수로 수위 자료와 수로별 수위-유량 곡선을 활용하여 유량 산정을 하였으며, HOMWRS(Hydrological Operation Model for Water Resources System)의 용수수요량, RIMS 저수율 저감량, 저수지별 유효저수량 자료를 활용하여 기간별, 지역별 용수공급량을 평가하였다. 또한 Lee et al. (2020)은 한국농어촌공사 관리 저수지 중 예당저수지에 설치된 농업용 저수지 용수로 시점부 자동수위계측자료를 활용하여 수위-유량 관계식을 통해 관개용수 공급량을 산정하였으며, 저수지 물수지를 통해 수문학적 측면에서 산정된 공급량을 평가하였다. Kim et al. (2019)는 10분 단위 저수지 수위 자료를 활용하여 인공신경망과 임계치를 이용한 이상치 탐지 모형을 적용하고 성능을 분석하였다. 또한 Kim et al. (2022)는 수로 CCTV 이미지 영상자료를 활용하여 CNN 딥러닝 기반의 이미지 분류 모델을 생성하였으며, 초음파 수위계의 수위 값을 R2, MAE를 활용하여 적용 성능을 평가하였다. 자동수위계측자료를 활용한 기존 연구는 수위-유량 관계식, 용수수요량, 저수지 물수지 등의 공급량을 평가하거나 10분 단위 자동수위계측자료를 활용한 새로운 수위 탐지 알고리즘을 구축하는 연구가 있었으며, 농업용 저수지 수위 품질관리에 관한 연구는 많았으나, 농업용 수로부 수위의 품질관리 적용성 및 성능 평가에 관한 연구는 미비하였다.
국내 기관 중 한강홍수통제소와 국토해양부 한국건설기술원의 경우 자동 및 수동 보정 방법을 병행하여 수위자료 품질관리를 수행하고 있으며, 환경부의 경우 수질 TMS 업부무 편람(2018)에서 3시간 시간자료의 이동평균값, 한국농어촌공사(2018)는 선형보간, 이동평균값, 이전 및 다음값, 가장 가까운 값 등의 방법론을 적용하여 수위 품질관리를 하고 있다.
국외 기관 중 미국 환경보호청 (U. S. EPA, U. S. Environmental Protection Agency)은 Extreme value test, Rosner’s test, Walsh’s test, Discordance test를 이상치 탐지 방법론으로 추천하고 있으며, 미국 지질 조사국 (United States Geological Survey, USGS)은 자동화된 수문자료 품질관리 시스템을 생성하여 수문자료 계측 및 유량 계산 등을 수행 중이다(Kim et al., 2019). 국내⋅외 기관의 경우 대부분 수위 품질관리 절차 및 이상치 탐지에 대한 내용이 주를 이루었으며, 농업용 저수지 및 수로부 시점부를 대상으로 한 방법론의 개발 및 적용성 평가에 관한 연구는 미비한 실정이다.
본 연구에서는 수로부 자동수위계측시스템에서 발생하는 오류 유형에 대해 정의하고, 한국농어촌공사에서 관리하는 반산, 오봉, 구천1, 왕송 수로부를 대상으로 농업용 수로부 실시간 자동수위계측자료의 결측 및 이상치를 탐지 후 수동품질관리된 자료와 이상치를 보정하기 위한 각 필터기법(Gaussian filter, Savitzky-Golay filter, Hampel filter, Median filter) 간 RMSE, NSE를 비교⋅분석하여 적용성이 높은 기법을 도출하고, 적정 매개변수 범위를 도출하고자 한다.
Ⅱ. 재료 및 방법
본 연구에서는 수로부 자동수위자료계측기의 오류를 유형화하고, 연속 및 간단관개의 형태를 뚜렷하게 판단 가능한 한국농어촌공사의 반산, 오봉1, 구천1, 왕송 수로부 관개기간(2021. 04. 01 00:00∼2021. 09. 30 00:00) 10분 단위 수위계측 자료를 대상으로 결측치를 보정하였다. 또한 이상치 보정방안으로 Median, Gaussian, Savitzky-Golay, Hampel filter 기법으로 자동품질관리된 자료와 저수지 운영계획, 저수율 등을 고려하여 생성한 수동 품질관리 자료와의 RMSE, NSE 비교⋅분석을 통해 적용성이 높은 필터 기법을 도출하고, 기법의 최적 매개변수를 찾기 위해 매개변수 범위를 나누어 적정 매개변수 범위를 평가하였다. 본 연구의 전체 흐름은 Fig. 1과 같다.
Fig. 1 Flow chart of the study
1. 수로부 수위자료의 오류 유형
수로부 시점부의 자동수위계측기의 경우 농업용 저수지와 다르게 수초와 저수지 운영 방식, 강수량, 수로 내 토사의 퇴적 등에 영향을 크게 받아 오류가 더 빈번하게 발생하며, 오류의 종류 또한 다양하다. 국가수문자료 품질관리시스템 (7차)에서는 수문자료의 오류 유형을 단기간 이상치 발생, 단기간 결측 오류, 장기간 결측 오류로 구분하였으며, 단기간 이상치 발생의 경우 상세하게 수염모양 이상치 오류, 수위 급변 오류, 수위 불변 오류로 구분하였다. 오류 판단 기준의 경우 수염모양 이상치 오류에서는 수위데이터가 급변 (10 cm 이상)함과 동시에 수염모양의 형태를 띠는 경우로 판단하였으며, 수위 급변 오류에서는 수로 높이를 초과하거나 수위데이터가 급변 (10 cm 이상)한 경우로 판단하며, 수위가 불변하는 경우 관개기간(4∼10월) 내 24시간 동안 변하지 않는 경우로 판단하였다. 또한 단기간 및 장기간 결측 오류의 경우 각각 1일 이내 및 이상의 기간에 지속적으로 결측되는 경우로 구분하였다. Table 1과 Fig. 2에서는 오류 유형 및 기준을 나타내었다.
Table 1 Error type and criteria
Fig. 2 Error type
2. 대상 수로부 및 수위자료
본 연구는 한국농어촌공사의 관리 저수지의 수로부 시점부 중 수위데이터의 오⋅결측치가 시각적으로 두드러지며, 간단 및 연속관개의 형태를 명확히 파악 가능한 반산, 오봉1, 구천1, 왕송 수로부를 대상으로 하였다. Table 2에 각 수로부 시점부의 제원 및 관개방식을 나타내었다.
Table 2 Target channel in this study
본 연구에서는 자동수위계측기를 통해 입력된 수위자료의 결측치 및 이상치를 보정하였으며, 10분 단위 수위자료는 압력식 및 초음파 센서를 통해 계측되었다. 측정기간은 2021. 04. 01. 0:00∼2021. 9. 30. 23:50 이며, 개별 저수지당 수위 데이터는 총 26,352개이다.
3. 결측치 및 이상치 보정 방안
가. 결측치 보정 방안
결측치 보정 방안으로는 한국농어촌공사의 농업용 저수지 수위 품질관리에 기술된 선형보간법, 이동평균 값, 동일데이터 보간 시 이전 및 다음 값 등을 적용하여 결측 형태에 따라 보정하였다. 선형보간법은 수위 형태가 직선으로 가정이 가능한 경우 적용하는 방법으로 중앙에 위치한 값의 추정을 위해 양단의 값을 비례식으로 구성하여 적용하는 방법이다. 이동평균법은 자료의 양이 많으며, 규칙적인 패턴을 보이는 경우에 사용하는 방법으로 일정 구간의 이동평균을 계산하여 결측치를 추정하는 방법이다. 동일 데이터 보간 시 이전 및 다음값을 적용하는 방법은 장기간 및 단기간에 수위가 지속되는 형태에 용이하며, 수위계측기간 중 양 끝단 부분의 결측치가 존재하는 경우에 있어 적용하는 방법이다. Fig. 3는 수위 결측 데이터 오류형별 보정방법을 나타내었다.
Fig. 3 Calibration method by water level missing data error
나. 이상치 보정 방안
본 연구에서는 수로부 수위데이터 이상치 보정 방안으로 Gaussian, Savitzky-Golay, Hampel, Median filter를 적용하였다. 농업용 수로부의 특성상 토사 및 수초, 저수지 운영, 강우, 농업인의 인위적 조작 등에 크게 영향을 받으며, 수로부의 전반적인 거동에 관련된 상관인자를 파악하기 어려운 점이 있다. 또한 현재 설치⋅운영되고 있는 자동수위측정시스템의 방대한 데이터를 실시간으로 처리하기 위해서는 신속성이 보장되어야 한다. 본 연구에 적용한 필터 기법의 경우 매개변수가 적어 대단위 데이터를 신속하게 처리 가능하며, 타 기법에 비해 참값을 제거하지 않고 이상치를 제거하는 경우에 있어 우수한 측면이 있다 (Kim et al., 2021; Joo et al., 2022).
1) 시설제원 최대/최소 데이터 오류 보정
농업용 수로부 수위자료의 신뢰성을 제고하기 위해서는 각 수로부 시점부의 최대/최소 제원에 대해 그 값이 초과하지 않아야 한다. 농업용 수로부에 설치된 자동수위계측기의 경우 토사, 수초, 배터리 노후화로 인한 전력 부족, 통신 장애 등으로 인한 제원을 초과한 값이 발생하고 있다. 제원을 초과한 값에 대해서는 Table 2의 각 수로부 시설 제원에 해당하는 값으로 대체하여 보정하였다. 또한 농업용 저수지에 설치된 자동수위계측기와 달리 농업용 수로부에서는 비관개기 동안 수로 내 물 흐름이 존재하지 않아 0수위에 근접하는 경우가 빈번하게 발생하며, 이에 따라 음의 수위로 계측되는 오류 데이터가 발생한다. 음의 수위의 경우 시설 제원으로 판단할 수 없으며, 공급량 도출 시 과소하게 산정되는 점을 고려하여 Null값으로 간주하고 결측치 보정을 재수행하였다. Fig. 4, 5는 저수지 제원을 초과한 값의 보정을 도식화하였다.
Fig. 4 Facility specifications maximum water level data calibration
Fig. 5 Negative water level data calibration
2) Gaussian filter
Gaussian filter는 다양한 종류의 표면을 필터링하는 방법론이며, 정규분포에서 평균값으로 0으로 유도한 분포 함수를 활용하여 정규분포 또는 확률분포에 의해 생성되는 잡음을 제거한다. 가우시안 분포 함수는 중앙값과 거리별 이웃값들을 가중치로 감소시켜, 가중한 이웃의 평균값으로 대체시키며, 표준편차 값의 증가에 따라 좋은 성능을 보인다. 또한 알고리즘이 단순하며 결과가 견고하여 다양한 분야에 사용되고 있으며, 특히 영상 신호, 고주파 및 저주파 성분에 강한 필터 기법이다 (Deng et al., 1993; Young et al., 1995).
\(\begin{aligned}G(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}}\end{aligned}\) (1)
여기서, σ는 표준편차, μ는 평균을 의미하며, σ는 가중치의 역할을 하는 매개변수이다.
3) Savitzky-Golay filter
Savitzky-Golay filter는 윈도우 내의 신호 전체에 대해 n차 다항식에 최소 제곱을 적용한 후 다항식 곡선 내에서 계산된 중심점을 새로운 중심점으로 하여 일반화하는 방법론이다. 본 필터 기법은 변동성이 심한 등간격 시계열 자료를 전반적인 경향에 따라 평활화할 때 사용하는 기법으로 신호 처리 및 이미지 잡음 제거 분야에 주로 활용되고 있다 (Press et al., 1990; Schafer et al., 2011). 환경부의 수문자료 품질관리 기준에 따르면 변동성이 심한 수위자료에서 본 필터기법의 활용 가능성을 제시하였다 (Ministry of Environment, 2018).
4) Hampel filter
Hampel filter는 데이터 품질관리 검정방법의 하나인 3 sigma rule을 기반으로 하는 필터 기법으로서 보정 자료의 주변 이웃 크기와 이상치를 식별하는 표준편차 수를 매개변수로 이상치를 수정한다. 이웃 크기의 중앙값 계산 후 중앙값 절대편차를 사용하여 윈도우 중앙값에 대한 샘플 표준편차를 추정하고, 관측치가 3×표준편차와 윈도우 중앙값을 초과하는 값이 발생하게 되면 그 샘플을 중앙값으로 대체하는 방법이다 (Pearson, 2016). 본 필터 기법은 농업용 저수지의 수위 품질관리 시 적용성이 높게 평가된 바 있다 (Kim et al., 2021). Fig. 6은 Hampel filter 필터 기법의 이상치 보정 방법을 나타내었다.
Fig. 6 How to correct outliers from the Hampel filter
5) Median filter
Median filter는 비선형 디지털 필터 기술로서 기타 신호와 이미지 잡음 제거에 주로 사용되는 필터로서 이미지 프로세싱 중 이미지 고성능 잡음제거에 통상적으로 사용되는 기법이다. Median filter의 경우 표준편차를 이용하지 않고, 이웃크기 (Window size)에 따른 평균값을 사용하여 이상치를 수정하므로, 일할급수 및 단기급수에 따른 농업용 수로부 수위의 일회성 데이터를 제외하지 않으며, Hampel filter에 비해 평활화 정도가 낮은 이점이 있다.
\(\begin{aligned}\left[\begin{array}{c}x_{s-k} \\ \vdots \\ x_{s-1} \\ x_{s} \\ x_{s+1} \\ \vdots \\ x_{s+k}\end{array}\right]=\left[\begin{array}{c}b_{0}+b_{1}\left(t_{s}-k \Delta t\right)+b_{2}\left(t_{s}-k \Delta t\right)^{2}+\cdots+b_{n}\left(t_{s}-k \Delta t\right)^{n} \\ \vdots \\ b_{0}+b_{1}\left(t_{s}-1 \Delta t\right)+b_{2}\left(t_{s}-1 \Delta t\right)^{2}+\cdots+b_{n}\left(t_{s}-1 \Delta t\right)^{n} \\ b_{0}+b_{1}\left(t_{s}-0 \Delta t\right)+b_{2}\left(t_{s}-0 \Delta t\right)^{2}+\cdots+b_{n}\left(t_{s}-0 \Delta t\right)^{n} \\ b_{0}+b_{1}\left(t_{s}+1 \Delta t\right)+b_{2}\left(t_{s}+1 \Delta t\right)^{2}+\cdots+b_{n}\left(t_{s}+1 \Delta t\right)^{n} \\ \vdots \\ b_{0}+b_{1}\left(t_{s}+k \Delta t\right)+b_{2}\left(t_{s}+k \Delta t\right)^{2}+\cdots+b_{n}\left(t_{s}+k \Delta t\right)^{n}\end{array}\right]=\left[\begin{array}{c}a_{0}+a_{1}(-k)+a_{2}(-k)^{2}+\cdots+a_{n}(-k)^{n} \\ \vdots \\ a_{0}+a_{1}(-1)+a_{2}(-1)^{2}+\cdots+a_{n}(-1)^{n} \\ a_{0}+a_{1}(0)+a_{2}(0)^{2}+\cdots+a_{n}(0)^{n} \\ a_{0}+a_{1}(1)+a_{2}(1)^{2}+\cdots+a_{n}(1)^{n} \\ \vdots \\ a_{0}+a_{1}(k)+a_{2}(k)^{2}+\cdots+a_{n}(k)^{n}\end{array}\right]\end{aligned}\) (2)
y = medfilt1(x)
y = medfilt1(x, n)
y = medfilt1(x, n, , dim)
y = medfilt1(,nanflag, padding) (3)
여기서, y=medfilt1(x)는 차수가 3인 1차원 중앙값 필터를 입력 벡터 x에 적용하고 끝점을 벗어난 신호를 0으로 간주한다. y=medfilt(x, n)은 차수가 n인 1차원 중앙값 필터를 x에 적용하여 n값이 홀수 또는 짝수인 경우 중앙값을 달리하여 계산한다. y=medfilt1(x, n, [], dim)은 필터가 동작하는 차원 dim을 지정하여 반환한다. y=medfilt1(,nanflag, padding)은 구문의 입력 인수 중 하나를 사용하여 각 세그먼트에서 Nan 값이 처리되는 방식을 지정하고 신호 경계에서 수행되는 필터적용 유형인 Padding을 지정하여 끝점을 필터링한다 (MathWorks, 2023).
4. 적용성 평가
본 연구에서는 적용성 평가 방안으로 관개기간의 대상 수로부의 오류 유형을 파악한 후 저수지 운영계획, 저수율 등을 고려하여 생성한 수동 품질관리 자료와 각 필터기법별로 자동품질관리된 수위자료와의 RMSE, NSE를 비교⋅분석하고, 적용성이 높게 평가된 필터기법의 매개변수 범위를 나누어 적정 매개변수범위를 평가하였다. 특히, RMSE, NSE 비교⋅분석단계에서는 저수지와는 달리 수위변화 단위가 작아 RMSE, NSE 차가 지나치게 적은 부분을 고려하여 오류 데이터 구간을 추출하여 비교⋅분석하였다. 이와 동시에 품질관리 그래프를 통해 오류 구간별 오류형태 및 보정결과를 비교⋅ 분석하였다. 농업용 수로부 수위 자료의 경우 많은 개소수 및 유지관리 문제 등 검증자료 생성에 한계가 있어 수동품질관리된 자료를 검증자료로 활용하였지만, 수동 품질관리된 자료의 경우 개인의 주관적인 판단의 영향이 있으므로 불확실성을 내포하고 있다. Fig. 7은 적용성 평가 과정을 나타내었다.
Fig. 7 Applicability evaluation process
Ⅲ. 결과 및 고찰
1. 필터링 기법별 적용성 평가
Table 3는 대상 수로부의 자동수위계측시스템을 통해 입력된 원시 자료의 오류 통계이다. 반산, 오봉1, 왕송 수로부의 경우 간헐적인 단기 결측 오류와 수위 급변 오류가 주요하게 발생하였으며, 총 오류 데이터가 약 300∼600개로 총 데이터 대비 1.2∼2.5%의 오류가 나타났다. 구천1 수로부의 경우 장⋅단기 결측 오류, 수위 급변 오류, 수위 불변 오류가 빈번히 발생하였으며, 총 데이터 대비 27.2%의 오류가 나타났다. 특히, 9. 02 08:10∼9. 10 06:00 기간에 수염 모양 이상치 오류가 발생하였으며, 이는 토사 및 수초 등의 영향이 원인이라고 판단된다. 수염 모양 이상치 오류의 경우 타 오류에 비해 짧은 주기에 큰 폭으로 발생하여 필터 기법으로 적용성을 판단하기에는 한계가 있는 오류형태이다.
Table 3 Statistics by Error type of target channel
Table 4는 총 시계열 데이터와 오류데이터의 필터기법별 RMSE, NSE 통계치이다. 총 시계열 데이터 통계치의 경우, RMSE 값에서는 필터기법 간의 차이가 0∼0.005 m 범위로 근소하였으며, NSE 값은 모든 수로부에서 Median filter의 값이 가장 높게 나타났다. 오류데이터의 RMSE 값의 경우, 반산, 오봉1 수로부에서는 Median filter 값이 0.074 m, 0.003 m 로 구천1 수로부에서는 Gaussian filter 값이 0.299 m, 왕송 수로부에서는 Savitzky-Golay filter가 0.520 m로 가장 신뢰성이 높게 나타났다. 오류데이터의 NSE 통계치의 경우, 오차의 정도를 보는 RMSE 통계치와 다르게 관측값과 예측값의 정확도와 일치도를 보는 특성에 의해 음의 값이 도출되었으며, 적용성을 평가하기에는 한계가 있는 것으로 판단하였다.
Table 4 RMSE, NSE statistics by filter technique
Figs. 8∼11에서는 대상 수로부의 결측치가 보정된 원시데이터와 수동품질관리 데이터, 필터기법별 수위 품질관리 결과를 도식화하였다. 반산 수로부에서는 간단 및 연속관개가 혼합되어 있으며, 오봉1 수로부는 간단관개, 구천1, 왕송 수로부는 연속관개의 공급방식이 나타나고 있다. 반산수로부의 경우 Gaussian filter에서 선형보간 형태를 보이며, 전체적인 평활화 정도가 크게 나타나고 있다. Savitzky-Golay filter에서는 Gaussian filter에 비해 잘 보정하였지만, 4. 21 00:00∼7.04 00:00 기간을 확대하면 간단관개 구간에서 선형적인 특징에 의해 오류를 생성하거나 평활화하고 있다. Hampel filter에서는 간단관개 구간에서 평활화가 많이 되었으며, 이에 따라 새로운 오류 데이터를 생성하는 경우가 발생하였다. 이는 Hampel filter가 가지고 있는 매개변수인 3σ rule로 인해 원시 자료를 과다하게 보정한 것으로 판단된다. Median filter의 경우 타 필터에 비해 원시데이터를 지나치게 보정하는 경우가 적었으며, 간단관개 구간에서 그 형태를 유지하여 보정하였다. 오봉1 수로부는 반산 수로부와 같이 Median filter가 타 필터기법에 비해 적용성이 가장 높았지만, 4월 중순 통수시험 및 5. 18 00:00, 6. 02 00:00 기간과 같이 참값이라 판단되는 구간을 평활화시켰다. 또한 연속관개 형태의 구천1과 왕송 수로부에서도 반산 수로부와 같이 Savitzky-Golay, Gaussian, Hampel filter 보정 결과에서 선형성에 의해 오류 생성 및 과도하게 평활화하였으며, Median filter의 적용성이 가장 높은 것으로 판단되었다.
Fig. 8 Correction result of Basan by filter method
Fig. 9 Correction result of OhBong1 by filter method
Fig. 10 Correction result of GuCheon1 by filter method
Fig. 11 Correction result of WangSong by filter method
RMSE, NSE 통계치와 수위 품질관리된 그래프의 개형을 종합하여 보았을 때, 반산, 오봉1 수로부의 경우에서는 Median filter에서 적용성이 가장 높은 것으로 판단된다. 구천1, 왕송 수로부의 경우 Gaussian, Savitzky-Golay filter에서 RMSE 값의 신뢰성이 높게 나타났다. 하지만 각 필터기법의 그래프 개형에서 선형적인 특징에 의해 오류가 생성되는 점을 고려하면 Median filter에서 RMSE 값이 0.336 m, 0.588 m로 가장 신뢰성이 높게 나타나 적용성이 높은 것으로 판단되었다.
2. 적용성이 높은 필터 기법의 최적 매개변수 범위
적용성이 가장 높은 필터기법으로 Median filter가 도출되었으며, 해당 Filter는 Window size가 단일 매개변수인 필터이다. 최적 매개변수 도출을 위해 경험적으로 적용하고 있는 Window size의 간격을 좌우 160min (전후 16개)을 기준으로 120min (전후 12개), 240min (전후 24개), 360min (전후 36개), 480min (전후 48개)로 나누어 평가하였다. Table 5는 총 시계열 데이터와 오류데이터의 Window size에 따른 RMSE, NSE 통계치이다. 총 시계열 데이터 통계치의 경우, RMSE는 매개변수별 차이가 0.001∼0.002 m로 근소하였으며, NSE는 120∼240min 구간에서 신뢰성이 높게 나타났다. 오류 데이터 통계치의 경우, RMSE는 240 min에서 반산 0.034 m, 오봉1 0.000 m, 120 min에서 구천1 0.215 m, 왕송 0.319 m로 가장 신뢰성이 높게 나타났다. 특히, 오봉1의 경우 이상치 오류데이터의 표본 수가 77(0.3%)개로 적어 신뢰성이 높게 나타난 것으로 판단된다.
Table 5 RMSE, NSE statistics by Window size
Figs. 12∼14에서는 대상 수로부의 결측치가 보정된 원시 데이터와 수동품질관리 데이터, 매개변수별 수위 품질관리 결과를 도식화하였다. 반산 수로부의 경우 360 min, 480 min에서는 통수시험 구간과 05. 11 00:00∼05. 12 00:00 구간의 원본데이터를 평활화하여 수위거동이 상이하게 나타나 적용성이 낮은 것으로 판단된다. 120 min, 240 min에서는 수위거동이 비슷하게 나타났으며, 120 min에서는 오류가 남아있는 반면, 240 min에서는 평활화되는 양상을 보여 120∼240 min의 범위에서 최적 매개변수 범위를 도출 가능할 것으로 판단된다. 간단관개의 형태를 나타내는 오봉1 수로부도 반산 수로부와 같이 통수시험에서 최적 매개변수 범위를 판단하여 120∼240 min 구간에서 가장 적용성이 높은 것으로 나타났다. 하지만 연속관개 형태인 구천1, 왕송 수로부의 경우 통수시험이 뚜렷하지 않아 개별 구간으로 판단하였으며, 120∼240 min 구간에서 가장 적절한 것으로 나타났다. 그러나 구천1, 왕송 수로부에서는 매개변수를 조정하였음에도 보정되지 않는 구간이 존재하였으며, 이에 대해서는 급수 담당자에 의한 보정이 필요할 것으로 판단된다. RMSE, NSE 통계치와 수위 품질 관리된 그래프의 개형을 종합하여 보았을 때, 전체 대상 수로부에서 120∼240 min 범위에서의 매개변수가 가장 적절한 것으로 판단되었다.
Fig. 12 Correction result of Basan by window size
Fig. 13 Correction result of OhBong1 by window size
Fig. 14 Correction result of GuCheon1 by window size
Fig. 15 Correction result of WangSong by window size
Ⅳ. 결론
본 연구에서는 한국농어촌공사의 수로부 자동수위계측기의 오류를 유형화하고, 10분 단위 자동수위계측기 수위자료를 대상으로 Median, Gaussian, Savitzky-Golay, Hampel filter 기법의 적용성을 RMSE, NSE 및 품질관리 그래프를 통해 평가하였으며, 적용성이 높은 필터기법의 최적 매개변수 범위를 도출하였다. 적용성 평가를 위해 저수지 운영계획, 저수율 등을 고려하여 수동 품질관리한 자료를 생성하였으며, 필터기법간 RMSE, NSE 값과 품질관리된 그래프의 오류형태 및 구간별 보정 결과를 비교ㆍ분석하였다. 또한 적용성이 높은 필터 기법의 최적 매개변수 구간을 도출하기 위해 Window size의 간격을 경험적으로 적용하고 있는 좌우 160 min (전후 16개)을 기준으로 120 min (전후 12개), 240 min (전후 24개), 360 min (전후 36개), 480 min (전후 48개)으로 나누어 RMSE, NSE와 품질관리 보정 결과 그래프를 비교ㆍ분석하였다.
수로부 수위 자료의 오류 유형별 통계치 결과 반산, 오봉1, 왕송에서 수위 급변 오류와 단기결측이 구천1에서는 수위급변 오류, 수염모양 오류와 장ㆍ단기 결측이 발생하였다. 각 필터기법별 보정 자료와 수동 품질관리 자료의 RMSE, NSE, 품질관리 그래프를 비교ㆍ분석한 결과, 총 시계열 데이터에 대해 RMSE 차이는 근소하였으며, NSE는 Median filter가 높은 것으로 나타났다. 오류데이터의 RMSE는 반산, 오봉1에서 각각 0.074 m, 0.003 m로 Median filter가 신뢰성이 높은 반면, 구천1에서 Gaussian filter 0.299 m, 왕송에서 Savitzky-Golay filter 0.520 m로 신뢰성이 높게 나타났다. 품질관리 보정 그래프 비교ㆍ분석 결과, Gaussian filter에서는 선형성으로 인한 평활화가 많이 되었으며, Savitzky-Golay filter에서는 수위거동을 어느 정도 재현하였지만, 선형성으로 인해 새로운 오류 데이터가 생성되거나 평활화가 되는 양상을 보였다. Hampel filter의 경우 매개변수인 3σ rule에 의해 평활화 많이 되어 참 값을 왜곡하였으나, Median filter에서는 수위거동을 가장 근접하게 재현하여 적용성이 높게 평가되었다. 이를 종합하면 Median filter에서의 적용성이 가장 높은 것으로 판단되었다. Median filter의 매개변수별로 RMSE, NSE, 품질관리 그래프를 비교ㆍ분석한 결과 총 시계열 데이터 통계치의 경우 RMSE 차이는 근소하였으며, NSE는 120min∼240min 범위에서 가장 신뢰성이 높게 나타났다. 오류 데이터 통계치의 경우, RMSE는 240min에서 반산 0.034 m, 오봉1 0.000 m, 120min에서 구천1 0.215 m, 왕송 0.319 m로 가장 신뢰성이 높게 나타났다. 이를 종합하면 120min∼240min에서 최적 매개변수 도출이 가능하였으며, 특히 간단관개에서는 통수시험 기간, 연속 관개에서는 개별구간으로 최적 매개변수 범위를 도출할 수 있는 것으로 판단된다.
하지만 농업용 저수지와는 달리 수로부 자동수위계측기의 많은 개소수 및 유지관리 문제 등으로 인하여 검증자료 생성의 어려움이 있어 정량적인 검증에는 한계가 있으며, 수동 품질관리 자료의 경우 개인의 주관적인 판단과 숙련도에 의해 자료의 질이 상이하여 불확실성을 내포하고 있다. 또한 수염모양 오류와 장기 결측은 자동보정이 되지 않기 때문에 자동 품질관리 후 급수 담당자의 수동품질관리가 필수적이다. 이와 더불어 추후 자동수위계측기 개선 및 자동유속계측자료, 검증자료 생성을 위한 이중화 설비 등으로 수로부 수위 품질관리 성능을 향상시킬 수 있을 것으로 판단된다.
농업용 수로부 수위 자료의 보정에 있어 적용성이 높은 기법인 Median filter는 시간 및 인력을 절감할 수 있으며, 최적 매개변수 범위 도출을 통해 신뢰성을 확보할 수 있다. 통합물 관리 정책 하 농업용수 체계적 모니터링 강화, 시설 운영 효율화 등 공급계획 수립에 있어 정량적인 공급량 평가에 활용 가능하며, 추후 유속계측자료, 수위-유속 관계식 등을 활용한 추가적인 연구가 필요할 것으로 사료된다.
감사의 글
본 연구는 한국농어촌공사 농어촌연구원의 지원을 받아 수행된 “농업용수 수로데이터 품질관리 고도화 연구”의 일환으로 수행되었음.
References
- Bang, J. H, J. Y. Choi, Y. P. Yoon, C. J. Oh, S. J. Mang, S. J. Bae, M. W. Jang, T. E, Jang, and M. S. Park, 2021, Assessing Irrigation Water Supply from Agricultural Reservoir Using Automatic Water Level Data of Irrigation Canal. Journal of the Korean Society of Agricultural Engineers 63(1): 27-35. (in Korean). doi: 10.5389/KSAE.2021.63.1.027.
- Bang, J. H., Y. H. Lee, S. Y. Jeong, and J. Y. Choi, 2017. A study of outlier detection on time series of water-level in agricultural reservoir. In Proceedings of the Korean Society of Agricultural Engineers Coneference 60 (in Korean). Environmental Protection Agency, Athens, GA.
- Choi, G. H., K. H. Kim, S. Y. Lim, S. H. Yoo, E. H. Choi, and M. S. Kang, 2020, Quality Control on Water-Level in Irrigation Canal using Filter Techniques, In Proceedings of the Korean Society of Agricultural Engineers Conference 107 (in Korean).
- Deng, Guang, and L. W. Cahill, 1993, An adaptive Gaussian filter for noise reduction and edge detection. IEEE Conference Record Nuclear Science Symposium and Medical Imaging Conference, IEEE.
- Joo, D. H, R. Na, H. Y. Kim, G. H. Choi, J. H. Kwon, and S. H. Yoo, 2022, Analysis of the Optimal Window Size of Hampel Filter for Calibration of Real-time Water Level in Agricultural Reservoirs. Journal of the Korean Society of Agricultural Engineers 64(3): 9-24. (in Korean). doi: 10.5389/KSAE.2022.64.3.009.
- Joo, D. H, S. H. Lee, G. H. Choi, S. H. Yoo, R. Na, H. Y. Kim, C. J. Oh, and K. S. Yoon, 2023, Development of Methodology for Measuring Water Level in Agricultural Water Reservoir through Deep Learning anlaysis of CCTV Images. Journal of the Korean Society of Agricultural Engineers 65(1): 15-26. (in Korean). doi: 10.5389/KSAE.2023.65.1.015.
- Kim, K. H, G. H. Choi, H. M. Jung, D. H. Joo, R. Na, H. Y. Kim, S. H. Yoo, E. H. Choi, J. H. Kwon, and S. H. Yoo, 2021, DQuality Control on Water-level Data in Agricultural Reservoirs Considering Filtering Methods. Journal of the Korean Society of Agricultural Engineers 63(5): 83-93. (in Korean). doi: 10.5389/KSAE.2021.63.5.083.
- Kim, K. H, M. G. Kim, P. R. Yoon, J. H. Bang, W. H. Myoung, J. Y. Choi, and G. H. Choi, 2022, Application of CCTV Image and Semantic Segmentation Model for Water Level Estimation of Irrigation Channel. Journal of the Korean Society of Agricultural Engineers 64(3): 63-73. (in Korean). doi: 10.5389/KSAE.2022.64.3.063.
- Kim, M. G., J. Y. Choi, J. H. Bang, and J. J. Lee, 2019, Outlier Detection of Real-Time Reservoir Water Level Data Using Threshold Model and Artificial Neural Network Model, Journal of the Korean Society of Agricultural Engineers 61(1): 107-120. (in Korean). doi: 10.5389/KSAE.2019.61.1.107.
- Korea Rural Community Corporation (KRC). 2018. Development of technology for securing reliability of water level measurement data and estimating water supply. (in Korean).
- Korea Rural Community Corporation (KRC). 2019. A Study on the Establishment of Quality Control Standards for Hydrologic Data in Agricultural Reservoirs and Waterways. (in Korean).
- Korea Rural Community Corporation (KRC). 2020. Advanced Quality Management of Water-Level in Canal Agricultural water (in Korean).
- Korea Rural Community Corporation (KRC). 2020. Advanced Quality Management Study of Reservoir Water Level Measurement Data. (in Korean).
- Lee, J. N, J. K. No, M. S. Kang, and H. J. Shin, 2020, Evaluation of the Irrigation Water Supply of Agricultural Reservoir Based on Measurement Information from Irrigation Canal. Journal of the Korean Society of Agricultural Engineers 62(6): 63-72. (in Korean). doi: 10.5389/KSAE.2020.62.6.063.
- MathWorks. https://kr.mathworks.com.
- Ministry of Environment. 2018. Environment and maintenance and management of hydrologic research facilities and standards for quality management of hydrologic data. (in Korean).
- Ministry of Land, Infrastructure and Transport, 2018. Establishment and operation of the national hydrologic data quality management system (7th). (in Korean).
- Ministry of Land, Transport and Maritime Affairs(MLTMA), 2011. Water Plan 2020. 200 Sintanjin-ro, Daedoeck-gu, Deajeon, Korea: Korea Water Resources Corporation (in Korean).
- Press, William H., and Saul A. Teukolsky, 1990, Savitzky-Golay smoothing filters. Computers in Physics, 4(6): 669-672. doi: 10.1063/1.4822961.
- Ryu, J. N, H. S. Kang, J. Y. Choi, and J. Y. Choi, 2020, Agricultural water management policy for desirable integrated water management. Korea Environment Institute Focus. (in Korean).
- Schafer, Ronald W, 2011, What is a Savitzky-Golay filter?[lecture notes]. IEEE Signal processing magazine. 28(4): 111-117. doi: 10.1109/MSP.2011.941097.
- Young, Ian T., and Lucas J. Van Vliet, 1995, Recursive implementation of the Gaussian filter. Signal processing, 44(2): 139-151. doi: 10.1016/0165-1684(95)00020-E.