Development of Quality Control Method for Visibility Data Based on the Characteristics of Visibility Data

시정계 자료 특성을 고려한 시정계 자료 품질검사 기법 개발

Abstract

In this study, a decision tree type of quality control (QC) method was developed to improve the temporal-spatial representation and accuracy of the visibility data being operated by the Korea Meteorological Administration (KMA). The quality of the developed QC method was evaluated through the application to the 3 years (2016.03-2019.02) of 290 stations visibility data. For qualitative and quantitative verification of the developed QC method, visibility and naked-eye data provided by the KMA and QC method of the Norwegian Meteorological Institute (NMI) were used. Firstly, if the sum of missing and abnormal data exceeds 10% of the total data, the corresponding point was removed. In the 2nd step, a temporal continuity test was performed under the assumption that the visibility changes continuously in time. In this process, the threshold was dynamically set considering the different temporal variability depending on the visibility. In the 3rd step, the spatial continuity test was performed under the assumption of spatial continuity for visibility. Finally, the 10-minute visibility data was calculated using weighted average method, considering that the accuracy of the visibility meter was inversely proportional to the visibility. As results, about 10% of the data were removed in the first step due to the large temporal-spatial variability of visibility. In addition, because the spatial variability was significant, especially around the fog area, the 3rd step was not applied. Through the quantitative verification results, it suggested that the QC method developed in this study can be used as a QC tool for visibility data.

본 연구에서는 현재 기상청에서 운용중인 시정계 자료의 시공간대표성 및 정확도를 개선하기 위해, 다단계 결정나무 품질검사(decision tree QC) 방법을 개발하고 3년간(2016.03-2019.02) 시정계 자료에 적용하였다. 개발된 QC 방법의 정성적 및 정량적 검증을 위해 기상청에서 제공하는 시정계 자료 및 목측 자료 그리고 노르웨이 기상청의 QC 방법을 사용하였다. 1단계에서는 물리적 범위 초과 및 결측 검사를 수행하여 결측 및 비정상 자료의 합이 총 자료의 10%를 초과하면 해당 지점은 다음 QC에서 제거하였다. 2단계에서는 시정이 시간적으로 연속성 있게 변한다는 가정하에 시간적 연속성 검사를 수행하였고, 임계값을 동적으로 설정하였다. 3단계에서는 시정이 공간적으로 연속성 있게 변한다는 가정하에 공간적 연속성 검사를 수행하였다. 4단계에서는 시정계의 정확도가 시정에 반비례한 점을 고려한 가중평균법으로 10분 주기 시정자료를 산출하였다. 시정계가 처음으로 도입 운용되는 점으로 인해 전체 시정계 자료 중 약 10% 정도가 1단계에서 제거되었다. 또한 안개발생 주변 지역에서는 시정의 공간적 변동성이 연속성 검사를 수행할 수 없을 정도로 매우 크기 때문에 3단계는 적용하지 않았다. 본 연구에서 개발한 QC 방법을 정성적, 정량적 검증한 결과, 초기 자료에 포함된 이상치들이 상당부분 제거되고 시정의 순간적 변동성이 완화됨을 보였다. 또한 목측자료 및 노르웨이 기상청 QC 방법을 이용한 간접적 검증 결과 본 연구에서 개발한 QC 방법이 시정계 자료 품질검사기법으로 사용이 가능함을 제시하였다.

요약

본 연구에서는 현재 기상청에서 운용중인 시정계 자료의 시공간대표성 및 정확도를 개선하기 위해, 다단계 결정나무 품질검사(decision tree QC) 방법을 개발하고 3년간(2016.03-2019.02) 시정계 자료에 적용하였다. 개발된 QC 방법의 정성적 및 정량적 검증을 위해 기상청에서 제공하는 시정계 자료 및 목측 자료 그리고 노르웨이 기상청의 QC 방법을 사용하였다. 1단계에서는 물리적 범위 초과 및 결측 검사를 수행하여 결측 및 비정상 자료의 합이 총 자료의 10%를 초과하면 해당 지점은 다음 QC에서 제거하였다. 2단계에서는 시정이 시간적으로 연속성 있게 변한다는 가정하에 시간적 연속성 검사를 수행하였고, 임계값을 동적으로 설정하였다. 3단계에서는 시정이 공간적으로 연속성 있게 변한다는 가정하에 공간적 연속성 검사를 수행하였다. 4단계에서는시정계의 정확도가 시정에 반비례한 점을 고려한 가중평균법으로 10분 주기 시정자료를 산출하였다. 시정계가 처음으로 도입 운용되는 점으로 인해 전체 시정계 자료 중 약 10% 정도가 1단계에서 제거되었다. 또한 안개 발생 주변 지역에서는 시정의 공간적 변동성이 연속성 검사를 수행할 수 없을 정도로 매우 크기 때문에 3단계는 적용하지 않았다. 본 연구에서 개발한 QC 방법을 정성적, 정량적 검증한 결과, 초기 자료에 포함된 이상치들이 상당부분 제거되고 시정의 순간적 변동성이 완화됨을 보였다. 또한 목측자료 및 노르웨이 기상청 QC 방법을 이용한 간접적 검증 결과 본 연구에서 개발한 QC 방법이 시정계 자료 품질검사기법으로 사용이 가능함을 제시하였다.

1. 서론

폭설, 폭우, 강풍, 안개 등은 자동차, 선박, 항공 등 다양한 교통시스템의 운행에 막대한 피해를 준다. 이 중에서도 대기 중에 떠 있는 작은 수적들이나 과냉각 수적들에 의해 수평시정이 1 km 미만인 현상을 안개라고 한다(Jhun et al., 1998; Lee et al., 2010; Lee and Suh, 2011; NOAA, 2017; Shim and Lee, 2017). 일반적으로 안개는 종관 시스템, 국지 기상 및 지형적 특성의 비선형적 상호작용에 의해 생성 및 소멸되기 때문에 생성과정 및 지리적 위치에 따라 강도, 공간규모 및 지속시간이 매우 상이한 특성을 보인다(Jhun et al., 1998; Gultepe et al., 2007; Tardif and Rasmussen, 2007; Lee and Ahn, 2013; Lee and Suh, 2018). 한반도는 계절에 따라 지배 종관 시스템의 특성이 다르기 때문에 안개의 발생 특성이 계절마다 차이가 크다. 또한 삼면이 바다로 되어 있고, 지형과 해안선이 복잡하여 안개의 발생 규모, 강도 및 빈도가 지리적 위치에 따라 매우 다양하다(Heo and Ha, 2004; Leem et al., 2005; Lee et al., 2010).

기상청에서는 1972년부터 2017년 1월까지 22개의 지점에서 목측을 통해 안개를 관측하였다(KMA, 2018). 목측 자료는 장기간 지속적으로 관측이 이루어진 장점이 있으나, 우리나라에서 발생하는 다양한 안개들의 특성을 분석하기에는 관측 지점 수가 충분하지 않은 문제점이 있다. 또한 목측의 경우 관측자가 갖는 주관성 외에도, 야간 또는 해안가와 같은 장소에서는 시정을 추정할 수 있는 목표물이 부족하여 이를 통해 시정을 추정하는데 한계가 있다. 이러한 문제점을 해소하기 위해 기상청은 2009년부터 전방산란식(forward scattering)의 시정계를 도입하기 시작하였으며 2018년에는 약 290여 대를 설치하여 매분 실시간 관측자료를 생산하고 있다 (KMA, 2018). 시정계는 주/야 및 지리적 위치에 관계없이 시정을 객관적으로 관측할 수 있는 장점이 있다. 하지만 시정계도 대부분의 자동측정 장비와 원격탐사 장비들과 같이 결측이 많고 정확성과 공간대표성에 한계를 가지는 단점이 있다(Lee and Suh, 2018). 따라서 현재 사용하고 있는 시정자료에는 결측, 기기 오작동, 국지적 안개 또는 대기오염 등에 의해 시정값이 제공되지 않거나 그 지역의 시정을 대표하기 어려운 값이 포함될 수 있다. 또한 시정계가 갖는 공간 대표성 한계 외에도 전 방산란식 시정계의 경우 특정 각도(20~50°)에서 소산계수를 측정하기 때문에 실제 시정과 유관한 소산(산란+ 흡수)계수를 얻을 수 없는 문제점도 있다. 일반적으로 관측 값에는 참값과 계통적(systematic error) 및 무작위적(statistical error) 오차가 포함되어 있다. 이러한 오류의 원인으로는 장비 이상, 통신 이상 등 다양한 이유가 있지만, 측정 장비의 한계인 시·공간적 대표성도 하나의 원인이 된다. 품질검사란 관측 자료에 포함된 이러한 다양한 유형의 비정상적인 값을 가능한 범위 내에서 제거하거나 오류를 보정하여 자료의 품질을 높이는 일련의 과정을 의미한다(WMO, 2014).

전방산란식 시정계에서 시정은 소산계수의 함수로 표현되는데 소산계수의 측정 오차는 주로 산란계수(α)의 오차에 의한다. 이때, 산란계수의 측정오차(Δα)가 시정에 관계없이 같을 경우 시정이 좋을수록 산란계수의 오차에 민감하게 반응하여 시정오차(ΔVis)가 커지게 된다. 현재 기상청에서 운용중인 전방산란식 시정계는 제작회사 및 모델에 따라 측정범위 및 정확도가 상이하지만, 앞에서 설명한 바와 같이 시정계의 정확도는 시정에 반비례하여 시정이 1500 m 이상에서는 오차가 약 20%, 600 ~ 1500 m 에서는 약 10% 그리고 600 m 이하에서는 약 50 m 수준이다(WMO, 2008). 목측을 참으로 가정하고 기상청에서 운용중인 시정계와 목측 자료를 비교한 연구에 의하면, 시정계는 목측에서 관측한 안개를 대부분 잘 관측하는 것으로 나타났다(Lee and Suh, 2018). 하지만 시정계는 지리적 위치 및 시정 값에 관계없이 목측과 상이하게 측정하는 경우가 있으며, 두 자료 사이의 상관성은 지리적 위치 및 시정 값에 따라 상이하게 나타났다. 특히, 관측 목표물들이 제한적인 일부 해안 및 섬 지역에서는 목측 값 범위보다 시정계 측정값 범위가 최대 약 6배로 나타났다. Kim et al. (2018)과 Han et al. (2019)은 위성영상과 시정계 시정자료의 시각적 분석을 통해 위성 자료에서 안개가 명확히 발생하였음에도 불구하고 시정계의 시정은 1 km 이상이거나, 위성영상에서 안개가 탐지되지 않았음에도 시정계 시정이 1 km 미만을 나타내는 경우가 적지 않음을 보였다. 이처럼 시정계 자료를 활용한 연구들에서 시정계 자료의 품질에 문제가 있음을 제시하고 있다.

우량계, 풍향풍속계, 온도계로 관측된 자료들에 대해서는 국내 뿐만 아니라 중국과 노르웨이 등 국외에서도 관측자료의 품질검사 연구가 활발히 진행되고 있지만, 시정계의 경우는 비교적 최근에 관측을 시작한 장비로 품질검사 연구사례가 많지 않다(Venjen et al., 2002; Feng et al., 2004; Hong et al., 2007; Lee et al., 2010; Kimet al., 2012).

현대 문명에서 안개 관측 및 예측이 갖는 중요성, 기상청에서 2017년 1월부터 목측을 중단하고 시정계만을 운용하고 있는 점, 이렇게 새롭게 운용중인 시정계 자료의 품질에 문제가 있는 점, 그리고 전세계적으로 통용되는 시정계 품질검사 방법이 없는 점 등을 고려할 때 시정계 자료에 대한 적절한 품질검사 기법의 개발이 필요하다.

따라서 본 연구에서는 현재 기상청에서 운용중인 290여개 지점의 시정계 자료의 시·공간 대표성을 향상시키기 위하여 다단계 결정나무 품질검사 기법을 개발하고자 하였다. 2절에서는 본 연구에서 사용된 시정계 자료 특성 및 품질검사 기법에 대해 소개하고, 3절에서는 시정계 관측 현황 및 다단계 결정나무 품질검사 적용 결과를 소개한다. 4절에서는 본 연구에서 도출된 결론을 제시한다.

2. 자료 및 연구 방법

1) 자료

본 연구에서는 시정계 측정 시정자료에 대한 품질검사 기법 개발을 위해 기상청에서 제공하는 1분 주기 초기자료를 이용하였다. 기상청에서는 2009년부터 시정계를 도입하여 운용하고 있으나 본 연구에서는 관측 값이 안정적이고 지점 수가 230개 이상인 2016년 3월 1일부터 2019년 2월 28일까지 약 3년간을 품질검사 기간으로 설정하였고, 기상청의 22개의 목측 시정 자료와 현재 운용 중인 약 290여개 지점의 시정계 자료를 이용하였다. 기상청에서 제공하는 목측 시정 자료는 품질검사 기법의 정성 및 정량적 검증에 사용하였고, 총 22개의 목측 지점 중 10개월 정도 시정 자료가 결측 된 서산(129) 지점은 검증에서 제외하였다(Fig. 1).

Fig. 1. Spatial distribution of (a) visibility meters and (b) observation sites with naked eyes used for analysis.

기상청에서는 1분 평균 시정(단위: m), 10분 평균 시정(단위: m), 1분 순간 현천코드 값과 15분 평균 현천 코드 값을 제공한다. 시정 자료의 경우 대부분 최소 0 m부터 최대 50 km까지의 범위를 갖고 있으나, 일부 지점에서는 시정계 제작사 및 모델이 달라서 최댓값이 20 또는 30 km인 경우가 있다. 따라서 본 연구에서는 품질검사 진행 시 자료의 일관성을 위해 모든 지점의 최댓값을 20 km로 통일하였다. 기상청에서 운용중인 시정계는 송신부에서 방출된 빔이 송신부와 수신부사이의 공간(주로 100 cm³)을 통과하면서 발생한 전방산란을 측정하는 방식으로 적외에너지의 감쇠 정도를 시정(또는 기상 광학거리, MOR: MeteorologicalOptical Range)으로 환산하는 측정기기이다(WMO, 2016; Lee et al., 2019; Um, 2020). 따라서 시정계는 관측 주기가 1분이라 시간 분해능은 우수하지만 공간대표성에 한계를 갖고 있다.

품질검사의 객관적 수준은 기상청 제공 목측자료를 이용하여 평가하였다. 목측시정이 갖는 주관성, 주야간 및 관측소 환경에 따른 정확도 차 등의 문제점이 존재하기 때문에 시정에 대한 참값을 구할 수가 없어서 목측을 참값으로 가정하였다(Lee et al., 2019). 검증에 사용된 목측 시정 자료(단위: m)의 관측주기는 1시간이고 관측자료의 정밀도는 10 m이다. 목측의 경우, 2017년 이후로는 관측을 하지 않아 해당 기간 내(2016년 3월 ~ 2016년 12월) 자료만 검증에 사용하였다. 목측 시정 자료의 범위는 최소 0 m부터 최대 70 km까지이나 지점 및 관측자에 따라 최댓값은 차이가 있는 것으로 보고되고 있다(Hong, 1998). 또한 목측의 경우, 야간에는 주로 관측소 주변에 위치한 광원들을 이용하는데 이 때 관측자와 광원 사이의 거리를 명확하게 파악할 수 있는 장소에 위치하고 강도가 일정한 광원을 선택하는 것이 필요하다(KMA, 2011). 하지만 해안가와 같이 이러한 광원을 확보하기가 어려운 곳들이 있고, 관측자의 시력 및 관측소 주변의 휘도가 다양한 점, 다른 광원에 의한 간섭이 있을 수 있어서 관측의 정확도가 관측소 및 관측자에 따라 다를 수가 있다. 따라서, 낮과 밤에 시정을 관측하는 방법이 서로 달라 검증 진행 시 낮과 밤으로 나누어서 진행하였다(KMA, 2016).

2) 연구 방법

시정계와 같이 좁은 공간(수십 cm)에서의 산란 특성을 이용하여 측정한 값을 직경이 수 km 또는 그 이상 영역의 대푯값으로 사용할 경우 오류는 아니지만 공간대표성에 한계가 나타날 수밖에 없다. 또한 시정계 관측 자료의 경우, Fig. 2에서 제시한 것과 같이 1) 결측, 2) 전후 값들에 비해 비정상적으로 크거나 작은 값이 측정되는 점, 3) 시정이 매우 불규칙하게 변하는 점 등 크게 4가지 문제를 포함하고 있다. 이들 중 일부는 현장 시정이 순간적으로 변하여 측정될 수도 있으나, 본 연구에서는 이러한 값들을 이상치로 판단하여 제거하는 알고리즘을 개발하고자 한다. 이때 이상치를 판단하는 근거가 되는 시정의 시·공간적 연속성의 경우 기본적으로 기상조건과 지형에 따라 매우 다르기 때문에 품질 검사에 한계가 있다.

Fig. 2. Four abnormal cases in the visibility data. The abnormal cases are (a) missing data, (b) the dip case, (c) the spike case, and (d) the random variation case.

본 연구에서는 시정계 자료의 품질 검사에서 초기 자료가 갖는 시간 변동성을 최대한 고려하면서 비정상적인 값을 제거하기 위해, Fig. 3과 같이 4단계로 진행하였다. 품질검사 방법은 상황에 따라 단계별 임계값을 다르게 설정하여 크게 2가지 방법으로 개발하였다(Table 1). 실시간으로 관측되는 현업에서 자료를 품질검사하기 위해 과거 자료만 사용하는 방법(P)과 품질검사 수준을 높이기 위해 품질검사 대상자료를 기준으로 전후 관측 값을 사용하는 방법(B)을 개발하였다. 또한 앞에서 제시한 품질검사 방법과 함께 노르웨이식 품질검사 방법과 이를 수정한 방법을 적용하여 그 차이를 비교하였다 (Venjen et al., 2002).

 

Fig. 3. Flow chart of quality control method.

Table 1. Quality control methods according to the QC type and data usage

 

품질검사 1단계는 물리적 범위 초과 및 결측 검사를 하는 단계로 시정계 관측 값이 물리적으로 타당한 범위(0 ~ 20(또는 30) km)를 벗어나거나 결측 유무를 검사하였다. 이 때 각 월별로 비정상 시정 및 결측 자료의 합이 10% 이상인 지점은 추후 분석에서 제외하였다.

2단계는 시정의 시간적 연속성을 이용하여 이상치를 제거하는 단계로 연속적인 자료들의 평균으로부터 차이가 비정상적으로 큰 값을 이상치로 판단하였다. 이때 문제가 되는 것이 평균(mean) 및 표준편차(σ)를 계산하는 데 사용되는 자료 수와 임계값이다. 본 연구에서는 다양한 민감도 시험을 통해 사용 자료 수를 7개로 하고 임계값은 표준편차의 크기에 따라 동적으로 설정하였다. 즉, 시정의 평균이 작을수록 표준편차가 작은 점을 고려하여 평균 시정에 반비례하게 (2 ~ 6)×σ로 동적으로 임계값을 설정하였다. 결과적으로 품질검사를 하고자 하는 1분 시정이 7개 자료 평균으로부터 ±(2 ~ 6)×σ를 초과할 경우 이상치로 판단하여 제거하였다. 또한 시정계 자료에 내재된 결측을 고려하여 품질검사에 사용하는 1분 주기 시정자료 수(window size)를 7 ~ 15 개로 가변적으로 하였다. 사용 시정자료 중 결측 개수에 따라 사용 시정 자료를 늘려 최종 사용 시정 자료 수가 최소 7개 이상이 되도록 동적으로 설정하였다. 이때 품질검사를 진행하는 시정 자료를 기준으로 미래와 과거의 각 3분씩의 시정자료를 이용하는 경우(DWDT_B)에는 앞뒤로 각각 1분씩 범위를 늘리고, 과거 6분 자료로 설정한 경우(DWDT_P)에는 뒤로 2분씩 범위를 늘렸다.

본 연구에서 개발한 품질검사 수준을 노르웨이 기상청에서 사용하는 이상치 제거 방법을 통해 객관적으로 평가하고자 하였다. 노르웨이에서는 시정자료에 내재된 이상치를 제거하기 위해서 식 (1)을 이용하고 있다. 인접한 3개(i–1, i, i+1)의 자료를 이용하여 시간에 따른 시정의 변동률을 연속적으로 계산한 후 변동률이 주어진 임계값을 초과하면 이상치로 설정하였다(Venjen et al., 2002). 이상치 판단에 사용되는 임계값은 평가 시정을 포함한 시정 자료 7개의 평균과 표준편차를 이용하여 설정하였다. 노르웨이식 품질검사에서는 과거와 미래 값 모두 사용하는 경우(Nor_mod) 사용자료 수를 동적으로 주었고, 과거 값만 사용하는 경우(Nor_org)에는 사용자료 수를 7개로 고정하여 진행하는 두 개의 방법으로 나눠 진행하였다.

\(\left|\frac{x_{i}-x_{i-1}}{t_{i}-t_{i-1}}\right|+\left|\frac{x_{i+1}-x_{i}}{t_{i+1}-t_{i}}\right|>2 \sigma\)        (1)

x : Visibility meter [m]

t : Time [minute]

σ : Standard deviation

3단계에서는 시정의 공간적 연속성 검사 단계로 각 시정계마다 최근접 시정계 9 개를 설정한 후 9개 지점 시정 자료 중 최댓값과 최솟값을 이용하여 이상치를 제거하였다. 여기서 최근접 시정계 자료를 9개로 한 것은 국지적 안개 발생시 시정의 공간적 변동성이 큰 점을 고려하기 위함이다. 하지만 Fig. 1에서 보는 바와 같이 시정계의 공간분포가 균일하지 않기 때문에 공간적 연속성 검사에 유의한 시정계 지점 수에 대해서는 연구가 필요하다. 공간적 연속성 검사에서는 평가지점의 시정은 주변 시정과 유사하다는 가정하에 평가지점 시정 값이 최솟값보다 -20 ~ -100% 이상 작거나 최댓값보다 +10 ~ +50% 이상일 경우를 이상치로 설정하여 제거하였다. 여기서 사용한 임계치는 앞과 동일하게 9개 지점 평균 시정에 반비례하게 설정하였다.

4단계에서는 앞의 품질검사에서 정상으로 판정된 1분 시정 값을 이용하여 위성 등 다른 자료와 함께 사용할 수 있도록 10분 평균자료로 산출한다. 여기서 10분 평균은 전체 QC에서 정상으로 판정된 시정 값을 값의 크기에 반비례하게 가중 평균하는 방법으로 산출하였다. 또한 갑자기 발생 또는 소산하는 안개의 생성, 소산시간을 실제와 유사하게 산출할 수 있도록 10분 평균은 모두 이동평균으로 계산하였다.

따라서 본 연구에서는 Table 1과 같이 단계별 품질검사 방법의 차이에 따라 총 2가지의 품질검사 기법을 개발하였다. 또한 개발된 품질검사 방법의 QC수준을 객관적으로 평가하기 위해 노르웨이 기상청에서 사용중인 품질검사 기법을 2가지로 수정(Nor_org, Nor_mod) 하여 이용하였다. 개발한 품질검사 방법으로 산출된 시정 자료는 목측을 참값으로 가정하고 정량 및 정성적 검증을 진행하였다. 품질검사의 정량적 수준은 상관계수(Corr., Correlation Coefficient), 편의(bias), RMSE (Root Mean Square Error), POD(ProbabilityOfDetection), FAR(False Alarm Ratio)으로 평가하였다. POD와 FAR은 Table 2의 분할표를 이용하였다. 정성적 검증은 품질검사 전후 시정자료와 검증 자료들의 산포도와 시계열 그래프의 시각적 분석을 통해 진행하였다.

\(P O D=\frac{H}{H+M}\)       (2)

\(F A R=\frac{F}{H+F}\)       (3)

\(\operatorname{Corr}=\frac{\operatorname{cov}(X, Y)}{\sigma_{x} \sigma_{y}}\)       (4)

\(\text { bias }[\mathrm{m}]=\frac{1}{N} \sum\left(x_{i}-y_{i}\right)\)       (5)

\(\operatorname{RMSE}[m]=\sqrt{\frac{1}{N}} \sum\left(x_{i}-y_{i}\right)^{2}\)       (6)

N; Number of data

x : Visibility data

y : Naked eyes data

Table 2. Contingency table used for the level of quality control

3. 연구 결과

1) 단계별 품질검사

기상청에서 운용중인 시정계는 도입 초기라 예상보다 결측 및 관측값에 이상이 매우 많았다. 그 결과 물리적 범위 초과 및 결측 검사인 1단계에서 약 290여개 시정계 중 100여개 지점이 제거되어 178개 시정계 자료에 대해서만 다음 단계 품질검사 및 검증을 진행하였다. 예를 들어, 청주 외 5개 지점에서는 시정계 측정 한계인 4 m 이하로 시정이 연속적으로 관측되는 경우가 발생하였다. Table 3은 1단계를 통과한 178개 지점들에서의 3년간 결측된 시정 자료와 품질검사 2단계를 통해 이상치로 판정되어 제거된 시정 자료의 개수를 월평균으로 나타낸 것이다. 자료의 결측률은 평균적으로 전체 자료의 약 0.94%이며, 품질검사를 통해 이상치로 판정되어 제거된 시정 자료의 개수는 전체 자료의 약 5.3%이다.

Table 3. The number of detected visibility data per month over three years through the 1st and 2nd steps of quality control

 

품질검사에 사용될 시정 자료 수는 민감도 테스트를 통해 설정하였다. Fig. 4는 백령도 지점에서의 사용 시정 자료 수에 따라 품질검사 전후의 시정 값 변화를 나타낸 시계열 그래프이다. Fig. 4에서 검은색 선은 기상청에서 제공하는 1분 주기의 시정자료, 나머지 선들은 품질검사에 사용된 시정자료 수(Window size: 7 ~ 15개)에 따른 품질검사 결과를 의미한다. Fig. 4(a)와 (b) 모두 품질검사에 사용된 자료 개수가 7개일 때 1분 자료의 변동경향을 잘 나타내고 있고, 사용 자료 개수가 증가 할수록 1분 자료의 변동경향과 달라지고 있다. 그림에는 보이지 않았지만 사용 자료 수를 7개 미만으로 설정할 경우 안개 생성 또는 소멸과 같이 시정의 변동성이 클 경우 안개 발생 및 소산을 너무 빈번하게 하는 문제점이 발생하였다. 따라서 여기서는 사용 자료 수를 7개로 설정하여 품질검사를 수행하였고, 결측이 발생하는 경우에는 사용 가능한 자료가 7개가 될 때까지 그 범위를 확대하였다. 이때 사용 자료 범위를 최대 15개까지 확대하여도 사용 자료 수가 7개 이하일 경우에는 품질검사 불가로 하여 Nan값으로 설정하였다.

Fig. 4. Sample of sensitivity test for the window size at Baengnyeong-do on (a) 6th April, 2017 and (b) 16th April, 2017.

Fig. 5는 서울(108) 지점에서 2016년 전체 기간에 대해 품질검사에서 제거된 시정계 시정 자료와 목측 시정 자료 간의 상관관계를 비교한 것이다. 서울 지점의 경우 목측과 시정계 시정을 비교했을 때, 시정계 시정이 목측보다 전체적으로 더 길게 나타내는 경향이 있다. 따라서 Fig. 5(b) ~ (e)에서 보는 바와 같이 품질검사 방법에 관계없이 대각선(목측 ~ 시정계시정)으로부터 멀리 떨어진 시정들이 이상치로 제거됨을 볼 수 있다. 방법에 따라 차이는 있으나 모든 QC 방법에서 목측보다 상대적으로 긴 시정들이 이상치로 제거되고 있다. 하지만 4가지 방법 모두에서 대각선 및 대각선 가까이에 위치한 시정들도 이상치로 제거됨을 볼 수가 있다. 이러한 경향은 특히 노르웨이 기상청 품질검사 방법(Nor_org)에서 강하게 나타나고 있다.

Fig. 5. Scatter plots of detected visibility data (2nd step of quality control) and naked-eye observation. As the data range, (b, d) only past data and (c, e) both data (past and future data) of the QC time were used. As outlier threshold, (b, c) mean ± SDV (2SD ~ 6SD) and (d, e) Norway QC method were applied.

시정계 시정이 목측보다 항상 길게 나타나는지를 확인하기 위해 춘천, 목포 등 다른 지점들에 대해 분석한 결과 평가지점에 따라 두 시정 사이의 관계가 다양하게 나타났다(보이지 않음). 이러한 결과는 목측과 시정계 사이의 관계가 관측지점의 환경 및 관측자의 특성에 영향을 받고 있음을 제시한다. 또한 시정계 측정 시정이 시정계 제조회사 및 모델에 따라서도 상이하게 나오는 점도 작용한 것으로 보인다. 전체적으로 QC를 통해 이상 시정 자료들 상당부분이 제거되고 있으나 그림에서 보는 바와 같이 목측과 현저히 다른 시정계 자료들이 여전히 제거되지 않은 경우와 목측과 유사한 시정계 자료들이 QC에서 제거되고 있음으로, 이 원인에 대해서는 향후 깊이 있는 연구가 필요하다.

QC 방법에 따라 제거된 시정계 시정자료들과 목측과의 정량적 관계를 Table 4에 나타내었다. 목측지점에 따라 차이는 있지만 평균적으로 볼 때 본 연구에서 개발한 QC 방법인 DWDT_P (Corr.: 0.78, RMSE: 3464 m), DWDT_B (Corr.: 0.42, RMSE: 7876 m)가Nor_org (Corr.:0.91, RMSE: 2435 m)나 Nor_mod (Corr.: 0.88, RMSE:2766 m)보다QC 수준이 우수함을 볼 수 있다. 목측을 참값으로 가정할 경우 통계적으로 볼 때 DWDT_B가 다른 3가지 방법에 비해 매우 우수하게 품질검사를 하고 있으나 관측지점에 따라 품질검사 수준에 차이가 큰 점은 추후 개선이 필요함을 제시한다.

Table 4. Correlation coefficient and RMSE values of the removed visibility data and naked-eye data at each station in the 2nd step of quality control

시정은 공간적으로 연속성 있게 변하지만 강수와 같이 안개 발생 유무에 따라 공간변동성이 매우 다른 특성을 보인다. 따라서 시정의 공간 연속성을 평가하여 이상치를 제거하기 위해서는 안개발생 유무 및 시정의 지리적 특성을 고려하여야 한다. 본 연구에서는 시정의 이러한 공간적 변화 특성을 고려하여 평가하고자 하는 시정계 주위 최근접 9개 지점의 시정을 이용하였다. 이때 평가 대상 시정이 9개 지점의 최소 및 최대 시정보다 현저히 작거나 크다면 이상치로 볼 수 있다. 여기서는 최적의 임계값을 설정하기 위해 비정상치 임계값을 시정 자료들의 최솟값에 -20 ~ -100%, 최댓값에 +10 ~ +50에 대해 민감도 분석을 하였다(Table 5). 최대 범위의 경우 임계값(+10 ~ +50%)에 따라 제거되는 자료의 수의 차이가 크지 않지만, 최소 범위는 임계값(-30% ~ -50%)의 범위에 따라 제거되는 자료의 수가 크게 변화하고 있다. 임계값에 따라 이상치로 제거되는 자료 수가 민감하게 변한 원인을 알아보기 각 지점별로 조사한 결과, 주로 백령도(102), 제주 선흘(751), 만리포(658) 등과 같은 섬이나, 해안가에 위치한 지점들에서 특히 이상치로 제거되는 값들이 많았다. 이런 지점들의 경우 최근접으로 선정된 9개 지점들과의 거리가 평균적으로 약 103 km로 나타나 공간적 연속성 검사는 모든 지점에 대해 수행하기 보다는 상대적으로 시정계가 조밀하게 분포한 내륙에서만 적용할 필요성을 제시한다.

Table 5. The number of visibility data removed by the spatial continuity test

 

시정계가 공간적으로 조밀하게 분포한 경우에서도 국지적으로 안개가 발생한 경우에는 공간적 연속성 품질검사를 위한 임계값 설정이 용이하지 않은 사례가 많았다. Fig. 6은 평가 지점(전주)과 근접한 지점 9개 모두가 내륙에 존재하며, 지점들 간 거리의 편차가 가장 작은 사례를 나타낸 것이고, Fig. 7은 전주 지점에서의 다양한 임계값에 따른 공간적 연속성 검사 결과를 나타낸 시계열 그래프이다.

Fig. 6. Spatial distribution of the 9 nearest visibility meter stations relative to the Jeonju station.

Fig. 7. Sample of spatial continuity test with the 9 nearest visibility data for the various level of threshold values at Jeonju station on 17th October, 2016.

검은 파선이 평가지점(전주)이고, 색이 짙을수록 전주와 가장 근접한 지점을 나타낸다. 빨간 점선은 임계값에 따른 각 시간대에서의 허용 최대 및 최소 범위이다. Fig. 7에서 전주 지점의 시정이 0200 KST에 급격히 악화된 후 정상적인 시간변동을 보이고 있다. 이 때 인접한 9개 지점들의 시정은 0300 - 0900 KST 구간에서 상대적으로 길게 나타나고 있다. 그 결과 공간적 연속성을 이용한 품질검사 결과에서 최소 범위 임계값(-20 ~ -70%)부터 최대 범위 임계값(+10 ~ +40%) 구간에서 전주 지점의 시정 자료가 이상치로 판정되어 제거되는 것을 볼 수 있다(Fig. 7(b) ~ (c)).

전주사례에서 보는 바와 같이 시정의 공간적 연속성이 사례에 따라 매우 상이할 수 있고, 정상적인 시정이 이상치로 판단되어 제거가 될 수 있음을 볼 수 있다. 또한 내륙의 경우 안개가 국지적으로 발생하는 사례가 많고, 일부 해안가나 산악지역의 경우 근접한 시정계가 거의 없는 점을 고려할 때, 시정의 품질검사에서 공간적 연속성 검사는 적용하기가 쉽지 않음을 알 수 있다. 본 연구에서는 이러한 문제점을 고려하여 시정의 품질검사에서 공간적 연속성 검사는 적용하지 않았다.

Fig. 8은 10분 평균 자료 산출 시 평균방법에 따른 산출수준을 비교하기 위해 백령도 지점을 사례로 나타낸 것이다. 10분 단순평균과 가중평균 모두 사용 자료 수는 7개로 하였고, 품질검사 대상 시정 자료를 기준으로 전후 자료를 이용하였다. 시정계의 정확도가 시정에 반비례한 점을 고려하여 가중평균에서는 시정 값에 반비례하게 가중치를 설정하였다. 품질검사 자료의 전후 값으로부터 산출된 시정 자료가 기상청의 단순 10분 평균 시정 자료보다 시정의 시간변동이 지연되는 현상을 개선함을 볼 수 있다. 또한 본 연구에서 가중평균으로 산출된 값들은 시정이 급격히 감소 또는 증가하는 구간에서 1분 자료의 급격한 변동패턴 및 짧은 시정 값을 상대적으로 잘 나타냈다. 따라서 10분 평균 자료 산출은 가중 평균으로 하였다.

Fig. 8. Time series of 1 minute and 10 minutes average visibility at Baengnyeong-do station. (a) 1 minute and 10 minutes average visibility data without QC, (b) simple and weighted 10 minutes average after QC.

2) 품질검사 정성적 및 정량적 검증

Fig. 9는 포항(138) 지점에서 품질검사 전후 2016년 시정계 시정자료와 목측 시정 자료 사이의 산포도를 나타낸 것이다. 품질검사 전 1분 시정 자료와 목측시정 자료는 대부분 유사하게 나타나고 있으나 일부 자료(붉은색 타원)의 경우 두 시정 자료가 매우 상이하게 나타나고 있다(Fig. 9(a)). 전체적으로 4가지 품질검사 방법 모두 두 시정 자료 사이에 차이가 컸던 자료들을 대부분 제거함을 볼 수가 있다. 하지만 QC 방법에 따라 1: 1 매칭 정도가 상이하게 나타나고 있다. Fig. 9에서 보는 바와 같이 DWDT_B와 NorwayQC_mod 방법에서 1: 1 매칭 정도가 상대적으로 우수하게 나타나고 있다.

Fig. 9. Scatter plots of visibility meter and naked-eye observation. (a) before QC, and (b) ~ (e) after QC based on the QC methods.

Fig. 10은 품질검사 기법별로 최종 산출수준을 정성적으로 비교하기 위해 포항지점에서의 목측 시정과 시정계 시정 자료를 나타낸 것이다. 품질검사 전에는 시정 자료와 목측 시정 자료 사이에 1600 ~ 2000 KST 구간에서 두 시정 사이에 값 차이가 크게 나고 있는데(Fig. 10(a)), 품질검사 후(Fig. 10(b))에서는 이러한 차이들이 대부분 해소되고 있다. 또한 0000 ~ 0600 KST와 1600 ~2000 KST 구간에서는 품질검사 방법에 따라 시정 값에 차이가 발생하고 있다. 시정 및 시간변동패턴을 기준으로 볼 때 DWDT_B와 Nor_mod방법이 목측 시정과 매우 유사한 반면 DWDT_P와 Nor_org방법은 적지 않은 차이를 보이고 있다. 이는 품질검사 2단계에서 사용한 시정자료 차이에서 발생한 것으로 보인다. 목측 자체도 주관적 관측이라 오류가 포함되어 있기 때문에 절대적으로 두 가지 방법이 우수하다고 볼 수는 없지만, 안개 탐지의 연속성을 고려할 때 DWDT_B와 Nor_mod방법을 이용한 품질검사가 의미가 있을 것으로 판단된다.

Fig. 10. Comparison of naked eyes observations and visibility meter visibility at Pohang (18th September, 2016). (a) before QC and (b) after QC with four QC methods.

Table 6은 목측 자료를 참값으로 가정하고 검증한 것을 품질검사기법 및 주야별로 정리한 것이다. 주야별 산출수준을 검증하는 과정에서 계절에 따른 일몰과 일출시간 변동을 고려하기 위하여 본 연구에서는 태양천정각(Solar Zenith Angle: SZA) 85°를 기준으로 낮과 밤을 구분하였다(Han et al., 2019). 품질검사전의 시정계 자료와 목측 자료는 주야에 관계없이 상관계수가 0.94이상, RMSE가 1600 m 이하 수준으로 유사하게 나타나고 있다. 하지만 두 자료 사이의 일치성은 상관계수, 편의, RMSE 등 모든 평가측도에서 주간보다 야간에 우수한 것으로 나타나고 있다. 그 결과 안개 탐지의 수준에서도 야간이 주간보다 우수하게 나타나고 있다. 4가지 품질검사 방법 모두 주야에 관계없이 대부분의 평가요소에서 시정계 자료와 목측 자료 사이의 일치성을 향상시켜주고 있다. 특히 주간에 모든 품질검사 기법에서 일치성이 향상되었는데 상관계수의 경우 0.94에서 0.97로 높아졌고, RMSE는 1639 m에서 1200 m 이하로 낮아졌다. 하지만 안개탐지수준 면에서는 주간보다는 야간에 개선효과가 크게 나타나고 있다(POD: 0.81 →0.86~0.89, FAR: 0.27→0.17~0.21). 품질검사 기법에 따른 일치성 수준 향상에는 큰 차이가 없지만 RMSE, POD 측면에서 볼 때 주야에 관계없이 DWDT_B와 Nor_mod가 상대적으로 우수한 것으로 판단된다.

Table 6. Quantitative verification results of visibility data according to the four QC methods using naked-eye data

 

Fig. 9 ~ Fig. 10의 정성적 검증 결과와 Table 5의 정량적 검증 결과를 종합하여 볼 때, 품질검사 자료의 전후 자료를 사용하는 DWDT_B와 Nor_mod의 품질검사 수준이 가장 우수한 것으로 판단된다.

4. 결론

본 연구에서는 안개 유무를 판단하는데 중요한 시정계 자료의 오차를 최소화하기 위해, 시정의 시·공간 변동성과 시정계 관측 특성에 기반한 동적 임계값을 적용한 시정계 자료 품질검사 기법을 개발하였다. 본 연구에 사용된 자료는 약 290여개 지점에서 1분 주기로 관측한 3년간(2016.03~2019.02) 시정계 자료이다. 품질검사 목적에 따라 사용자료를 다르게 설정하여 2가지 품질 검사 방법(DWDT_P, DWDT_B)을 개발하였다. 또한 본 연구에서 개발한 품질검사 기법의 수준을 객관적으로 평가하기 위해 노르웨이에서 사용중인 품질검사 기법을 현 품질검사 기법과 비교할 수 있게 2가지로 수정 (Nor_org, Nor_mod)하여 이용하였다.

각 품질검사 방법은 초기 자료가 갖는 시간 변동성을 최대한 반영하면서 이상치를 제거하기 위해, 다음과 같이 4단계로 품질검사를 진행하였다. 1단계에서는 시정의 물리적 범위 초과 및 결측 검사를 수행하였는데 여기서 시정계가 측정 가능한 최대 및 최소 범위를 벗어난 시정 자료와 결측 개수의 합이 10% 이상인 시정계 지점은 다음 품질검사에서 제외하였다. 2단계에서는 시정의 시간 연속성을 평가하였는데 이 때 시정의 시간 변동성이 시정에 비례하고 연속적인 점을 고려하여 임계값을 시정값에 따라 동적으로 설정하였다. 비교를 위한 노르웨이 품질검사 방법에서는 시간에 따른 시정의 변동률을 이용하였다. 이 때 품질검사 목적이 현업용인 경우 품질검사 대상자료 기준 과거 자료만을 사용하였고, 사후 검사인 경우 전후자료를 사용하였다. 3단계에서는 공간적 연속성 검사를 시도하였으나 국지적 안개 발생시 공간연속성을 평가하기 어려워 공간적 연속성 검사는 수행하지 않았다. 4단계에서는 앞의 품질검사에서 정상으로 판정된 시정 값들을 이용하여 10분 평균 자료로 산출하였다. 이 때 10분 평균은 시정계의 오차가 시정에 비례하는 특성을 반영하여 시정 값에 반비례한가중평균 방법으로 산출하였다.

약 290여개 지점 중 100여개 지점에서 결측 등이 10%이상이 되어 2단계부터는 178개 지점에 대해서만 품질 검사를 하였다. 시간적 연속성 검사과정에서 사용자료수 및 임계값에 대한 민감도 평가를 통해 사용 자료 수는 7개로 하였고, 임계값은 평균과의 차이가 ±2σ ~ ±6σ 이상으로 하였다. 초기 시정 및 품질검사 자료의 시간 변동을 시각적으로 평가한 결과 4가지 품질검사 방법 모두 시정의 연속적 변동에서 크게 벗어나는 자료들을 적절히 제거하였다. 단순평균보다 가중평균으로 산출한 시정 값이 전체적으로 1분 자료의 급격한 시정변동 패턴 및 짧은 시정 값을 잘 산출하였다.

품질검사 방법들의 산출수준은 초기 시정계 자료 및 목측 시정자료와의 시각적 및 통계적 검증(Corr., bias, RMSE, POD, FAR)을 통해 평가하였다. 목측과의 시각적 및 정량적 평가결과 4가지 품질검사 방법 모두 전체적으로 이상치를 잘 제거함을 알 수 있었다. 안개 탐지에 대한 일치성 및 안정성 측면에서 4가지 품질검사 방법 중 품질검사 자료의 전후자료를 사용하고 가중평균을 하는 DWDT_B와 Nor_mod 방법이 상대적으로 우수한 것으로 판단되었다(Corr.: 0.98, bias: 339 m, RMSE:1034 m, POD: 0.87, FAR: 0.24). 본 연구에서 개발한 품질 검사 기법(DWDT_B)의 수준이 노르웨이에서 사용하고 있는 기법(Nor_org, Nor_mod)과 유사하거나 조금 우수한 점을 고려할 때 우리나라 시정계자료의 품질검사에 사용할 수 있을 것으로 판단된다.

전체 관측자료 중 결측 및 측정 오류 검사에서 1/3 이상의 지점에서 문제가 있는 것으로 나타난 점은 시정계 운용이 실험적 단계임을 고려하더라도 개선이 필요한 것으로 판단된다. 또한 본 연구에서는 각 시정계의 성능은 일정한 것으로 가정하였는데 Kim(2019)의 연구에서 보인 바와 같이 시정계 제조회사 및 모델에 따라서도 관측수준이 상이함으로 향후 QC과정에서는 각 시정계가 갖는 특성도 고려해야 할 것으로 판단된다. 본 연구에서는 목측자료를 이용하여 간접적으로 품질검사 수준의 검증을 수행하였으나 안개, 미세먼지 등이 교통, 건강 및 기후 특성에 미치는 영향을 고려할 때 품질검사 수준을 객관적으로 평가할 수 있는 양질의 검증 자료가 필요하다.