DOI QR코드

DOI QR Code

A Study on the Improvement of Image-Based Water Level Detection Algorithm Using the Region growing

Region growing 기법을 적용한 영상기반 수위감지 알고리즘 개선에 대한 연구

  • Kim, Okju (Senior Researcher, National Disaster Management Research Institute, MOIS) ;
  • Lee, Junwoo (Researcher Officer, National Disaster Management Research Institute, MOIS) ;
  • Park, Jinyi (Senior Researcher, National Disaster Management Research Institute, MOIS) ;
  • Cho, Myeongheum (Researcher Officer, National Disaster Management Research Institute, MOIS)
  • 김옥주 (행정안전부 국립재난안전연구원 선임연구원) ;
  • 이준우 (행정안전부 국립재난안전연구원 시설연구사) ;
  • 박진이 (행정안전부 국립재난안전연구원 선임연구원) ;
  • 조명흠 (행정안전부 국립재난안전연구원 시설연구사)
  • Received : 2020.10.21
  • Accepted : 2020.10.27
  • Published : 2020.10.31

Abstract

In this study, the limitations of the existing water level detection algorithm using CCTV images were recognized and the water level detection algorithm was improved by applying the Region growing technique. It applied three techniques (Horizontal projection profile, Texture analysis, and Optical flow) to estimate the water area, and the results were analyzed in a comprehensive analysis to select the initial water area. The water level was then continuously detected by the Region growing technique, referring to the initial water area. As a result, it was possible to confirm that the exact level of water was detected without being affected by environmental factors compared to the existing level detection algorithm, which had frequent mis-detection phenomena depending on the surrounding environmental factors. In addition, the water level was detected in the video showing flooded roads in urban areas, not in the video of the river. These results are believed to be able to supplement the difficulty of monitoring at all times with limited manpower by automatically detecting the level of water through numerous CCTV footage installed throughout the country, and to contribute to laying the foundation for preventing disasters caused by torrential rains and typhoons in advance.

본 연구에서는 CCTV 영상을 이용한 기존 수위감지 알고리즘의 한계점을 보완하기 위하여 Region growing 기법을 적용하였다. 먼저 세 가지 기법(수평 투영 프로파일, Texture 분석, Optical flow)을 적용해 물 영역을 추정하고, 기법별 결과를 종합 분석하여 최초 수위를 설정하였다. 이후 최초 수위를 기준으로 Region growing을 통해 수위 변화를 지속적으로 감지하도록 하였다. 그 결과, 주변 환경요인에 영향 없이 수위를 올바르게 감지하였으며, 영상분석 결과에 대한 전반적인 오차 평균은 5% 미만인 것을 확인할 수 있었다. 또한, 본 알고리즘이 하천이 아닌 도심지 내 침수 도로 영상에서도 물 영역이 감지되는 것을 확인할 수 있었다. 이러한 결과는 전국에 설치된 수많은 CCTV 영상을 통해 자동적으로 수위를 감지함으로써 제한된 인력으로 상시 모니터링이 어려웠던 점을 보완할 수 있으며, 집중호우, 태풍 등으로 인해 발생되는 사고발생 위험성을 사전에 인지하여 예방할 수 있는 기반을 마련하는데 기여할 수 있을 것으로 생각된다.

Keywords

요약

본 연구에서는 CCTV 영상을 이용한 기존 수위감지 알고리즘의 한계점을 보완하기 위하여 Region growing 기법을 적용하였다. 먼저 세 가지 기법(수평 투영 프로파일, Texture 분석, Optical flow)을 적용해 물 영역을 추정하고, 기법별 결과를 종합 분석하여 최초 수위를 설정하였다. 이후 최초 수위를 기준으로 Region growing을 통해 수위 변화를 지속적으로 감지하도록 하였다. 그 결과, 주변 환경요인에 영향 없이 수위를 올바르게 감지하였으며, 영상분석 결과에 대한 전반적인 오차 평균은 5% 미만인 것을 확인할 수 있었다. 또한, 본 알고리즘이 하천이 아닌 도심지 내 침수 도로 영상에서도 물 영역이 감지되는 것을 확인할 수 있었다. 이러한 결과는 전국에 설치된 수 많은 CCTV 영상을 통해 자동적으로 수위를 감지함으로써 제한된 인력으로 상시 모니터링이 어려웠던 점을 보완할 수 있으며, 집중호우, 태풍 등으로 인해 발생되는 사고발생 위험성을 사전에 인지하여 예방할 수 있는 기반을 마련하는데 기여할 수 있을 것으로 생각된다.

1. 서론

2020년 7월 23일, 부산 동구 초량동에서는 시간당 80mm가 넘는 집중호우로 인해 지하차도로 진입하던 차량 운전자가 급속도로 불어난 빗물에 갇혀 사망하는 사고가 발생하였다 (Oh, 2020). 또한, World Economic Forum(2018)에서는 글로벌 리스크 요인으로 극심한 기상 이변, 자연재해, 기후변화 대응 실패, 생태계 붕괴 등을 선정하여 이상기후 및 환경 변화에 대한 심각성과 이에 대한 대책 마련의 시급함을 알려주고 있다.

과거와 다른 이상기후 환경 속에서 발생 가능한 재난을 신속하게 인지하고, 적절히 대응하기 위해서는 현재보다 발전된 재난관리체계가 구축되어야 한다. 무엇보다 특정 상황이 발생 되었을 경우 신속한 상황판단 하에 대응계획이 수립될 수 있도록 재난현장의 피해 상황을 정확히 파악할 수 있는 정보의 수집·분석 및 전달체계가 중요하다.

행정안전통계연보(2020)에 따르면 교통단속 및 범죄예방을 목적으로 설치된 공공기관 CCTV는 1,148,770대(2019.12.31.기준)이며, 그 가운데 재난안전과 관련된 CCTV는 약 50만대가 설치된 것으로 파악되었다. 그러나 CCTV를 활용한 재난 및 안전관리 업무 수행을 위해서는 영상을 24시간 모니터링하는 관제요원이 필요하나 설치된 CCTV 수에 비하여 관제요원의 수는 크게 부족한 문제가 있다.

한편, 최근 객체인식 지능형 영상분석 기술이 발전함에 따라 여러 지자체의 CCTV 통합관제센터에서 객체감지 기능을 접목한 지능형 CCTV 도입이 진행되고 있다. 하지만 대부분 불법주차, 쓰레기 무단투기 등 교통 및 생활과 관련된 분야에 한정되어 재난안전 분야에 특화된 영상분석 기술이 필요한 시점이다.

이에 국립재난안전연구원에서는 CCTV 영상분석을 통해 수위감지 알고리즘을 개발하는 선행연구(Hong et al., 2014)를 진행하였다. 선행연구에서는 물의 색상정보와 물의 흔들림 정보만을 분석해 수위를 감지함으로써 주변 환경요인의 변화에 따라 수위감지 성능에 영향을 미치는 결과가 있었다.

따라서 본 연구에서는 기존 수위감지 알고리즘의 한계점을 토대로 주변 환경요인에 영향을 받지 않고 물 영역을 추정하여 수위를 정확히 감지해낼 수 있는 알고리즘으로 개선하는 방향에 대한 연구를 진행하였다.

2. 기존 수위감지 알고리즘의 한계점

다양한 목적으로 하천 주변에 설치된 CCTV를 통해 하천 상황이 주기적으로 관제되고 있으나 수많은 CCTV를 제한된 인원으로 실시간 모니터링하며 재난상황에 적절히 대응하기에는 어려움이 있다. 국립재난안전연구원에서는 이러한 문제점을 해결하기 위하여 CCTV영상을 활용해 자동으로 수위를 감지할 수 있는 알고리즘을 개발하였다.

개발한 수위감지 알고리즘은 물과 물이 아닌 영역을 구분하기 위해 물의 색상정보와 물 흐름에 따라 생기는 물결을 분석한 물 흔들림 정보가 활용되었다. 먼저, 물 색상정보 활용 방법은 수위감지 영역을 지정한 후 해당 영역에 대한 RGB Histogram을 생성하고, 이를 기준으로 이후 입력되는 영상의 RGB Histogram과 비교하여 물 영역을 분리하도록 하였다. 다음으로 물 흔들림 정보 활용방법은 시공간 상의 노이즈를 제거하는 전처리 과정 후 이전 영상과의 차를 통해 물의 움직임을 감지하여 흔들림을 분석하고, 영상에서 특정 영역을 구분할 때 사용하는 Floodfill 기법으로 수위 경계면을 분석해 물 영역을 분리하도록 구성하였다 (Fig. 1).

OGCSBN_2020_v36n5_4_1245_f0001.png 이미지

Fig. 1. Flowchart of existing water level detection algorithm.

기존 수위감지 알고리즘에 대한 정확도 검증을 위하여 수위계에 의한 계측 수위와 영상분석을 통한 산출수위를 비교한 결과 정확도가 90% 이상인 것으로 나타났다(Hong et al., 2014).

그러나 기존 수위감지 알고리즘의 경우 물 색상정보 활용 시 주·야간에 따른 조도 변화와 조명시설이 부족한 환경에서 촬영된 영상일 경우 물 영역 인식 저하로 인해 오검출 현상이 발생하는 문제점이 있었다. 또한, 물과 물이 아닌 영역의 경계가 뚜렷하지 못한 영상에서도 수위감지 성능이 저하되는 결과가 나타났다.

이러한 결과는 물 영역을 인식하기 위해 적용한 영상 분석 기법에 한계가 있음을 의미하며, 이를 실제 현장에 적용하였을 경우 다양한 주변 환경요인(조도변화에 따른 물 색상 변경, 불분명한 수위 경계 등)으로 인해 오검출 현상이 필연적으로 발생될 것이다.

따라서, 수위감지에 방해가 되는 환경요인들을 함께 고려하여 어떠한 환경에서도 정확도 높은 수위감지 알고리즘으로 활용할 수 있도록 개선할 필요가 있다.

3. 연구방법

본 연구에서는 다양한 환경요인을 지닌 현장 영상에서도 물 영역을 정확히 인식하여 수위를 올바르게 검출하기 위한 개선 방법으로 Region growing 기법을 적용한다. 개선된 수위감지 알고리즘의 전체적인 흐름은 Fig. 2와 같다.

OGCSBN_2020_v36n5_4_1245_f0002.png 이미지

Fig. 2. Flowchart of improved water level detection algorithm.

1) 수평 투영 프로파일 기법을 적용한 최초 수위 설정

CCTV 영상을 통해 수위를 감지하기 위해서는 초기 수위 값에 대한 설정이 필요하다. 본 연구에서는 CCTV 영상을 수평축 방향으로 투영하여 수평 방향 선에 존재하는 화소(pixel) 수를 계산하는 방법인 수평 투영 프로파일(horizontal projection profile) 기법을 적용하여 초기 수위 값을 검출하였다.

이는 CCTV 영상에서 수위를 검출할 관심영역(ROI, Region of Interest)을 지정하면, 영상을 그레이스케일(gray scale)로 변환한 후 영상 내 각 행별 명암(intensity) 값을 계산하여 신호를 생성한다. 이때 생성된 신호에서 발생된 노이즈(noise)는 가장 대표적인 필터 중 하나인 가우시안 필터(gausian filter)를 적용하여 제거하였다.

식 (1)에서 P는 수평투영 프로파일을 통해 생성된 신호, M은 P의 평균값, H는 CCTV 영상의 높이, S는 P의 평균값을 기준으로 큰 값과 작은 값으로 이 진화하여 생성된 신호를 의미한다.

\(S_i=\left\{\begin{array}{l} 1, P_1 \geq M, \\ 0, P_i       (1)

식 (2)에서 함수 f는 H차원의 신호를 2차원으로 변환하는 함수로서 입력 신호 S의 펄스(pulse)가운데 길이가 최대인 펄스의 시작 행 번호(xs)와 끝 행 번호(xc)로 변환한다. 이러한 산술과정을 거친 후 max(xsH – xe)에 의해 최종 수위가 결정된다.

\(\left(x_{s}, x_{e}\right)=f(s), \quad f: R^{H} \rightarrow R^{2}\)       (2)

Fig. 3은 수평 투영 프로파일 기법을 적용하여 수위를 검출한 결과이며, 하늘색 선이 최종적으로 검출된 수위를 의미한다.

OGCSBN_2020_v36n5_4_1245_f0003.png 이미지

Fig. 3. Water level detection using horizontal projection profile.

수평 투영 프로파일 기법을 적용한 알고리즘은 비교적 간단한 산술처리 과정으로 물과 물이 아닌 영역의 경계가 뚜렷이 구분되는 영상에서 수위가 올바르게 검출되는 것을 확인할 수 있었다.

그러나 물과 물이 아닌 영역의 경계가 불분명한 영상이거나 야간에 촬영된 영상에서는 오검출 결과가 발생할 우려는 여전히 존재한다. 또한, 관심영역에 물이 차오를 경우 반드시 구간을 나누려고 하는 투영 프로파일 특성으로 인하여 수위를 올바르게 검출하는데 한계점이 있다.

2) 물표면 Texture 분석을 통한 물 영역 추정

CCTV 영상은 카메라 주변에 설치된 가로등 불빛 등에 영향을 받기 때문에 원본 영상을 그대로 활용하게 되면 오검출이 발생할 확률이 높다. 따라서 불빛이나 물에 비친 반사체로 인해 물의 색상 등에 끼친 영향을 최대한 감소시켜 물의 흔들림을 분석할 수 있는 영상으로 만들기 위한 전처리 과정이 필수적이다.

Mettes et al. (2015)은 원본 영상을 물의 흔들림을 분석하기 위한 최적의 조건으로 생성하기 위해 Residual frame을 생성하는 방법을 제안하였다. 이는 물 흐름에 따라 생기는 물결 현상은 일시적으로 명암 값이 변한다는 가정에 기인하며, 원본 영상의 각 화소에 대한 명암 값을 일정 시간 동안 관찰한 후 해당 화소에 지배적으로 영향을 주는 물의 색상을 추정하는 방법이다.

식 (3)은 Residual frame을 생성하는 식이다. 여기서, M과 I는 각 영상, (x, y)는 화소 위치, Kh는 가우시안 커널, t는 일정 시간 동안 관찰한 프레임 수이다.

\(M(x, y)=\arg \max _{i} \frac{1}{t} \sum_{j=1}^{t} K_{h}\left(t-I_{j}(x, y)\right)\)       (3)

Fig. 4는 원본 영상을 활용해 Residual frame을 생성한 결과이다. 물 위의 비침 현상이 줄어들었으며, 물 표면에 물결 형태가 극대화된 것을 확인할 수 있다.

OGCSBN_2020_v36n5_4_1245_f0004.png 이미지

Fig. 4. Residual frame create results.

Residual frame 생성 결과 영상에서 물결 지점이 흐리게 보이는 이유는 Residual frame을 생성하기 위한 연산과정은 계산량이 많이 소요되기 때문에 영상 크기를 줄여 연산을 수행한 뒤 영상을 다시 원본 크기로 늘림으로 인해 발생된 현상이며, 이때 물결 형태 주변으로 Blurring 처리가 적용되어 영상 내 노이즈를 제거하는 효과가 있었다. 이러한 영상 전처리 과정은 정확한 수위를 검출하는 것보다 물결의 영역을 판단하는 데 목적이 있다.

전처리 과정을 통해 생성된 영상으로 물 영역을 추정하기 위해 Texture 분석 방법 가운데 인접 화소의 명암을 비교하여 Texture를 분석하는 LBP(Local Binary Patterns)를이용하였다. LBP는 간결하면서도 인접한 화소들 간 특징을 함께 고려할 수 있다는 점에서 물결 형태의 Texture 표현에 이점이 있다.

Fig. 5는 LBP를 활용해 특징을 추출하는 예로써, (a)는 영상의 명암도 값이며, (b)는 명암도 영상에서 중심 화소와 인접한 화소값을 비교하여 크면 1, 작으면 0을 생성한다 (Park, 2019).

OGCSBN_2020_v36n5_4_1245_f0005.png 이미지

Fig. 5. LBP calculation procedure.

식 (4)는 LBP 추출을 위한 식으로 (x, y)는 중심 화소의 위치이며, (xi, yi)는 (x, y)의 인접한 화소를 의미한다.

\(\begin{array}{c} L B P(x, y)=\sum_{i=1}^{7} 2^{i} D\left(I\left(x_{i}, y_{i}\right)-I(x, y)\right) \\ D(\alpha)=\left\{\begin{array}{l} 1, \alpha \geq 0 \\ 0, \alpha<0 \end{array}\right. \end{array}\)       (4)

하지만 LBP만으로 Texture 분석을 수행하기에는 인접 화소들을 탐색하는 순서에 따라서 서로 다른 값을 가지게 되므로 현재 화소에서 특정 방향으로 이동했을 때의 값 변화가 전체 영상에서 빈도수가 잦은 변화인지를 계산하기 위해 GLCM(Gray Level Co-occurrence Matrix)를 추가 적용하였다. 이를 적용하면 전처리 과정에서 생성된 Residual frame으로부터 LBP 연산 과정을 거쳐 처리된 LBP 영상에 GLCM을 적용하여 특정 방향으로의 LBP 변화 분포도를 확인할 수 있다.

\(\begin{array}G L C M(i, j)=\sum_{x} \sum_{x} C_{i j}(x, y, \Delta x, \Delta y) \\C_{i j}(x, y, \Delta x, \Delta y)=\left\{\begin{array}{ll} 1, L B P(x, y)= & i \text { and } L B P(x+\Delta x, y+\Delta y)=j \\ 0, & \text { otherwise } \end{array}\right.\end{array}\)       (5)

Wei and Zhang (2016)의 연구에서는 하늘을 포함하는 전체 영상에서 수위를 검출하기 위해 GLCM을 이용하는 알고리즘을 제안한다. 본 연구에서는 관심 영역에 대해 수위를 검출하는 것이 근본적인 목표이나 관심 영역에 물이 가득 차는 경우가 발생하더라도 수위 검출이 가능하도록 GLCM 알고리즘을 적용하여 물결이 강한 영역을 찾도록 하였다.

Fig. 6은 물 표면의 Texture 분석을 위해 LBP-GLCM을 적용하여 물결이 가장 두드러지는 블록을 검출한 결과이다. 본 연구에서는 빨간색 선으로 나타낸 영역을 물결이 두드러지는 부분으로 가정하고, 이를 기준으로선 아래 영역이 물 영역일 확률이 높다고 간주하여 물 영역을 추정하였다.

OGCSBN_2020_v36n5_4_1245_f0006.png 이미지

Fig. 6. Texture analysis results.

Texture 분석기법을 적용한 알고리즘은 물 흐름에 따라 생기는 물결 현상은 일시적으로 명암 값이 변한다는 가정하에 물의 색상을 추정하고, 물결이 가장 두드러지는 지점을 기준으로 물 영역을 추정한다. 그러나 이는 단순히 물표면 위에 발생하는 물결 정보만을 활용해 물 영역을 추정하기 때문에 수위를 검출하는 것은 한계점이 있다.

3) Optical flow를 적용한 물 영역 추정

영상분석으로 물 영역을 추정하여 수위를 검출하기 위해 Bruhn et al. (2009)는 Optical flow 기법을 제안하였다. 이는 연산량이 많아 실시간 추적이 어려운 Dense flow field를 추정함에도 불구하고, 200×200 영상에 대해 27 fps의 성능이 나타나는 것으로 확인되었다.

Optical flow 기법은 사람의 시각을 모델링하는 영상 분석 기법 중 하나로 이전 영상과의 차를 비교해 물체나 어떤 표면 등의 운동 패턴을 추출하여 대상물의 움직이는 정도와 방향에 대한 정보를 얻는다(Kim, 2011).

본 연구에서는 Optical flow 기법을 적용하여, Dense flow field 가운데 일부 점들만을 활용하여 물 영역을 추정하였다. 또한, 영상에 Optical flow 기법을 적용하면 엔트로피(entropy)를 계산할 수 있는데 이는 거센 비바람이 몰아치는 영상에서 물 영역과 물이 아닌 영역을 엔트로피의 높고 낮음을 기준으로 추정할 수 있음을 의미한다.

식 (6)은 Optical flow에서의 엔트로피를 구하는 식으로 영상의 각 격자점을 초기 값으로 하는 궤적집합을 θ= {p0, …, pm-1}라고 할 경우 m은 격자점 개수, pi = {\(x_0^i\), …,\(x_{n-1}^i\)}는 n프레임 동안 추정한 Optical flow의 궤적정보이다. 그리고 xit는 i번째 격자점에서 출발한 Optical flow의 t번째 프레임에서의 2D 위치벡터이며, d(pi)는 pi의 모든 2D 위치 벡터를 감싸는 원의 지름, \(\bar d \)(pi)는 d(pi)를 [0, 1]범위로 정규화한 값, L(pi)는 n 프레임 동안 추정한 pi 길이 이다. 이는 즉 물 흐름이 복잡할수록 엔트로피가 높아짐을 의미한다.

\(\begin{aligned} F f l o w\left(p_{i}\right) &=\frac{\frac{\log L\left(p_{i}\right)}{d\left(p_{i}\right)}}{\log (n-1)} \cdot \bar{d}\left(p_{i}\right) \\ \bar{d}\left(p_{i}\right)&= \frac{d\left(p_{i}\right)}{\sum d\left(p_{i}\right)} \\ L\left(p_{i}\right) &=\sum_{t=0}^{n-2}|| x_{t}^{i}-x_{t+1}^{i}||_{2} \end{aligned}\)       (6)

Fig. 7은 20프레임 영상에 Optical flow 기법을 적용해 물 흐름을 추적한 결과이다. 빨간색 선은 물의 흐름을 추적한 결과를 나타낸 것으로 물이 흐르는 아랫부분은 추적결과가 지그재그로 표현되는 반면, 물의 흐름이 느린 영역에서는 추적결과가 거의 나타나지 않는 것을 확인할 수 있다.

OGCSBN_2020_v36n5_4_1245_f0007.png 이미지

Fig. 7. Optical flow result.

4) Region growing을 적용한 수위감지

CCTV 영상을 통한 수위감지를 위하여 앞선 세 가지 기법을 적용해 얻은 초기 수위 및 물 영역 추정 정보를 종합적으로 분석하여 물 영역 평균값을 산출하고, 이를 참조로 Region growing 기법을 적용해 최종적인 물 영역 정보를 계산하였다.

Region growing 기법은 같은 영역 내 화소들은 명암, Texture 등이 동질성을 갖는다는 특성을 이용한다. 이는 최초 영역의 화소 값(seed point)을 기준으로 인접한 영역의 화소를 탐색하고, 최초 영역 화소 값과 비교하여 하나의 영역으로 확장해나가는 영상분할 기법 중 하나이다(Lee et al., 2005).

세 가지 기법을 적용해 얻은 초기 수위 및 물 영역 추정 결과는 Fig. 8과 같다.

OGCSBN_2020_v36n5_4_1245_f0008.png 이미지

Fig. 8. Water area detection results.

수평 투영 프로파일 기법에서 얻은 최초 수위는 해당 수위를 기준으로 아랫부분은 모두 물이라는 것을 의미하므로 산출된 수위보다 일정 블록 아래에 있는 지점을 참조 수위로 가정하고, 참조 수위 아래 영역을 물 영역으로 추정한다.

Texture 분석에서 얻은 물 영역 추정 결과는 영역간 서로 겹쳐지면서 막대그래프의 형태와 유사하게 나타났다. 이러한 결과는 영상에서 물 영역 전체를 추정하는 것이 아니라 물결이 강한 영역을 지점별로 찾아내기 때문이다. 찾아낸 물결의 지점을 기준으로 아래 영역을 물 영역으로 추정한다.

Optical flow 기법에서 얻은 물 영역 추정 결과는 임계값 이상만 추출하면 곡선의 형태로 나타나게 된다. 이는 앞선 두 가지 기법과 달리 물의 흐름 세기에 따라 곡면 형태로 물 영역을 추정한다.

세 가지 기법을 활용해 얻은 물 영역 추정 결과를 살펴보면, 일부 동일 영역은 각 기법에서 모두 물 영역으로 추정되었음을 알 수 있다. 즉, 각 기법에서 동일하게 추정된 영역은 실제 물 영역일 확률이 높다고 가정할 수 있다.

세 가지 기법에서 추정된 결과를 Region growing 기법에 적용하기 위하여 먼저 RGB 평균으로 계산하여 초기 수위를 선정하였다. 이때 RGB 합은가중치를 고려하여 각 기법에서 추정된 동일 영역을 제외하지 않고 계산하였다.

식 (7)은 물 영역에 대한 RGB 평균을 구하는 식으로 Water MeanR, Water MeanG, Water MeanB는 전체 물 영역의 RGB 평균값, ΩP, ΩT, ΩF는 각 기법에서 추정한 물 영역을 의미하며, 이와 같은 방법으로 물이 아닌 영역에 대한 RGB 평균값도 구한다.

\(\begin{aligned} \text { Water Mean }_{R}=& \frac{1}{\left|\Omega_{P}\right|+\left|\Omega_{T}\right|+\left|\Omega_{F}\right|} \\ &\left\{\sum_{\Omega_{p}} I_{R}(x, y)+I_{R}(x, y)+I_{R}(x, y)\right\} \\ \text { Water Mean }_{G}=& \frac{1}{\left|\Omega_{P}\right|+\left|\Omega_{T}\right|+\left|\Omega_{F}\right|} \\ &\left\{\sum_{\Omega_{p}} I_{G}(x, y)+I_{G}(x, y)+I_{G}(x, y)\right\} \\ \\ \text { Water Mean }_{B}=& \frac{1}{\left|\Omega_{P}\right|+\left|\Omega_{T}\right|+\left|\Omega_{F}\right|} \\ &\left\{\sum_{\Omega_{p}} I_{B}(x, y)+I_{B}(x, y)+I_{B}(x, y)\right\} \end{aligned}\)       (7)

또한, 물 영역을 나누는 기준을 마련하기 위하여 물 영역과 물이 아닌 영역 간 평균값을 HSV 공간으로 변환하여 거리를 계산한다.

\(\begin{array}{r} \text { Water Mean }_{i}^{t}=\alpha \cdot \text { Water Mean }_{i}^{t-1}+(1-\alpha) \cdot \text { Water Mean }_{i}^{t}, i \in R, G, B \end{array}\)       (8)

\(\begin{aligned} &\text { Non Water Mean }_{i}^{t}=\beta \cdot \text { Water Mean }_{i}^{t-1}+(1-\beta) \cdot \text { Non Water Meant }_{i}^{t}, i \in R, G, B \end{aligned}\)       (9)

\(\begin{aligned} \text { Merge }_{t}=& \gamma \cdot \text { Merge }_{t-1}+(1-\gamma) \cdot || H S V\left(\text { Non Water Mean }^{t}\right)- H S V\left(\text { Non } \text { Water Mean }^{t}\right) \end{aligned}\)       (10)

본 연구에서는 Region growing 적용을 위해 설정해야 하는 초기 수위를 ΩP를 2:1로 내분하는 행으로 설정하고, 초기 수위 위로 일정 블록만큼 물의 평균값을 HSV 공간으로 변환하였다. 이때 \(Water Mean^t_i\)와의 거리가 Merget 이하이면 영역을 흡수하고, 그렇지 않다면 블록의 크기를 절반으로 줄여 영역 흡수 여부를 판단한다. 만약 블록을 최소화하여도 영역 흡수가 불가할 경우 이를 중단하고 흡수를 완료한 블록까지를 최종 수위로 검출하게 된다.

4. 수위감지 알고리즘 현장 적용

1) 개선된 수위감지 알고리즘의 현장 적용 결과

Fig. 9는 Region growing 기법을 적용해 개선한 수위감지 알고리즘을 실제 다양한 환경요인이 존재하는 하천 환경에 적용한 결과이다. 수위감지에 활용된 영상은 7 프레임이며, 노란색은 주의 수위, 빨간색은 위험 수위, 파란색 영역은 검출된 물 영역을 의미한다.

OGCSBN_2020_v36n5_4_1245_f0009.png 이미지

Fig. 9. Field application results.

Fig. 9의 첫 번째 영상(a)은 태양의 고도에 따라 하천 위에 설치된 교량의 그림자가 물 위에 비춰지면서 물의 경계 지점의 색상이 어두워지는 반면, 그림자가 없는 물 영역은 빛이 반사되어 밝은 색상을 가지게 되는 현장이다. 이러한 환경에 기존 수위감지 알고리즘을 적용했을 때 물의 색상정보에 의해 오검출 발생 빈도가 높게 나타났으나 Texture 분석 기법과 Optical flow 기법이 적용된 수위감지 알고리즘을 적용하자 물 영역의 검출 정확성이 향상된 결과를 얻을 수 있었다.

Fig. 9의 두 번째 영상(b)은 하천 주위에 분포된 수풀로 인하여 불분명한 수위 경계로 기존 수위감지 알고리즘 적용 시 오검출이 발생했던 현장이다. 이에 개선된 수위감지 알고리즘을 적용한 결과 하천 주변 물체와 불분명한 수위 경계 여부에 관계없이 올바른 수위가 검출되는 것을 확인할 수 있었다.

Fig. 9의 세 번째 영상(c)은 하천이 아닌 집중호우 등으로 인해 물이 들어찬 일반도로 현장이다. 이에 개선된 수위감지 알고리즘을 적용한 결과 하천 영상과 마찬가지로 수위가 검출되는 것을 확인할 수 있었다. 이러한 결과는 하천 수위감지를 목적으로 개선한 수위감지 알고리즘이 하천 환경 이외 물 영역 추정이 필요한 다양한 환경에 확장하여 활용할 수 있는 가능성을 확인할 수 있었다.

Table 1은 Fig. 9의 각 영상에 대해 오차의 평균과 오차의 분산을 측정한 것으로 전반적으로 오차의 평균은 5% 미만, 오차의 분산은 9% 미만으로 나타났다.

Table 1. Results of field application of waterlevel detection algorithm

OGCSBN_2020_v36n5_4_1245_t0001.png 이미지

5. 결론

본 연구에서는 CCTV 영상을 이용한 기존 수위감지 알고리즘의 한계점을 개선하기 위해 영상 전처리 및 Region growing 기법을 적용하여 개선된 수위감지 알고리즘을 제안하였다. 이는 물 영역 추정을 위해 세 가지 기법(수평 투영 프로파일, Texture 분석, Optical flow) 적용으로 물 영역 산출 조건을 세분화하고, 기법별 추정된 물 영역들 가운데 중복되는 영역을 수위감지에 필요한 최초 수위로 선정하였다. 다음으로 Region growing기법을 적용해 지속적인 수위변화가 감지될 수 있도록 하였다.

그 결과 주변 환경요인(조도변화에 따른 물 색상 변경, 불분명한 수위 경계 등)에 따라 오검출 현상이 있었던 기존 수위감지 알고리즘과 달리 비교적 정확한 수위가 감지되는 것을 알 수 있었다. 또한, 하천 촬영 영상이 아닌 침수된 도로 영상에서도 물 영역을 감지함으로써 개선한 수위감지 알고리즘의 다양한 활용 가능성을 확인할 수 있었다.

이러한 결과는 전국에 설치된 수많은 CCTV 영상을 분석해 자동 수위감지함으로써 제한된 인력으로 상시 모니터링이 어려웠던 재난분야의 재난관리체계를 개선할 수 있는 초석으로 활용할 수 있으며, 나아가 집중호우, 태풍 등으로 인해 발생되는 재난사고를 사전에 인지하고, 예방대책을 수립할 수 있는 기반을 마련하는 데 기여할 수 있을 것으로 기대된다.

사사

본 연구는 행정안전부 국립재난안전연구원의 주요사업(재난안전정보기반 재난상황판단을 위한 인지기술 개발(NDMI-주요-2020-03-03), 지능정보기술 기반 재난안전 상황인지 기술 개발(NDMI-주요-2018-03-05))의 지원으로 수행되었습니다.

References

  1. Bruhn, A., J. Weickert, C. Feddern, T. Kohlberger, and C. Schnorr, 2003. Real-time optic flow computation with variational methods. Computer Analysis of Images and Patterns, Groningen, The Netherlands, Aug. 25-Aug. 27, LNCS 2756, pp. 222-229.
  2. Oh, K. Y. 2020. "Busan's 175 m underground roadway goes to the reservoir in no time 3 deaths", chosunMedia, https://www.chosun.com/site/data/html_dir/2020/07/24/2020072400461.html, Accessed on Sep. 5, 2020.
  3. Hong, S. W., Y. J. Park, and H. C. Lee, 2014. Experimental and Analytical Study on the Water Level Detection and Early Warning System with Intelligent CCTV, Journal of the Korea Society of Disaster Information, 10(1): 105-115. https://doi.org/10.15683/kosd.2014.10.1.105
  4. Kim, T. H., 2011. Development of Interactive Video Using Real-time Optical Flow and Masking, The Korea Contents Society, 11(6): 98-105. https://doi.org/10.5392/JKCA.2011.11.6.098
  5. Lee, Y. B., K. M. Kim, G. J. Cheon, and M. H. Kim, 2005. Segmentation Algorithm using 3D Region Growing Based on Gradient Magnitude in Small-Animal PET Images, The Korean Institute of Information Scientists and Engineers, pp. 703-705.
  6. MOIS, 2019. Statistical Yearbook of MOIS, 22.
  7. Mettes, P., R. T. Tan, and R. C. Veltkamp, 2016. Water detection through spatio-temporal invariant descriptors, Computer Vision and Image Understanding, 154: 182-191. https://doi.org/10.1016/j.cviu.2016.04.003
  8. Park, K. M., 2019. A Study on Smoke Detection using LBP and GLCM in Engin Room, Journal of the Korea Society of Marine Environment & Safety, 25(1): 111-116. https://doi.org/10.7837/kosomes.2019.25.1.111
  9. Wei, Y. and Y. Zhang, 2016. Effective Waterline Detection of Unmanned Surface Vehicles Based on Optical Images, Sensors, 16(10).