A Study on the GK2A/AMI Image Based Cold Water Detection Using Convolutional Neural Network

합성곱신경망을 활용한 천리안위성 2A호 영상 기반의 동해안 냉수대 감지 연구

Abstract

In this study, the classification of cold water and normal water based on Geo-Kompsat 2A images was performed. Daily mean surface temperature products provided by the National Meteorological Satellite Center (NMSC) were used, and convolution neural network (CNN) deep learning technique was applied as a classification algorithm. From 2019 to 2022, the cold water occurrence data provided by the National Institute of Fisheries Science (NIFS) were used as the cold water class. As a result of learning, the probability of detection was 82.5% and the false alarm ratio was 54.4%. Through misclassification analysis, it was confirmed that cloud area should be considered and accurate learning data should be considered in the future.

본 연구에서는 천리안위성 2A호 1일 평균 표층수온영상을 대상으로 합성곱신경망(convolution neural network, CNN) 딥러닝 기법을 적용하여 냉수대 발생 여부를 분류하는 연구를 수행하였다. 이를 위하여, 2019년부터 2022년까지 1,155장의 영상을 사용하였으며, 국립수산과학원 제공 냉수대 발생 주의보 및 경보자료로부터 냉수대 발생 영상과 그 외 영상으로 분류하여 학습을 수행하였다. 학습 결과로 82.5%의 probability of detection (POD)와 54.4%의 false alarm ratio (FAR) 지수를 획득하였다. 오분류 분석을 통해 냉수대 분류에 실패한 경우의 대부분은 구름의 영향 때문이며, 비냉수대를 오분류한 경우의 대부분은 실제 영상에 냉수대가 존재함을 확인하였다.

1. 서론

냉수대는 연안에서 해류, 바람 등의 외력에 의해 표층 해수가 먼 바다 쪽으로 이동하면, 이를 채우기 위해 표층으로 올라온 해양 심층의 차가운 해수를 의미한다. 한반도 냉수대는 주로 남풍이 부는 여름철에 발생하며, 7월이 가장 빈번하다(Shin, 2019). 발생 영역은 부산 기장부터 강원도 삼척까지 동해안 전 영역이 해당한다. 국립수산과학원에서는 주변해역의 표층수온보다 상대적으로 5°C 이상 낮은 경우 냉수대 주의보를, 10°C 이상 낮은 경우 냉수대 경보를 발령한다(Lee et al., 2022).

냉수대 발생은 발생지역에 급격한 수온변화를 발생시킨다. 급격히 감소한 표층수온에 의해 발생한 해무는 선박의 항해에 영향을 끼치며, 표층으로 운반된 해양 심층의 영양염은 동물플랑크톤의 생물량 증가와 고농도의 클로로필 형성을 초래한 것으로 보고된 바 있다(Lee et al., 2004; Kim et al., 2019). 또한 냉수대 발생으로 인한 급격한 수온변화는 우렁쉥이 폐사와 어류 폐사와 상관관계가 있는 것으로 보고되었다(Lee et al., 2007; Lee et al., 2007).

냉수대는 특정 시기 및 특정 영역에서 발생하는 현상이기 때문에, 냉수대의 시공간적 특성 및 예측 연구를 위해 수치모델을 이용한 연구가 수행되고 있다. 3차원 진단 수치모델로부터 냉수대 발생 원인에 대한 분석이 수행된 바 있으며(Suh and Hwang, 2005), 3차원 흐름 거동을 모의할 수 있는 FLOW-3D 모형을 이용한 냉수대모의 연구가 수행되었다(Oh et al., 2011). 특히, 국립수산과학원에서는 동해 냉수대 발생 예측시스템을 개발하여 현업에서 운영하고 있다. 개발된 동해 냉수대 발생예측시스템은 3차원 해수 유동 모델 ROMS와 3차원 중 규모 기상모델인 WRF를 이용하며, 동해 냉수대 발생에 대한 1일 재현 및 3.5일 예측을 수행하고 있다. 냉수대 발생 예측 시스템으로부터 예측된 수온은 관측값과 비교하여 평균적으로 약 0.73°C의 root mean squared error (RMSE)를 가진다(Lee et al., 2022).

이와 같이, 수치모델을 이용한 냉수대 특성 규명 및 예측 연구가 성공적으로 수행되고 있으나, 보다 정밀한 예측을 위해서는 정확한 입력자료의 사용이 요구된다. 이중 하나의 입력자료로 위성영상을 고려할 수 있다. 적외선 센서가 탑재된 위성의 경우 성공적으로 표층수온정보를 생산할 수 있으며, 기존 연구에서도 National Oceanic and Atmospheric Administration (NOAA) 위성 및 Moderate Resolution Imaging Spectroradiometer (MODIS) 위성의 표층수온 정보로부터 냉수대를 분석한 연구가 성공적으로 수행된 바 있다(Kim et al., 2010; Yoon and Yang, 2016; Kim et al., 2021).

특히, 2019년에 7월 발사된 천리안위성 2A호는 정지궤도로 운영되어 한반도 주변을 2분 간격으로 모니터링하고 있기에 동해안 냉수대 모니터링 및 예측에 활용 가치가 매우 높다. 탑재된 적외센서로부터 약 0.61°C의 RMSE를 지니는 표층수온정보를 산출하며, 10분주기 표층수온정보 뿐만 아니라 1일, 5일, 10일 합성 표층수온정보를 제공한다. 따라서 천리안위성 2A호의 표층수온정보는 수치모델의 입력자료로 사용할 수 있는 한편, 그 자체로도 10분 간격 모니터링을 수행함으로써 냉수대의 발생 및 확산을 준실시간으로 모니터링할 수 있는 특장점이 존재한다(NMSC, 2019).

이에 본 연구에서는 동해안 냉수대 발달 연구에 있어 천리안위성 2A호의 활용 가능성을 평가하고자 하였다. 이를 위해, 천리안위성 2A호 표층수온 산출물에 나타나는 냉수대 현상을 표현하는 방법을 제시하고자 하였다. 이로부터 제작한 차분 표층수온영상을 입력자료로 하는 합성곱신경망(convolution neural network, CNN) 딥러닝 기법을 적용하여 냉수대 존재를 감지할 수 있는지 평가하였다. 마지막으로 오차분석을 실시하여, 오차의 원인 및 향후 연구에서의 개선점을 도출하였다.

2. 연구자료

2018년 12월 5일에 발사된 천리안위성 2A호는 정지궤도 인공위성으로, 탑재된 Advanced Meteorological Imager (AMI)는 가시광선 파장대역부터 열적외선 파장대역까지 촬영을 수행한다. 촬영영역은 세 영역으로 전구, 동아시아 및 한반도가 이에 해당하며, 한반도의 경우 최소 2분간격으로 촬영한다(NMSC, 2019). 현재 기상청 국가기상위성센터는 천리안위성 2A호 위성으로부터 52종 이상의 산출물을 제작하여 제공하고 있다.

본 연구에서는 국가기상위성센터에서 제공하는 산출물 중 Level 2에 해당하는 해수면온도 한반도 영역 1일 평균 영상을 활용하였다. 연구에 사용된 촬영기간은 2019년 7월 25일부터 2022년 9월 30일까지이다. 천리안위성 2A호의 한반도 영역의 경우 Lambert Conformal Conic (LCC) 투영법을 사용하고 있으며, 본 연구에서는 국립수산과학원의 냉수대 예측 영역과 동일하게 위도 35–39도, 경도 128–133도를 연구영역으로 설정하였다. Fig. 1은 2019년 8월 2일 1일 해수면온도 평균 영상을 연구영역에 맞춰 도시한 것이다. Fig. 1로부터 천리안위성 2A호의 해수면온도는 육지영역과 구름영역이 마스킹되어 제공되며, 포항 월포 지역에서 주변보다 수온이 낮은 냉수대가 존재함을 육안으로 확인할 수 있다.

Fig. 1. Daily mean sea surface temperature image of the GK2A/AMI for the research area. The imaging date is Aug. 2, 2019 (Universal Time Coordinated, UTC).

냉수대 발생시기는 국립수산과학원에서 제공하는 냉수대 발생 주의보 및 경보 자료를 활용하였다. 연구기간에 해당하는 총 1,155장의 영상 중 냉수대 발생 주의보 및 경보 시기 영상은 179장, 그 외의 시기는 976장이 해당하였다. Table 1은 본 연구의 연구기간인 2019년 7월 25일부터 2022년 9월 30일까지 국립수산과학원에서 발표한 냉수대 발생 주의보 및 경보 자료를 시간별로 요약한 것이다.

Table 1. Summary of occurrence of cold water provided by National Institute of Fisheries Science (NIFS) (Jul. 25, 2019–Sep. 30, 2022)

3. 연구방법

Fig. 2는 본 연구에서 제안하는 천리안위성 2A 기반 냉수대 감지 방법이다. 천리안위성2A호가 관측한 동해안 표층수온 영상에는 냉수대와 함께 위도, 관측계절, 관측시각에 대한 특성이 특성이 포함되어 있다. 여기서, 냉수대의 특성을 제외한 위도, 관측계절 및 관측시각의 영향을 최소화함으로써 냉수대 분류 성능을 향상시킬 수 있다. 일반적인 냉수대는 Fig. 1과 같이 동해의 일부 영역에서 발생한다. 따라서 본 연구에서는 냉수대 영역을 추출하기 위해서 101 × 101 사이즈의 이동평균필터를 적용하여 표층수온 영상의 저주파 정보를 추출하고, 원영상과의 차분을 통해 위도, 관측계절 및 관측시각의 영향을 최소화함으로써 냉수대 영역만을 추출하였다.

Fig. 2. Detailed workflow of this study.

다음으로, 전처리 과정을 통해 제작된 표층수온 차분영상(sea surface temperature difference image)를 학습자료로 하는 CNN 딥러닝 기법을 고려하였다. 본 연구에서 사용한 CNN 딥러닝 기법의 구조는 Fig. 3과 같다. 600 × 800 크기의 표층수온영상을 RGB 채널로 변환하여 입력영상으로 사용하였으며, 255로 나누어 정규화를 수행하였다. CNN 구조로 3개의 convolution 레이어와 2개의 fully connected 레이어를 사용하였다. 학습 과정에서 과적합 방지를 위해 batch normalization과 30% dropout을 설정하였다. Batch size는 10, learning rate는 0.001, epoch 수는 1000으로 설정하였다. 활성화 함수는 ReLu를 사용하였으며, 최적화 함수는 Adam을 사용하였다. 2019년 7월 25일부터 2022년 9월 30일까지의 1일 합성 표층수온영상을 6:2:2로 나누어 각각 60%는 test set으로, 20%는 validation set으로, 마지막 20%는 test set으로 사용하였다. 이때, Table 1에서 제시된 날짜는 냉수대로, 그 외의 날짜는 비냉수대로 구분하여 학습과 검증을 수행하였다. Test set을 이용한 모델평가는 error matrix를 사용하였으며, probability of detection (POD), false alarm ratio (FAR) 및 F1 지수를 사용하였다.

Fig. 3. CNN scheme used in this study.

4. 실험결과 및 분석

Fig. 4(a)는 본 연구를 통해 원영상으로부터 추출한 저주파 성분을 나타내며, Fig. 4(b)는 원영상과 저주파 성분을 차분하여 나타낸 차분 표층수온영상을 나타낸다. Fig. 4에서 확인할 수 있듯이, 표층수온의 저주파 성분으로부터 저위도로 갈수록 표층수온이 높고, 고위도로 갈수록 표층수온이 낮은 것을 확인할 수 있다. 또한 원영상의 표층수온은 20도에서 30도 사이에 분포하게 되는데, 이는 촬영 계절 및 시간에 따라 달라질 수 있다. 차분 표층수온영상(Fig. 4(b))의 경우 위도에 따른 표층수온 변화가 저감되어 냉수대의 발생 여부를 육안으로 뚜렷이 확인할 수 있으며, 계절 및 시간에 상관없이 상대적인 표층수온으로 표현이 가능한 장점이 있다. 비록 필터를 적용하는 과정에서 냉수대 영역의 낮은 표층수온이 반영될 수 있으나(보라색 화살표 참조), Fig. 4(b)에서 확인할 수 있듯이 냉수대 영역이 잘 표현되는 것을 확인할 수 있다. 이는 냉수대 발생 영역보다 충분히 큰 필터 크기를 고려하였기 때문이다.

Fig. 4. Result of the SST difference image: (a) SST base image and (b) SST difference image, respectively. Imaging date is the same as in Fig. 2.

Fig. 5는 연구기간 내 국립수산과학원에서 냉수대 주의보 및 경보를 발생한 시기에 해당하는 천리안위성 2A호의 1일 평균 표층수온의 일부이다. Fig. 5에서 확인할 수 있듯이, 냉수대 주의보 및 경보 발생 시기의 1일 평균 표층수온의 경우 세가지 케이스로 분류할 수 있다. 첫번째 케이스는 냉수대가 시각적으로도 잘 드러나는 케이스(Fig. 5(a-d))로, 서로 다른 지역에서 냉수대가 발생하는 특징이 있다. 두번째 케이스는 냉수대가 일부만 존재하는 케이스(Fig. 5(e-h))로, 국립수산과학원에서 분류한 냉수대 주의보 및 경보 시기에 해당하나, 상대적인 수온의 차이가 미약한 경우를 의미한다. 세번째 케이스는 표층수온영상이 구름의 영향을 받는 케이스(Fig. 5(i-l))로, 구름의 영향으로 인하여 일부만 판독이 가능하거나, 판독이 불가능한 경우를 의미한다.

Fig. 5. SST difference images classified as having a cold water warning by NIFS.

Fig. 6는 연구기간 내 국립수산과학원에서 냉수대 주의보 및 경보를 발생하지 않은 시기에 해당하는 천리안위성 2A호의 1일 평균 표층수온의 일부이다. Fig. 5와 마찬가지로, Fig. 6 역시 세 가지 케이스로 분류할 수 있다. 첫 번째 케이스는 냉수대가 시각적으로도 발생하지 않은 케이스(Fig. 6(a-d))로, 주로 겨울철 영상에 해당한다. 두 번째 케이스는 냉수대가 육안으로 뚜렷하게 보이는 케이스(Fig. 6(e-h))로, 냉수대가 존재하나 국립수산과학원에서 분류한 냉수대 주의보 및 경보 시기에는 해당하지 않은 경우를 의미한다. 세 번째 케이스는 Fig. 5(i-l)과 동일하게 표층수온 영상이 구름의 영향을 받는 케이스(Fig. 6(i-l))로, 구름의 영향으로 인하여 일부만 판독이 가능하거나, 판독이 불가능한 경우를 의미한다.

Fig. 6. SST difference images classified as having no cold water warning by NIFS.

딥러닝 학습에는 냉수대 주의보 및 경보 시기 영상 151장, 그 외 영상 819장이 training set으로 활용되었으며, validation set으로 냉수대 주의보 및 경보 시기 영상 61장, 그 외 영상 348장이 활용되었다. test set으로는 냉수대 주의보 및 경보 시기 영상 63장, 그 외 영상 352장이 활용되었다.

Table 2는 test set 415장으로부터 구성한 error matrix를 나타낸 것이다. Table 2로부터 계산된 POD는 82.5%이며, FAR은 54.4%, F1 스코어는 58.8%를 나타내었다. 제안 방법으로부터 80% 이상의 높은 POD를 보였으나, FAR 역시 50% 이상의 높은 수치를 보였기 때문에 오분류된 케이스를 분석하였다.

Table 2. Error matrix provided from the test set

Fig. 7은 냉수대 감지를 성공적으로 분류한 것과 실패한 경우를 나타낸다. Fig. 7(a)와 Fig. 7(j)와 같이 육안으로 뚜렷하게 보이는 냉수대를 잘 분류하였으며, Fig. 7(b)와 Fig. 7(e)와 같이 작은 규모의 냉수대 역시 성공적으로 분류하였다. 특히 Fig. 7(f)와 Fig. 7(i)와 같이 구름의 영향을 받은 경우에도 냉수대 감지에 성공하였다. 반면, 냉수대 발생 기간에 해당하나 Fig. 7(g)와 같이 온도차가 미약한 경우는 감지에 실패하였고, Fig. 7(c, d, h, k, l)과 같이 냉수대 감지에 실패한 사례의 대부분은 구름의 영향으로 영상이 마스킹 된 경우이다.

Fig. 7. Success and failure cases for cold water classification.​​​​​​​

Fig. 8은 비냉수대 분류에 성공한 경우와 실패한 경우를 나타낸다. Fig. 8(a-f)와 같이, 냉수대가 발생하지 않은 경우 성공적으로 비냉수대로 분류하였으며, Fig. 8(i, j)와 같이 비냉수대 기간에 구름이 발생한 경우도 비냉수대로 분류되었음을 확인할 수 있다. 그러나, 비냉수대 분류에 실패한 사례의 대부분은 Fig. 8(c, d, g, h, k, l)과같이실제로 국립수산과학원의 냉수대 주의보 및 경보 기간에는 해당하지 않으나 육안으로 보아 냉수대가 발생한 경우였다.

Fig. 8. Success and failure cases for normal water classification​​​​​​​.

Fig. 7과 Fig. 8로부터 오분류된 케이스를 분석한 결과, 본 연구를 통해 학습된 CNN 알고리즘은 냉수대 발생영역 내 구름의 영향이 심할 경우, 냉수대 발생 기간임에도 불구하고 비냉수대로 분류하여 POD 지수에 영향을 주었다. 또한 냉수대 주의보 및 경보 발령 시기가 아님에도 냉수대가 존재하는 경우, 이를 냉수대로 분류하여 FAR 지수에 영향을 주었다.

5. 결론 및 토의

한반도 동해안에서 주로 발생하는 냉수대는 표층에 영양염을 운반함으로써 해양환경에 영향을 줌과 동시에, 급격한 수온변화를 야기하여 어장에 피해를 입힐 수 있다. 냉수대는 동해안 전영역에서 발생하며 시간에 따라 확산될 수 있기 때문에, 넓은 영역을 준실시간으로 모니터링할 수 있는 정지궤도 위성영상의 활용이 효과적이다. 천리안위성 2A호는 한반도를 최소 2분 간격으로 모니터링할 수 있으며 표층수온정보를 제공하기 때문에, 동해안 냉수대 모니터링에 적합하다고 할 수 있다. 더욱이 최근 활발히 연구되고 있는 딥러닝 분야는 위성영상 기반의 모니터링에 활용이 가능하기에 냉수대가 발생한 경우, 현황 파악 및 신속한 대응을 가능케 하여 해양재난재해 피해 저감에 활용가치가 높다.

본 연구에서는 천리안위성 2A호 1일 평균 표층수온 영상을 대상으로 CNN 딥러닝 기법을 적용하여 냉수대 감지 성능을 분석하고자 하였다. 학습자료로 국립수산과학원 냉수대 발생 주의보 및 경보 자료를 활용하였으며, 2019년부터 2022년까지 총 1,155장의 영상을 활용하였다. 연구를 통해 제작한 차분 표층수온영상은 위도, 계절 및 시간의 영향을 저감함으로써 냉수대의 식별을 강화하였다. 차분 표층수온영상 기반의 CNN 딥러닝 학습결과 82.5%의 POD 및 54.4% FAR 스코어를 획득하였다. 연구를 통해 고찰할 점은 다음과 같다.

첫째, 딥러닝 기반의 냉수대 분류 학습 및 검증 과정에서 구름의 영향을 고려하여야 한다. 본 연구에서는 냉수대 발생 영역에 구름의 유무를 구분하지 않고 냉수대 발생 시기만을 고려하였다. 이 과정에서 일부 영상은 구름의 영향으로 냉수대의 특징이 표현되지 않음에도 불구하고 냉수대 발생영상으로 분류되어 학습이 진행되었다. 또한 비냉수대 발생시기 역시 동일하게 구름의 영향이 있음에도 불구하고 비냉수대 클래스로 분류되어 학습이 진행되었다. 학습결과 제안된 CNN 모델은 냉수대 발생 영역에 구름의 영향이 있는 경우 실제 냉수대 발생 시기임에도 불구하고 비냉수대로 분류하였다. 향후에는 냉수대 발생 영역에 구름이 존재하는 경우 학습자료 및 검증자료에서 제외하거나, 별도의 클래스로 분류하는 것이 바람직한 것으로 판단된다.

둘째, 본 연구에서는 국립수산과학원의 냉수대 주의보 및 경보 시기를 학습자료로 고려하였으나, 실제 영상에서는 냉수대 주의보 및 경보 시기가 아님에도 냉수대가 존재하는 것이 확인되었다(Fig. 8). 즉, 실제 냉수대 발생 영상이 비냉수대 발생으로 분류되어 학습이 수행되었으며, 검증자료로 활용되어 결국 높은 FAR 지수를 초래하였다. 따라서 향후에는 별도의 기준을 마련하여 냉수대 주의보 및 경보 시기 외에도 영상 내 냉수대가 존재하는 경우, 냉수대 발생으로 분류하여 학습을 수행할 필요가 있다.